BDT Ne Kadar İşe Yarıyor? Bir İddiayı Tartmanın Yolu

1. Yaygın Yanılgı: "Araştırmalar kanıtladı"

Bu cümle bir bilgi değil, bir kapanış hamlesidir. Tartışmayı bitirir ama hiçbir şey söylemez.

Sorulmayan sorular şunlardır: hangi araştırmalar, kaç kişide, neye kıyasla, ne kadar süreyle ve etkinin büyüklüğü ne? Bu beş sorunun cevabı olmadan "kanıtlandı" ifadesi bir reklamdır.

Bu dersin amacı seni kuşkucu yapmak değil, tartıcı yapmaktır. Kuşkucu her şeye hayır der; tartıcı iddiaları ağırlıklarına göre yerleştirir.

2. Neye kıyasla? Karşılaştırma grubunun belirleyiciliği

Bir tedavinin etkisi, karşılaştırıldığı şeyden bağımsız değildir. Aynı yöntem, kime kıyasla ölçüldüğüne göre çok farklı sayılar üretir.

Üç yaygın karşılaştırma grubu vardır:

• Bekleme listesi. Katılımcı hiçbir şey almaz, sırada bekler.
• Olağan bakım. Katılımcı, kurumda zaten verilen standart hizmeti alır.
• Etkin karşılaştırma. Katılımcı, ilaç ya da başka bir psikolojik yöntem alır.

Toshi Furukawa ve arkadaşlarının 2014'teki ağ meta-analizi bu noktada ezber bozdu: bekleme listesi tarafsız bir "hiçbir şey yapmama" durumu değil. Beklemeye alınan kişi, yardımın başkasına verildiğini bilerek bekler ve bu, iyileşmesini yavaşlatıyor olabilir. Yani bekleme listesi bir nosebo koşulu gibi davranıyor ve karşısındaki tedaviyi olduğundan güçlü gösteriyor. 🟢

Pim Cuijpers ve arkadaşlarının 2023'teki kapsamlı meta-analizi, 409 çalışma ve 52 binden fazla hastayla aynı sonuca farklı bir yerden ulaştı: BDT'nin bildirilen etkisi, karşılaştırma grubu bekleme listesinden olağan bakıma, oradan etkin karşılaştırmaya doğru gittikçe küçülüyor. 🟢

Aynı yöntem, aynı hastalık, üç farklı sayı. Bir başlıkta yalnızca en büyük sayının anılması, yanlış bilgi vermeden yanıltmanın en yaygın yoludur.

3. Etki büyüklüğü: sayıyı okumayı öğrenmek

Araştırmalarda "işe yaradı" ifadesi genellikle bir sayıyla verilir. Bu sayı, iki grup arasındaki farkın ne kadar büyük olduğunu gösterir; kabaca şöyle okunur: 0,2 civarı küçük, 0,5 civarı orta, 0,8 ve üzeri büyük.

İki tuzağa dikkat et.

Birinci tuzak: anlamlılık ile büyüklüğü karıştırmak. Bir sonuç istatistiksel olarak anlamlı olabilir ama etkisi hayatı değiştirmeyecek kadar küçük olabilir. Katılımcı sayısı yeterince büyükse çok küçük farklar bile anlamlı çıkar.

İkinci tuzak: ortalamayı herkese uygulamak. Ortalama etki, herkesin o kadar fayda gördüğü anlamına gelmez. Bazı kişiler belirgin biçimde iyileşir, bazıları hiç değişmez, küçük bir bölüm kötüleşir. Ortalama bu üç grubu tek sayıya sıkıştırır.

4. Yayın yanlılığı: görünmeyen çalışmalar

Bilimsel dergiler, hiçbir fark bulamamış çalışmaları yayımlamaya olumlu sonuçlu çalışmalar kadar istekli değildir. Araştırmacılar da bunu bildiği için olumsuz sonuçları çekmecede bırakabilir. Sonuç: literatür, gerçekte olduğundan daha parlak görünür.

Cuijpers ve arkadaşlarının 2010'daki çalışması, yetişkin depresyonunda psikolojik tedaviler için bu etkiyi ölçtü. Yayımlanmamış çalışmaların olası etkisi hesaba katıldığında bildirilen etki gözle görülür biçimde küçüldü. 🟢

Aynı ekibin 2018'deki "Eysenck haklı mıydı?" başlıklı yeniden değerlendirmesi daha da ileri gitti: yöntemsel zaafları olan çalışmalar dışlanıp yanlılık düzeltmeleri uygulandığında etki, sıklıkla anılan rakamların belirgin biçimde altına indi. 🟢

Bu bulgular BDT'yi çürütmez. Şunu söyler: gerçek bir fayda var, ama vitrin sayısı gerçek sayıdan büyük.

5. Azalma etkisi ve iki dürüst yorumu

Tom Johnsen ve Oddgeir Friborg 2015'te ilgi çekici bir örüntü bildirdi: BDT'nin depresyondaki etki büyüklüğü, on yıllar içinde yayımlanan çalışmalarda azalıyor gibi görünüyor. 🟡

Bu bulgunun iki dürüst yorumu var ve ikisi de savunulabilir.

Birinci yorum: İlk çalışmalar, yöntemin kurucuları tarafından, seçilmiş katılımcılarla ve yüksek bağlılıkla yapıldı. Yöntem yaygınlaştıkça uygulama niteliği çeşitlendi ve sayılar gerçeğe yaklaştı.

İkinci yorum: Yıllar içinde çalışmaların yöntem kalitesi arttı; körleme, ön kayıt ve daha uygun karşılaştırma grupları kullanılmaya başlandı. Sayı düşmedi, ölçüm düzeldi.

Makale ayrıca yöntem eleştirileri aldı; bu yüzden bulguyu kesin bir gerçek gibi sunmak yanlış olur. Ama bize iyi bir alışkanlık kazandırır: bir alanın en eski ve en büyük sayısı, genellikle en az güvenilir olanıdır.

6. Ayrım: "kanıta dayalı" ile "her durumda en iyi"

Stefan Hofmann ve arkadaşlarının 2012'deki derlemesi 269 meta-analizi taradı ve BDT'nin geniş bir yelpazede desteklendiğini, en güçlü kanıtın kaygı bozukluklarında olduğunu bildirdi. 🟢 Aynı ekip, kanıtın her tanıda eşit güçte olmadığını da açıkça yazar.

Cuijpers ve arkadaşlarının 2016'daki güncellemesi tabloyu keskinleştirir: etkiler gerçektir, ama yanlılıktan arındırılınca ölçülüdür ve tanıya göre farklılaşır. 🟢

Buradan çıkan ayrım basittir. "Kanıta dayalı" ifadesi, yöntemin sınandığı ve desteklendiği anlamına gelir. "Her durumda en iyi" ifadesi ise bambaşka bir iddiadır ve kanıt bunu vermez. Birçok karşılaştırmada farklı psikolojik yöntemler benzer sonuçlar üretir.

7. Nüans: kim çalışmaya girmedi?

Bir çalışmanın en önemli bilgisi bazen kimin dahil edildiği değil, kimin dışarıda bırakıldığıdır.

Klinik denemeler genellikle tek bir tanısı olan, madde kullanmayan, intihar riski taşımayan katılımcılarla yürütülür. Gerçek hayatta ise tablolar iç içedir. Bu yüzden denemede ölçülen etki, poliklinikteki etkiden büyük olabilir.

İkinci nüans bırakmadır. Ephrem Fernandez ve arkadaşlarının 2015'teki meta-analizi, katılımcıların azımsanmayacak bir bölümünün tedaviyi tamamlamadan bıraktığını gösterdi. Sonuçlar çoğu zaman tamamlayanlar üzerinden bildirildiğinde, tablo doğal olarak daha iyi görünür. 🟢

Bu iki nüans, kanıtı çöpe atmak için değil; bir sayıyı hangi dünyaya ait olduğunu bilerek okumak için gereklidir.

Üçüncü bir nüans daha var: sonucu kimin ölçtüğü. Psikolojik çalışmalarda iyileşme çoğu zaman katılımcının kendi doldurduğu bir ölçekle belirlenir. Katılımcı hangi kolda olduğunu bildiği için, beklentisi bildirimini etkileyebilir. Bağımsız bir değerlendiricinin körlemesine yaptığı ölçümler genellikle daha küçük farklar gösterir. Bir çalışmayı okurken "kim ölçtü" sorusu, "kaç kişiydi" sorusu kadar belirleyicidir.

8. Türkiye Bağlamı

Türkiye'de bu süzgecin özel bir kullanımı var. Yurt dışında yapılmış bir çalışmanın sonucunu yerel bir uygulamaya taşırken üç soruyu sormak gerekir.

Birincisi dil ve ölçek. Kullanılan ölçüm aracının Türkçe uyarlaması yapılmış mı, geçerlik ve güvenirlik çalışması var mı? Uyarlanmamış ölçekle toplanan veri, karşılaştırılabilir değildir.

İkincisi bağlam. Ev düzeni, çalışma saatleri ve aile yapısı davranış ödevlerinin uygulanabilirliğini doğrudan etkiler. Bir protokolün yurt dışında işe yaraması, aynı ödev takviminin burada da işleyeceği anlamına gelmez.

Üçüncüsü erişim. Haftalık seans gerektiren bir yöntemin etkisi, seansa erişemeyen bir kişide ölçülemez. Erişim sorunu, kanıt sorunundan bağımsızdır ve çoğu zaman daha belirleyicidir.

Bu üç sorunun cevabı bilinmeden "şu ülkede şu kadar etkili çıkmış" cümlesi, yerelde bir vaat üretmez. Sayı uydurmak yerine bilinmeyeni bilinmeyen olarak bırakmak daha dürüsttür.

9. Uygulama: yedi soruluk süzgeç

Bir iddiayla karşılaştığında sırayla şu yedi soruyu sor. Cevaplayamadığın her soru, iddianın ağırlığını azaltır.

1. Neye kıyasla ölçüldü? Bekleme listesi mi, olağan bakım mı, etkin karşılaştırma mı?
2. Kaç kişi vardı? Onlarca kişilik tek çalışma ile binlerce kişilik meta-analiz aynı ağırlıkta değildir.
3. Etki ne kadar büyük? Yalnızca "anlamlı" deniyorsa büyüklük saklanıyor olabilir.
4. Tekrarlandı mı? Bağımsız ekipler aynı sonucu bulmuş mu?
5. Kim dışarıda bırakıldı? Katılımcılar senin durumuna benziyor mu?
6. Ne kadar sürdü? Sekiz haftalık iyileşme, bir yıl sonraki durumu söylemez.
7. Kim ölçtü, kim ödedi? Yöntemin geliştiricisi kendi yöntemini ölçüyorsa bu bir yanlılık kaynağıdır.

10. Adım Adım: bir başlığın süzgeçten geçirilmesi

Diyelim ki şöyle bir başlık gördün: "Yeni araştırma: sekiz haftalık program depresyonu yüzde yetmiş azaltıyor."

Adım 1. Karşılaştırma grubu nedir? Başlıkta yoksa haberin gövdesine bak; orada da yoksa iddia askıdadır.

Adım 2. "Yüzde yetmiş azalma" neyin yüzdesi? Belirti puanının mı, iyileşen kişi oranının mı? İkisi çok farklı şeylerdir.

Adım 3. Kaç kişi? Otuz kişilik bir çalışma bir başlangıçtır, sonuç değildir.

Adım 4. Ölçüm kim tarafından yapıldı? Katılımcının kendi bildirimi mi, bağımsız bir değerlendirici mi?

Adım 5. İzlem var mı? Program bitiminde ölçülen etki, altı ay sonra genellikle küçülür.

Adım 6. Kararı ver: bu iddia 🟢 mı, 🟡 mi, 🔴 mü? Emin değilsen 🟡 demek, yanlış bir 🟢 demekten daha dürüsttür.

11. Sık Sorulan Sorular

Bunları öğrenince hiçbir şeye inanamaz mıyım?
Amaç bu değil. Süzgeç, inanmayı reddetmek için değil; inancı doğru ağırlıkla taşımak içindir.

Meta-analiz her zaman daha mı güvenilir?
Genelde evet, ama içine aldığı çalışmalar zayıfsa sonucu da zayıftır. Meta-analiz, girdisinden iyi olamaz. Hangi çalışmaların dâhil edildiğine ve hangi ölçütle dışlandığına bakmadan sonuca güvenme; iki farklı ekip aynı alanda farklı dışlama ölçütleri kullanarak birbirinden belirgin biçimde ayrılan sayılar üretebilir.

Bu kursun kendisi hangi etikette?
Bu kursta anlatılan yöntemlerin çoğu 🟢 ya da 🟡 düzeyinde desteklenir ve nerede hangisi olduğunu ilgili derste açıkça yazdık. Kesinlik iddiasında değiliz.

Terapiye gitmeli miyim, kendim mi çalışmalıyım?
Bu metin bu kararı senin yerine veremez. Belirtiler işini, uykunu ve ilişkilerini ciddi biçimde etkiliyorsa uzman desteği önceliklidir.

Tek bir çalışmaya dayanan haber hiç mi işe yaramaz?
Yarar; yeni bir fikrin ilk işareti olabilir. Ama tek çalışma bir yön gösterir, bir sonuç ilan etmez. Aynı bulgu bağımsız bir ekip tarafından tekrarlanana kadar onu 🟡 kabul etmek en dürüst tutumdur.

12. Anahtar Çıkarımlar

• "İşe yarıyor" tek başına bilgi değildir; neye kıyasla, kimde, ne kadar sorulmalıdır.
• Bekleme listesi tarafsız bir karşılaştırma değildir ve etkiyi şişirir.
• Yayın yanlılığı literatürü gerçeğinden parlak gösterir; düzeltince etki küçülür ama sıfırlanmaz.
• Azalma etkisinin iki dürüst yorumu vardır: yaygınlaşma ve ölçüm kalitesindeki artış.
• Ortalama etki senin hakkında bir şey söylemez; kişisel kayıt bu boşluğu doldurur.
• Yedi soruluk süzgeç, bu kursun kendisi dâhil her iddiaya uygulanır.

13. Kavram Sözlüğü

Etki büyüklüğü: İki grup arasındaki farkın standartlaştırılmış ölçüsü; kabaca 0,2 küçük, 0,5 orta, 0,8 büyük sayılır.

Bekleme listesi: Katılımcıların tedaviyi sırayla beklediği karşılaştırma koşulu; tarafsız kabul edilemez.

Yayın yanlılığı: Olumlu sonuçlu çalışmaların yayımlanma olasılığının daha yüksek olması nedeniyle literatürün çarpılması.

Meta-analiz: Aynı soruyu araştıran çok sayıda çalışmanın sonuçlarını istatistiksel olarak birleştiren çalışma türü.

İzlem ölçümü: Tedavi bittikten belirli bir süre sonra yapılan ve etkinin kalıcılığını gösteren ölçüm.

14. Uygulama Ödevi

Bu hafta karşılaştığın bir sağlık ya da psikoloji başlığını seç. Yedi soruyu tek tek uygula ve cevaplayabildiklerini yaz.

Sonunda tek bir etiket koy: 🟢, 🟡 ya da 🔴. Ardından şunu not et: bu etikete karar verirken hangi soruya cevap bulamadın? Cevabı bulunamayan soru, bir dahaki sefere ilk soracağın sorudur.