Etki büyüklüğü: örneklemin rehin olduğu sayı

Etki büyüklüğü aslında nedir?

İki tedaviyi karşılaştırdın ve p = 0,03 buldun. Bu sonuç sana yalnızca “fark muhtemelen tesadüf değil” der; farkın büyük mü küçük mü olduğunu söylemez. Etki büyüklüğü, eksik kalan o cevabın sayısıdır: fark ne kadar?

Çıplak fark tek başına da yetmez, çünkü her ölçüm kişiden kişiye dalgalanır. 5 mmHg’lik bir tansiyon düşüşü, herkesin değeri birbirine yakınken net bir kazançtır; ölçümler zaten kişiden kişiye 20 mmHg oynuyorsa aynı 5 mmHg gürültünün içinde kaybolur. Bu yüzden fark, ölçümün tipik dalgalanmasına — standart sapmaya (SS) — bölünür.

Çıkan birimsiz sayıya standartlaştırılmış etki büyüklüğü denir: d = fark ÷ SS. Okunuşu şöyle: d = 0,50, “iki grubun ortalaması, kişiler arasındaki tipik farkın yarısı kadar ayrışıyor” demektir. Bu küçük çeviri güç hesabının kalbidir — gereken katılımcı sayısını başka her girdiden çok bu sayı belirler.

Bu yazıdaki kısaltmalar

Önce d değil, fark

Ortalama karşılaştırmasına dayanan bir güç hesabı “d = 0,5 kullanalım” diye başlamamalı. İlk soru daha somuttur: hangi büyüklükteki farkı yüksek olasılıkla yakalamak istiyoruz? Hedef farkı sonuç değişkeninin kendi biriminde ve klinik bir gerekçeyle tanımlamak gerekir.¹

Örneğin 0–30 puanlık bir bilişsel ölçekte 1,5 puanın klinik yorumu değiştireceğini düşünelim. Karşılaştırılabilir popülasyonda beklenen ortak grup içi standart sapma (SS) 3 puansa, iki bağımsız grup için d = 1,5 / 3 = 0,50 olur. Burada “orta etki” seçmedin; 1,5 puanlık hedefi standart sapma birimine çevirdin.

Etki büyüklüğü tek bir sayı değildir

Ortalama farkı, risk farkı, risk oranı ve hazard oranı da etki ölçüleridir. Cohen’in d’si gibi standartlaştırılmış ölçüler, farkı ilgili değişkenliğe bölerek birimsiz hâle getirir.²

Standartlaştırma farklı ölçekleri karşılaştırmayı ve güç hesabını kolaylaştırır. Bir farkı kendiliğinden klinik olarak önemli yapmaz. Bu yüzden mümkün olduğunda hem ölçeğin kendi birimindeki hedef farkı hem standartlaştırılmış karşılığını bildir.

d, d_z ve f: doğru payda

d ile d_z birbirinin yerine kullanılamaz.³ Eşleştirilmiş tasarımda değişim puanlarının standart sapması, önce ve sonra ölçümlerinin değişkenliğine ve aralarındaki korelasyona bağlıdır.

Önce ve sonra SS 3, korelasyon 0,70 ise değişim SS’si 2,32’dir. Hedef değişim 1,5 puansa d_z ≈ 0,65 çıkar. Aynı 1,5 puanı ham SS’ye bölüp 0,50 bulmak aynı hesap değildir. Üstelik değişim SS’si her korelasyonda ham SS’den küçük olmaz; eşit ham SS’lerde bunun için korelasyonun 0,50’den büyük olması gerekir.

Cohen eşikleri ne işe yarar?

Cohen bu değerleri bilimsel sınırlar olarak değil, daha iyi bir dayanak bulunmadığında kullanılabilecek yaklaşık referanslar olarak sundu.⁴ Aynı d, bir sonuçta önemsiz; başka bir sonuçta karar değiştirici olabilir.

Bu etiketler d_z için de sık kullanılır. Fakat d_z değişim SS’sine ve dolayısıyla ölçümler arası korelasyona bağlıdır. Farklı tasarımlardaki iki “orta” etki doğrudan karşılaştırılabilir değildir.

Etki küçüldükçe n neden hızla büyür?

Diğer varsayımlar sabitken gereken örneklem kabaca 1 / d_z² ile değişir. Hedef etkiyi yarıya indirmek, örneklemi yaklaşık dört katına çıkarır. Aşağıdaki değerler eşleştirilmiş t testi, iki yönlü α = 0,05 ve %80 güç için nonsantral t dağılımıyla hesaplandı.

Küçük ama önemli bir hedef fark, daha uzun işe alım veya ek merkez gerektirebilir; eğri bu planlama bedelini görünür kılar.

Savunulabilir hedef fark nereden gelir?

1. Klinik olarak önemli fark: Hastanın, klinisyenin veya karar vericinin önemseyeceği en küçük farkı sonuç değişkeninin kendi biriminde tanımla. Uygunsa hasta ya da klinisyen değerlendirmesine dayanan eşik yöntemlerini kullan.
2. Karşılaştırılabilir dış veri: Popülasyonu, ölçütü, izlem zamanı ve analiz biçimi seninkine benzeyen birden fazla çalışmayı ya da sistematik derlemeyi tercih et. Tek bir küçük yayının gözlenen etkisini gerçek değer gibi kopyalama.
3. Pilot verinin uygun kullanımı: Pilot; işe alım hızı, tamamlanma, ölçüm uygulanabilirliği, SS ve korelasyon için yararlıdır. Küçük bir pilotta gözlenen tedavi farkı ise çok oynaktır ve ana çalışmanın hedef etkisi olarak tek başına kullanılmamalıdır.⁵
4. Açıkça belirtilmiş planlama senaryosu: Daha iyi bir dayanak yoksa Cohen değerlerini senaryo olarak kullan. Bunları gözlenmiş ya da kanıtlanmış etki gibi sunma.

Sağlam bir plan tek bir nokta tahminine dayanmaz. Klinik olarak önemli hedefi ana senaryo yap; daha küçük ve daha büyük makul etkiler için gereken n’i de göster.

Protokole nasıl yazılır?

Sürekli bir birincil sonlanım için kısa ama yeniden üretilebilir bir yöntem cümlesi şöyle kurulabilir:

Parantezlerin her birini doldur. “Orta etki kabul edildi” tek başına yeniden üretilebilir bir örneklem büyüklüğü hesabı değildir.

Hesabı bozan üç kısa yol

• Yanlış paydayı kullanmak. Bağımsız-grup d’sini eşleştirilmiş hesaba vermek ya da değişim SS’sini ham ölçüm SS’si sanmak yanlış bir n üretir.
• Çalışmayı yapılabilir gösteren etkiyi seçmek. Küçük pilotta görülen büyük farkı ya da bütçeye uyan d’yi seçmek, önemli ama daha küçük etkiler için gücü düşürür. Daha küçük etkileri görmek imkânsız olmaz; onları anlamlı bulma olasılığı %80’in altına iner ve güven aralıkları geniş kalır.
• Çalışma bittikten sonra gözlenen güç hesaplamak. Gözlenen etkiye dayalı post-hoc güç, p değerini büyük ölçüde yeniden ifade eder. Sonuç aşamasında etki tahminini ve güven aralığını bildir.⁷