Yirmi yıl önce meta-analizler üzerinde çalışmaya başladığımda, esas olarak deneyler göz önünde bulundurularak geliştirilen standart araçların gözlemsel araştırmalara uygulanması güvenli olduğunu varsaydım. Meta-analiz basit geliyor: Birçok çalışmadan karşılaştırılabilir tahminler toplayın, kesin olanlara daha fazla ağırlık verin, titiz önyargı düzeltme teknikleri uygulayın ve farklı bağlamlarda güvenilir ortalamalara ulaşın.
Sosyal bilimlerde düzinelerce meta-analizden sonra tuhaf bir şey fark etmeye devam ettik. Bildirilen etkiler genellikle standart hataları ile çok güçlü bir şekilde korelasyon göstermiştir. Ve seçim modellerini kullanarak önyargı düzeltmeleri uyguladıktan sonra bile korelasyon devam etti. Bu bizi endişelendirdi. Tahmini etkiler ve hassasiyet arasındaki bağlantı standart yayın yanlılığının ötesinde ortaya çıkarsa, meta-analiz omurgası olan ters varyans ağırlıklandırma ratonale parçalanmaya başlar.
Sahte hassasiyet
Bu soruna neden olabilecek bir mekanizma sahte hassasiyet. Teorik olarak, standart hatalar çalışma belirsizliğini ölçmelidir. Araştırmacıya verilirler ve meta-analistler bunları çalışma güvenilirliğinin bir göstergesi olarak kullanabilirler. Bu temiz ders kitabı hikayesi.
Uygulamada, bildirilen hassasiyet nadiren temizdir. Araştırmacılar birçok seçim yaparlar: hangi kontrolleri içerecek, standart hataların nasıl kümeleneceği, aykırı değerlerin nasıl tedavi edileceği, hangi tahmin yöntemini kullanacağınız. Heteroskedastisiteyi göz ardı etmek genellikle yapay olarak düşük standart hatalara yol açar ve yaygın olarak kullanılan küme-kaba standart hatalar küçük ve orta boyutlu örneklerde aşağı yönlüdür.
Randomizasyon varsayımlarının ihlalleri, sonlu örnek sorunları veya model yanlış belirlemeleri nedeniyle deneylerde standart hatalar da hafife alınabilir. Önemli sonuçların yayınlanması daha kolay olduğundan, daha küçük standart hataları desteklemek için teşvikler vardır. Daha da küçük bir standart hataya sahip küçük bir etki genellikle büyük ama önemsiz olandan daha iyi görünür.
Mevcut yöntemler başarısız olduğunda
Aşağıdaki huni grafiği, sahte hassasiyetle neler olduğunu göstermektedir. Her nokta, bir çalışmanın standart hatasına karşı tahminini temsil eder. İdeal olarak, huni gerçek etkiye doğru simetrik olarak daralır. Standart düzeltmeler, yayın yanlılığından asimetri veya etki büyüklüğünde P-hack'ini oluşturur. Ancak hassasiyet P-hackledildiğinde, bazı tahminler gerçekte olduğundan daha büyük ve daha kesin görünür: içi boş noktalar katı siyah olanlar haline gelir.
Şekil: Sahte hassasiyet, bazı çalışmaların gerçeklikten daha hassas görünmesini sağlayarak meta-analiz sonuçlarını çarpıtmaktadır.
Bu aşırı hassas tahminler (örneğin önemli bir kontrol değişkenini atlayanlar) meta-analizde çok fazla ağırlık alır. Sahte hassasiyet, genel sonucu bu şekilde sürünür ve bozar. Bu gibi durumlarda, tüm standart ters varyans ağırlıklandırma yöntemleri bozulmaya başlar.
Yayın yanlılığı onlarca yıldır incelenmiştir ve Pet-Peese veya seçim modelleri gibi düzeltme yöntemleri yaygın olarak kullanılmaktadır. Yakalama, hala rapor edilen hassasiyete güveniyorlar ve en kesin tahminlerin tarafsız olduğunu varsayıyorlar. Ancak, hassasiyetin kendisi P-hacklediyse, bu düzeltmeler sorunu çözmez.
Yukarıdaki huni grafiğini düşünün. Standart ters varyans ağırlıklı ortalamalar yukarı doğru önyargılıdır. Huni planı düzeltmeleri başarısız olurlar, çünkü herhangi bir p-hacking hedefi standart hatalardan ziyade etki boyutlarını varsayarlar. Ve seçim modelleri de parçalanır, çünkü bireyin rapor edilen tahminlerin tarafsız olduğu varsayımına güvenirler, P-hacking altında ihlal edilen bir varsayım.
Gerçekten de, ılımlı sahte hassasiyete sahip bazı simülasyonlarımızda, basit ağırlıksız ortalamalar sofistike önyargı düzeltme tahmincilerinden daha az önyargılı oldu.
Maive'in arkasındaki fikir
Bu bizi Maive'a götürdü, Meta-analiz enstrümantal değişken tahmincisi. Fikir basit. Bildirilen standart hatalar önyargılı olabilir, ancak örneklem büyüklüğü P-hack için çok daha zordur. (Kusurlu bir şekilde) gerçek hassasiyetle bağlantılıdır ve ampirik araştırmaların çoğunda yazarlar genellikle en büyük uygulanabilir örneği en başından kullanırlar. Kontrolleri, kümelenmeyi veya tahmin tekniklerini kolayca değiştirebilirsiniz; Genellikle kolayca artamazsınız N.
Maive, örneklem boyutunu hassasiyet için bir alet olarak kullanır. Tanıdık huni tabanlı çerçeveyi tutuyoruz, ancak daha sağlam bir temelde yeniden inşa ediyoruz: Ntahmin belirsizliği göz önüne alındığında güven aralıkları ile tek başına bildirilmemiştir. Simülasyonlarda Maive, mevcut tahmincilere kıyasla genel önyargıyı (yayın ve P-hacking) önemli ölçüde azalttı. Ve çoğaltma ölçütlü veri kümelerinde Maive, meta-analitik sonuçları çoğaltmalara yaklaştırdı.
Kullanımı kolaylaştırmak
Maive'i kolaylaştırmak için basit bir web aracı oluşturduk: sahteprecision.com. Veri kümenizi yükleyin, bir düğmeyi tıklayın ve Maive, yayın yanlılığı, P-hacking ve sahte hassasiyet için meta-analizinizi düzelterek saniyeler içinde çalışır. Maive'i eylemde görmek istiyorsanız, site anında çalışabileceğiniz bir demo veri kümesi sunar.
Araç, çalışma düzeyinde kümelenmeyi (CR1, CR2, Wild Bootstrap) destekler, aşırı heterojenliğe ve zayıf enstrümanlara izin verir ve çalışma içi bağımlılığı ve çalışma arası farklılıkları yöntem ve kalitedeki sabit intercept çok seviyeli spesifikasyonları sağlar. Kodlama yok, kurulum yok, R veya Stata gerekmiyor.
Web aracına mevcut huni tabanlı yöntemleri de ekledik- Pet-Peese ve Endojen bükülme model. Kullanıcılar yaklaşımları yan yana karşılaştırabilir. Bu bir boşluğu doldurur: orman parselleri ve temel meta-analiz modelleri üretmek için web araçları vardır, ancak doğrudan tarayıcıdan gelişmiş huni tabanlı düzeltmeler yapmanıza izin vermeyen hiçbiri yoktur.
Ne öğrendik
En büyük paket, sahte hassasiyetin ne kadar zararlı olabileceğiydi. Yayın yanlılığı iyi bilinmektedir, ancak çarpık standart hatalarla çalışan meta-analiz yanlılığı da aynı derecede zararlı olabilir. Hemen hemen her meta-analitik yöntem ters varyans ağırlıklarına dayandığından, sorun potansiyel olarak yaygındır.
Maive'in bir tedavi olduğunu iddia etmiyoruz. Ancak, mevcut yöntemlerin büyük ölçüde göz ardı ettiği bir önyargı biçimine karşı pratik bir koruma. Web Aracı ile sahteprecision.com (EasyMeta.org adresinde de mevcuttur) Maive, tıp, psikoloji, ekonomi veya ötesinde meta-analiz için araç kutusunun yararlı bir parçası haline gelmesini umuyoruz.
Bir yanıt yazın