A társadalomtudományi eredmények stabilitása módszertani döntéseken is múlik

Mennyire függnek a kutatási eredmények attól, pontosan milyen módon elemezzük az adatokat? Erre kereste a választ egy nagy nemzetközi együttműködés, amelyet Aczél Balázs (Eötvös Loránd Tudományegyetem) és Szászi Barnabás (Eötvös Loránd Tudományegyetem és Budapesti Corvinus Egyetem) vezetett. A projektben 457 független elemző összesen 504 újraelemzést végzett 100 korábban publikált tanulmány adatain. A Nature-ben április 1-jén megjelent tanulmány rámutat, hogy az adatokból levont konklúziókat erősen befolyásolhatják az elemzés során hozott módszertani döntések. 

Minden elemző ugyanazt az adatcsomagot és ugyanazt a kulcskérdést kapta, de teljes szabadságot élvezett abban, hogyan végzi el az elemzést. Bár mindenki ugyanabból az információból indult ki, és az újraelemzések többsége összességében alátámasztotta az eredeti tanulmányok fő állításait, a hatásnagyságok, a statisztikai becslések és a bizonytalanság mértéke gyakran érdemben eltért. Az eltérések nem a szakértelem hiányából adódtak: a tapasztalt, erős statisztikai háttérrel rendelkező kutatók ugyanúgy juthattak eltérő eredményekre, mint mások. 

Az újraelemzések eredményei jelentősen szóródtak 

Az eseteknek csak körülbelül egyharmadában jutott minden elemző pontosan ugyanarra a következtetésre, mint az eredeti szerzők, míg egy megengedőbb, négyszer szélesebb hibahatár mellett ez az arány 57%-ra emelkedett. Vagyis az, hogy mit tekintünk „ugyanannak az eredménynek”, érdemben befolyásolja a robusztusságról alkotott képünket. 

A tanulmányok 74%-a ugyanolyan irányú következtetésre jutott, mint az eredeti vizsgálat, 24% nem talált hatást vagy nem adott egyértelmű eredményt, 2% pedig ellentétes irányú hatást talált.  

A megfigyeléses kutatások kevésbé bizonyultak robusztusnak, mint a kísérletiek, ami arra utal, hogy a komplexebb adatszerkezet nagyobb elemzési szabadságot – és így nagyobb bizonytalanságot – enged. A nagyobb mintanagyság pedig nem adott nagyobb védettséget az elemzési variabilitással szemben. 

Hogyan tovább? 

„Az eredmények nem a korábbi kutatások hitelességét kérdőjelezik meg, és nem jelentik azt, hogy a társadalomtudományok megbízhatatlanok lennének. Épp ellenkezőleg: arra világítanak rá, hogy egyetlen elemzés bemutatása sokszor nem tükrözi a valós empirikus bizonytalanság mértékét, és ha az elemzési változatosságot figyelmen kívül hagyjuk, az indokolatlan magabiztossághoz vezethet a tudományos következtetésekben. Sokszor ugyanis több, előre nem feltárt, mégis indokolható elemzési út létezhet, ezért láthatóvá kell tenni az alternatívákat” – mondja Szászi Barnabás, a tanulmány egyik szerzője. 

A tanulmány ezért a több elemző elvére építő (multi-analyst) és az úgynevezett „multiverzum”, azaz többféle adatelemzést kiértékelő megközelítések szélesebb körű alkalmazását javasolja, különösen tudományosan vagy társadalmilag kiemelten fontos kérdések esetén. Ezek a megközelítések nem egyetlen „igaz” választ keresnek, hanem láthatóvá teszik, mennyire stabilak – vagy éppen mennyire törékenyek – a tudományos következtetések. 

Hogyan épülnek fel a kutatások? 

A bevett tudományos gyakorlatban egy adatállományt jellemzően egyetlen kutató vagy kutatócsoport elemez, és a publikáció ennek az egy konkrét elemzési útnak az eredményét mutatja be. A lektorálás ugyan vizsgálja a módszertani elfogadhatóságot, de ritkán derül ki, milyen eredmények születtek volna más, ugyanúgy védhető statisztikai döntések mellett. 

Pedig az empirikus kutatás során számos döntési pont adódik: hogyan tisztítják az adatokat, miként definiálják a változókat, milyen statisztikai modelleket vagy szoftvereket használnak, és hogyan értelmezik az eredményeket. Ezek a választások együtt adják az úgynevezett elemzési változatosságot – azt a rugalmasságot, amely alapvetően befolyásolhatja a végső következtetéseket. 

Az elmúlt évtizedben a társadalom- és viselkedéstudományokban jelentős reformok indultak annak érdekében, hogy a kutatás átláthatóbb, reprodukálhatóbb és megbízhatóbb legyen. Az előzetes regisztráció, a regisztrált tanulmányok, a replikációs vizsgálatok és az elemzések reprodukálhatóságának ellenőrzése mind azt szolgálják, hogy csökkenjen a véletlen találatok és a torzított eredmények aránya.  

A tanulmányról és annak tágabb összefüggéseiről a Nature szerkesztőségi cikket is közölt, amely itt érhető el.   

KÉP: a Nature online címlapképe 2026. április 1-jén