Tieteeseen voi luottaa, KOSKA se tekee virheitä

Vuosia sitten oikean polveni eturistiside katkesi itsepuolustustreeneissä ja päädyin niin sanotusti Pöydälle. Minut nukutettiin ja polveen rakennettiin uusi ristiside takareidestä otetun jännesiirteen avulla. Käytössä ollut kirurginen operaatio on seurausta pitkällisestä alan tutkimuksesta. On melko varmaa, että vuosi(kymment)en saatossa osa tutkimuksista on sisältänyt vääriä löydöksiä. Osa on ehkä ollut jopa tarkoituksella vilpillisiä. On myös mahdollista että nukutusaineen valmistanut firma on historiansa aikana syyllistynyt tutkimustiedon pimittämiseen. Ehkä joku saamiini kipulääkkeisiin johtaneista tutkimuksista sisälsi väärennettyä tietoa.

Mutta polvi tuli nopeasti kuntoon ja olen sen jälkeen lisännyt kyykkymaksimiini n. 50kg.

Edellisessä kirjoituksessa otin kantaa sen puolesta, että tiede on todellisuuden tutkimisen välineistä ylivoimaisesti paras. Kritisoin postmodernismia, jossa kaikenlaisen tiedon katsotaan olevan relativistista – suhteellista riippuen katsontatavasta. Olen kirjoittanut tästä ennenkin ja törmännyt samankaltaisiin vasta-argumentteihin. Tutkijat tekevät virheitä, he syyllistyvät tutkimustiedon väärentämiseen, rahoittajat ohjaavat tutkimusta, jne. Miten siis voin sanoa että tiede on toistaiseksi paras keino todellisuuden tutkimiseen? Tässä kirjoituksessa väitän että kysymykseen “Miksi luotat tieteeseen kun se tekee niin paljon virheitä?” oikea vastaus on “Luotan siihen juuri siksi että se tekee virheitä”.

Epäluotettavien tutkimusten määrä on valtavan suuri

Blogitekstieni aihepiiristä johtuen, ylivoimaisesti yleisin kohtaamani kritiikki kohdistuu rahoituksen vaikutukseen tutkimusta vääristelevänä tekijänä. Se todella ON ongelma mutta se on vain pieni osa tieteen tekemisen kaikista ongelmista. Jos ei ole perehtynyt tilanteeseen, tilanne voi näyttää jopa paljon pahemmalta kuin moni osaa kuvitellakaan. Nyt siis sadevaatteet päälle, sillä niskaan on tiedossa ämpärikaupalla kylmää vettä.

Ehkäpä kaikkein vaikutusvaltaisin ja musertavin biolääketieteellisen tutkimuksen laatua käsitellyt artikkeli on arvostetun Stanfordin yliopiston professori John Ioannidisin vuonna 2005 julkaisema “Why Most Published Research Findings Are False”. Se on kerännyt yli 1,8 miljoonaa katselukertaa ja siihen on viitattu muissa tieteellisissä julkaisuissa yli 2300 kertaa. Ne ovat pieni murunen Justin Bieberin nettisivujen saamasta liikenteestä mutta tieteelliselle artikkelille suorastaan tähtitieteellisiä lukuja. Artikkelissa perustellaan hyvin uskottavasti, miten otsikon mukaisesti suurin osa biolääketieteellisistä tutkimuslöydöksistä ei pidä paikkaansa.

Ioannidisin keskeiset teesit ovat lyhyesti tiivistettynä seuraavat:

• Mitä pienempi tutkimus, sen todennäköisempää on että tulos on väärin. Muutamien kymmenien koehenkilöiden tulokset voivat olla tilastollista (tai jonkin muun tekijän aikaansaamaa) sattumaa ja löydös katoaa kun samaa asiaa testataan tuhansilla. Pieniä tutkimuksiakin on pakko tehdä sillä isot voivat olla monista syistä mahdottomia toteuttaa.
• Mitä pienempi vaikutuksen suuruusluokka, sen todennäköisempää on että se on väärin. Tupakointi voi lisätä sydän- ja verisuonitautien riskiä 3-20-kertaiseksi mutta joku ravitsemuksellinen tekijä vain 1.05. Tulos voi olla tilastollisesti merkitsevä mutta ei välttämättä tarkoita käytännössä yhtään mitään. Riippuen aineiston suuruudesta ja tilastollisesta tarkastelusta, voi myös olla että tulos on sattumaa.
• Oikeassa olemisen todennäköisyys riippuu siitä tiedosta, johon koko tutkimus perustuu. Toisin sanoen, jos lähdetään tekemään täysin uusi tieteellinen aluevaltaus, on todennäköisempää mennä metsään, kuin sellaisissa tutkimuksissa jotka rakentuvat laadukkaiden aikaisempien tutkimusten päälle.
• Mitä enemmän tutkijoilla on “liikkumavaraa”, sen todennäköisempää on että he löytävät väärän tuloksen. Puhutaan myös tutkijoiden “vapausasteesta” (engl. “researcher degrees of freedom”). Tämä tarkoittaa käytännössä sitä että jos esimerkiksi kliinisessä tutkimuksessa vertaillaan kahta ryhmää ja heistä mitataan 100 eri muuttujaa aina pituudesta, painosta sekä kehonkoostumuksesta lähtien, on todennäköistä että joku ero löytyy. Ero voi olla kyseisessä aineistossa merkitsevä mutta silti väärin. On myös olemassa niin kutsutun “P-hakkeroinnin” (engl. “P-hacking”) vaara, jossa valitaan sellaiset muuttujat että tulos on tilastollisesti merkitsevä. Tämäkään ei (välttämättä) ole tietoista, vaan tutkija voi vilpittömästi etsiä tuloksistaan uutta tietoa ja sen löytäessään järkeillä jälkeenpäin osuneensa juuri oikeaan. Tutkijoillakin esiintyy kriittisen ajattelun puutetta.
• Mitä suuremmat taloudelliset intressit, sen todennäköisempää on että tulos on väärin. Daa.
• Mitä uudempi ja seksikkäämpi tutkimusaihe (ja enemmän tutkijoita mukana), sen todennäköisempää on että saadaan vääriä tuloksia. Tämä liittyy kolmanteen pointtiin, eli siihen että ei juuri ole aikaisempaa tietoa minkä päälle rakentaa. Virheitä sattuu. Lisäksi tieteellinen kilpailu on uusilla aloilla kovaa ja tutkijat saattavat kiirehtiä tulostensa kanssa sen sijaan että malttaisivat rauhassa toistaa kokeitaan varmistuakseen niiden luotettavuudesta.

On siis korostettava sitä, että mikään näistä seikoista ei automaattisesti tarkoita että tutkimustulos on väärä. Ne vain lisäävät väärässä olemisen riskiä. On olemassa paljon teollisuuden rahoittamia pieniä tutkimuksia uudella alalla, jotka ovat osuneet oikeaan. Jokaista napakymppiä kohti voi kuitenkin olla moninkertainen määrä huteja.

Klassikkoartikkelinsa jälkeen Ioannidis on jatkanut työtään osoittamalla tutkimustiedon puutteita monilla erikoisaloilla. Tämä on niin kutsuttua meta-tutkimusta; tutkimuksen tutkimista.

Yli 10 vuotta sitten avoimeen, nk. Open Access-periaatteeseen perustuvia tieteellisiä julkaisusarjoja oli paljon vähemmän kuin nykyään (artikkeli on julkaistu yhdessä OA-formaatin edelläkävijälehdistä). Jos Ioannidis kirjoittaisi artikkelinsa tänä päivänä, hän luultavasti lisäisi listalleen sen, että mitä uudemmasta ja julkaisuvolyymiltään pienemmästä OA-lehdestä on kyse, sen todennäköisempää on että tulokset ovat vääriä. Tämä johtuu niin ikään vääristyneistä taloudellisista kannustimista. OA-mallissa tutkijat maksavat lehdelle, mikäli heidän artikkelinsa hyväksytään julkaistavaksi. Perinteisen mallin mukaan lukijat maksavat oikeudesta päästä lukemaan tutkimuksia. Periaate on erinomainen ja ehdottomasti askel oikeaan suuntaan sillä tiede kuuluu kaikille (muista perusteluista puhumattakaan). Kääntöpuolena on se että rahan kiilto silmissään, osa lehdistä saattaa julkaista laadultaan heikkoja tai suorastaan ala-arvoisia tutkimuksia. Tällaisia kutsutaan nk. Predatory-lehdiksi ja niitä voidaan jo lähtökohtaisesti pitää äärimmäisen epäluotettavina. Melko kattava lista tällaisista lehdistä löytyy täältä (löytyy myös blogin sivupalkista, sillä on skeptikoille tärkeä!). Suomalaiset ovat koonneet julkaisutietonsa Julkaisufoorumi-nimisen projektin alle ja siellä predatory-lehdet on merkitty erikseen.

Ikään kuin tässä ei olisi tarpeeksi, tieteen tekemisessä on valtavasti muitakin ongelmia. Tutkimusrahoituksen kannustimet ohjaavat tutkimusta paikoin vääriin suuntiin. Suomessakin on korkealla tasolla puhuttu siitä että tieteellisen tutkimuksen tulisi nimenomaan tähdätä kaupallisten sovellusten tuottamiseen – kauhistuttava ajatus joka uhkaa myös tutkimuksen luotettavuutta. Lisäksi tutkimusrahoituksista on jouduttu leikkaamaan valtavia siivuja pois. Tutkijoita pakotetaan olemaan tuotteliaampia yhä pienemmillä resursseilla. Ongelmat ovat osin samoja muualla maailmassa.

Suuren yleisön silmissä rahoittajien junailemat petokset voivat olla tieteen vihollinen numero yksi mutta tutkijat itse pitävät pahimpina ongelmina valikoivaa julkaisemista ja viittauksia aikaisempaan tietoon sekä huonoa laadunvalvontaa ja nuorten tutkijoiden mentorointia. Lähes kaikilla on samat juuret: valtava kilpailu ja sen mukanaan tuoma paine julkaista mahdollisimman paljon nopeaan tahtiin.

Kaikesta tästä huolimatta, tiede on ehkäpä ihmiskunnan tärkein keksintö ja edelleen puolustamisen arvoinen – ehkä tänään enemmän kuin koskaan.

Kauhistelun sijaan oikea yhteenveto tieteen vaikeuksista on tämä (pahoittelut epätavallisista voimasanoista): sen tekeminen on ihan perkeleen vaikeaa.

Kirjoitan tätä tekstiä ja sinä luet tätä elossa. Meillä on myös paljon rakkaita ihmisiä elossa. Lapsikuolleisuus on romahtanut. HIV-infektio ja sen myötä AIDS oli vielä vähän aikaa sitten kuolemantuomio. Nykyään se on krooninen sairaus, jonka kanssa voi elää lähes normaalisti. Syöpä on kova pala mutta senkin suhteen tehdään jatkuvasti edistysaskeleita ja sairastuneiden elinikä ja -laatu paranee. Sydän- ja verisuonitautien ikävakioitu kuolleisuus laskee suuressa osassa länsimaita, eli sairastuminen siirtyy koko ajan myöhemmäksi ja myöhemmäksi. Valtava määrä tartuntatauteja on hävitetty. Miten tämä on edes mahdollista kun niin paljon on vialla?

Tiede toimii vaikeuksistaan huolimatta – ja niiden vuoksi

Tänä aamuna kävin lenkillä ja aikaisemmin tällä viikolla vedin kahdet kyykkytreenit. Polvi toimii mainiosti. Yksittäiset väärät tutkimustulokset tai lääketeollisuuden pimittämät artikkelit eivät estäneet sitä että toimiva leikkausmenetelmä on tänä päivänä rutiinia. Syy on siinä, että vaikka resursseja menee paljon myös hukkaan, loppujen lopuksi tiede yksinkertaisesti toimii.

Itse asiassa, kun ylläolevaa Ioannidisin listaa katsoo, se osoittaa juuri syyn MIKSI tiede toimii. Siinä on tutkija, joka on tutkinut tutkimuksia. Hän on löytänyt niistä vakavia puutteita joten hän on julkaissut tuloksensa muiden nähtäväksi. Artikkeli on vertaisarvioitu. Vastaavia tutkimuksia tehdään jatkuvasti ja meta-tutkimus nousee yhä tärkeämmäksi tieteenalaksi. Ioannidis ei myöskään tyytynyt vain löytämään virheitä, hän antoi konkreettisia ratkaisuehdotuksia. Tähtitieteellinen viittausmäärä kertoo siitä että tiedeyhteisö on noteerannut tulokset ja ottaa ne vakavasti. Vuonna 2014, Ioannidis julkaisi samaisessa PLoS Medicine-lehdessä päivityksen: “How to Make More Published Research True”. Korjaustoimenpiteet tiedostetaan.

Olisi helppo pitää tieteen virheiden ruotimista epäluottamuslauseena – tilanne on kuitenkin päinvastoin. Tieteen tulee olla karua ja kestävää – sitä pitää hakata ja potkia kunnes huonot osat paljastuvat. Ne revitään irti ja parhaita osia vahvistetaan. Lapsiin kohdistuva fyysinen väkivalta on tuomittavaa mutta wanhan kansan viisaus pätee tässä tapauksessa täydellisesti: ken vitsaa säästää, se tiedettä vihaa.

Tieteen eteneminen on monesti pimeässä haparointia. Eteneminen edellyttää seiniin törmäilyä mutta siinäkin oppii ainakin sen, mistä ei kannata yrittää.

Tässä nähdään myös ero pseudotieteeseen. Kun huonoon tieteelliseen näyttöön perustuvia hoitoja kritisoidaan, niiden puolestapuhujat keksivät toinen toistaan huonompia selityksiä. Heitä vainotaan tai kriitikoilla on jotain pahantahtoisia motiiveja. Usein he myös yksinkertaisesti kieltävät tuloksissa olevan mitään vikaa ja jatkavat business as usual. Laadukkaimpiin tutkimuksiin perustuvat järjestelmälliset kirjallisuuskatsaukset ovat osoittaneet että sellaiset hoidot, kuten iridologia ja vyöhyketerapia ovat hyödyttömiä mutta tämä ei aiheuta minkäänlaisia korjaustoimenpiteitä tai edes keskustelua hoitojen harjoittajien keskuudessa. Oikeassa Tieteessä itse- ja tiedeyhteisön kritiikki kuuluvat asiaan, pseudotieteessä ne ovat epäreilua sortamista. Pseudotiede ei edes halua edetä pimeydessä, vaan jää paikoilleen kyhjöttämään – joskus jopa tuhansiksi vuosiksi.

Tiede korjaa itseään

Viime aikoina on puhuttu paljon siitä että tieteen itsekorjausmekanismissa on päällä suoranainen kriisi. Tuoreen Nature-tiedelehden teettämän kyselyn mukaan 70% vastanneista tutkijoista oli yrittänyt toistaa toisen tutkijan tekemää tulosta ja epäonnistunut. Puolet vastaajista kertoi joskus epäonnistuneensa jopa oman tuloksensa toistamisessa. Jos olet joskus jutellut kokeneen tutkijan kanssa, olet saattanut huomata että suhtautuminen uusiin löydöksiin on aina “melko” maltillinen verrattuna esimerkiksi mediaan.

Toistan aikaisemman pointin ja pahoittelen taas voimasanoja: Hyvän Tieteen tekeminen on ihan perkeleen vaikeaa

Tässä kuitenkin olennainen ja painavin seikka: mikään muu ihmisen kehittämä järjestelmä ei pyri aktiivisesti etsimään itsestään vikoja, poistamaan niitä ja kehittymään siten paremmaksi.

Kuinka usein uskonnolliset johtajat keskustelevat keskenään siitä, pitäisikö keskeisiä uskonkappaleita päivittää vähän parempaan suuntaan? Kuinka usein taiteilijat miettivät miten tuottaa parempaa taidetta joka puhuttelisi ihmisiä enemmän? Kuinka usein talousmaailma ja politiikka kokevat merkittäviä edistysaskelia kun järjestelmän puutteita korjataan?

Tarkoitus ei ole väheksyä uskontoja, taidetta, taloutta tai politiikkaa – vain osoittaa että ne palvelevat täysin erilaisia tarkoitusperiä ja toimivat täysin eri tavalla kuin tiede. Vaikka tiedekin on kaukana täydellisestä, se on silti paras keksimämme työkalu nimenomaan maailmankaikkeuden toiminnan selvittämiseen. Ja siihen kuuluu se että tiede tutkii, kritisoi ja lopulta korjaa itseään.

Itsensäkorjaavuuden ongelmat on nyt nostettu esiin. Se on korjausprosessin välttämätön ensiaskel. Mutta mitä muita käytännön vastatoimia nykyisille ongelmille on?

Ioannidiksen artikkelin lisäksi tässä on muutamia suuria trendejä, jotka tulevat korjaamaan tiedettä merkittävästi:

• Kustantajien maksumuurit natisevat liitoksissaan. Puutteistaan huolimatta Open Access-tyyppinen julkaisutoiminta on selkeä suunta. Tämä mahdollistaa sen, että tutkimuksia pääsee lukemaan yhä laajempi joukko ja useampi silmäpari takaa sen että mahdolliset virheet kyllä löytyvät. Tämän ohella lehtien nettisivuilla on kommentointimahdollisuus. Sellainen löytyy myös tutkimuksia indeksoivasta PubMed-tietokannasta. Avoin keskustelu tuonee haasteita mutta lopulta parantaa laatua monin tavoin.
• Tutkimusten vertaisarviointi avautuu myös. Jo vuosikymmeniä, tieteellisten julkaisujen kivijalkana pidetty vertaisarviointi on ollut nimetön. Ainoastaan tiedelehtien päätoimittaja on ollut tietoinen siitä, kuka kenenkin julkaisuja on vertaisarvioinut. Tämä on mahdollistanut sen että kommentit ovat voineet olla ainakin rehellisiä mutta kääntöpuolena on ollut se että kilpaileva tutkija on voinut estää julkaisun pääsyn lehteen tai pahimmassa tapauksessa jopa käyttää tuloksia itse. Joskus käy niinkin että lehden arvioijaksi valikoituu tietämyksensä puolesta täysin väärä henkilö eikä tämä ymmärrä lukemaansa. Kommentit voivat siis jopa huonontaa työn laatua. Uutena trendinä monet lehdet kokeilevat paljastaa vertaisarvioitsijoiden nimet viimeistään sitten kun prosessi on ohi. Tämä pakottaa kaikki osapuolet panostamaan arvioinnin laatuun enemmän. Mielenkiintoineni suomalaisinnovaatio tähtää jopa siihen että tutkijat voisivat vertaisarvioida toistensa vertaisarviointeja! Siinäpä vasta tieteen itsekriittisyyttä ja -korjaavuutta kerrakseen.
• Tutkimusten raakadatan avoimuus lisääntyy. Tarkoittaa siis sitä että yhä enemmän panostetaan siihen että tutkijat jakaisivat keskenään sitä alkuperäistä tutkimustietoa ennen kun ovat itse sitä käsitelleet. Kun ihmisen koko perimä saatiin luettua 2000-luvun alussa, se tuli hyvin nopeasti sen jälkeen kaikkien tutkijoiden käyttöön. Tätä periaatetta seuraavia projekteja on jo paljon. Genetiikassa ja ohjelmistokehityksessä tämä on ollut käytössä jo pitkään (kaikkien ei tarvitse sekvensoida tutkimansa eliön genomia) ja se laajenee tasaisesti uusille aloille. Viimeisimpänä linnaakkeena lienee pahamaineinen lääketeollisuus, joka on kovin haluton jakamaan kliinisten tutkimustensa alkuperäisdataa. Tätä linnaketta vastaan kuitenkin hyökätään yhä raivokkaammin (kärjessä lienee All trials-kampanja) ja vaikka siihen varmasti menee vuosia, pikkuhiljaa sekin murretaan.
• Rahoittajatkin vaativat avoimuutta. Useat isot (ei-kaupalliset) tutkimuksen rahoittajat vaativat jo että jos he myöntävät rahoitusta, tutkimuksen tulokset pitää julkistaa mahdollisimman avoimesti. Joskus Open Access on jopa ehdoton vaatimus. Myös raakadatan jakamiseen kannustetaan.
• BiorXivin käyttö lisääntyy. Kyseessä on nk. preprint-serveri, jonne tutkijat voivat ladata tutkimuksen käsikirjoituksensa heti kun se on valmis. Ei tarvitse edes lähettää lehteen! Tiedeyhteisö pääsee kommentoimaan tekstiä nopeasti ja se voi parantua merkittävästi. Kun juttu on lopulta lehdessä, serverille lisätään linkki lopulliseen versioon. Järjestelmä perustuu ArXiv-palvelimeen, jossa julkaiseminen on tietyillä aloilla (kuten fysiikka) vuosia edellä biolääketiedettä.
• Negatiivisten tulosten julkaiseminen yleistyy. Tällä hetkellä resursseja menee valtavasti hukkaan, sillä monet lehdet ovat haluttomia julkaisemaan tutkimuksia missä on epäonnistuttu toistamaan aikaisempia tutkimustuloksia. Tähän on paljon syitä, joihin en tässä mene. Olennaista kuitenkin se, että on olemassa jopa useita kokonaan negatiivisten tulosten julkaisemiseen tarkoitettuja lehtiä. Niiden suosio kasvaa pikkuhiljaa kun tutkijat tulevat niistä tietoiseksi ja rahoittajatkin heräävät siihen että sellaisia kannattaa rahoittaa, sillä se säästää rahaa tulevaisuudessa.

Estävätkö nämä seikat huonojen tutkimusten tulvan? Eivät tietenkään. Mutta läpinäkyvyys auttaa erottelemaan jyvät akanoista jo kaukaa. Yrittikö rahoittaja pimittää tuloksia? Se näkyy raakadatasta. Tekikö joku virheen analyysissä? Kollega huomauttaa rehdisti omalla nimellään kommenteissa. Ehdottiko vertaisarvioija huonoja muutoksia käsikirjoitukseen? Löytyy julkaisun historiasta.

Niin kauan kun yhteiskunta pitää tiedettä tärkeänä ja siihen panostetaan, tiede tulee kehittymään ja korjaamaan itseään. Mikäli rahoittajat jatkavat nopeaan julkaisutahtiin kannustamista, resursseja menee valtavasti hukkaan mutta avoimuuden myötä “hukkatutkimukset” tulevat sentään helpommaksi tunnistaa. Jos taas rahoitus- ja kilpailuasetelmia saadaan järkevöitettyä, korjausprosessitkin tehostuvat merkittävästi.

Joten MITEN luottaa tieteeseen

Blogini keskeinen teema on tieteellisen tutkimustiedon tukema kriittinen ajattelu. On kiistatonta, että tiede tuottaa jatkuvasti yhä hämmästyttävämpiä löydöksiä todellisuudestamme. Niin ikään on kiistatonta, että monet aluksi jännittävältä näyttäneistä tuloksista eivät lopulta pidäkään paikkaansa – syystä tai toisesta. Väärät löydökset kuuluvat kiinteänä osana tieteelliseen tietoon. Niistä otetaan oppia, jonka perusteella rakennetaan parempaa tiedettä. Vaikka vain murto-osa löydöksistä olisikin lopulta totta, se ei tee koko prosessista yhtään sen arvottomampaa. Päinvastoin, tämän perkeleen vaikean prosessin tuottamat kestävät, toistuvat ja merkittävät löydökset ovat sitäkin arvokkaampia.