Lauluja leivästä – Osa 2.

Edellisessä kirjoituksessa tarkasteltiin sitä, mistä niin sanotusti tutkimustyön leipä on peräisin ja millaisia reittejä se kulkee. Tarkastelimme myös syitä sille, miksi usein on vähiten huono vaihtoehto tehdä firmojen kanssa tutkimusyhteistyötä, mikäli niiden tuotteista/palveluista halutaan tietoa. Tärkein kysymys jäi koskematta: voidaanko tutkimuksiin luottaa, jos mukana on yksityinen rahoittaja?

Tämän osan aiheena on juuri tämä Tärkein Kysymys. Käydään siis sen pidemmittä puheitta kimppuun, kuin sika laulattavaan limppuun!

TIETEEN TÄMÄNHETKINEN TASO

Olen aikaisemmin kirjoittanut tutkimusten luotettavuudesta yleisellä tasolla. Totesin, että luotettavan ja laadukkaan tieteen tekeminen on helvetin vaikeaa. Vinouttavia tekijöitä ja virhelähteitä on lukuisia. Olennaista on kuitenkin muistaa, että tieteellinen prosessi tuottaa päivittäin oikeita, luotettavia ja käyttökelpoisia tutkimustuloksia. Niistä koostetaan synteesi, jota vasta voidaan kutsua tieteelliseksi tiedoksi.

Yhdysvaltain arvostetuin tieteellinen organisaatio, National Academy of Sciences (NAS) järjesti viime vuonna kokouksen, missä pohdittiin tieteen tämänhetkistä oletettua “kriisitilaa”. Tätä termiä tai sen johdannaisia käytetään useissa yhteyksissä kuvaamaan tieteellisen tutkimuksen huonoa tasoa. Tarkemmin ottaen väite on se, etteivät tutkijat saa toistettua toistensa tuloksia. Puhutaan mm. “replikaatiokriisistä’. Mutta onko tällaisesta kriisistä oikeasti näyttöä, vai perustuuko se vain subjektiivisiin mielikuviin? Osa NAS:n kokouksen esityksistä on kirjoitettu tieteellisen artikkelin muotoon ja ne julkaistiin hiljattain PNAS-lehdessä.

Useat artikkelit lievittävät huolia merkittävästi. Itse asiassa puolueeton tutkimuksen tutkimus ei anna vahvoja merkkejä siitä että nyt oltaisiin jotenkin poikkeuksellisen huonossa jamassa. Historiallinen tarkastelu puolestaan huomauttaa, että tiedeyhteisön sisällä on aina ollut niitä jotka ovat olleet huolissaan tutkimuksen tasosta. Toinen artikkeli argumentoi vakuuttavasti, että samalla kun olemme kovin huolissamme tieteen tasosta, se tuottaa jatkuvasti merkittäviä läpimurtoja.

Tieteen tekemisessä on siis kiistatta ongelmia mutta kuten aikaisemmin totesin, ratkaisu on lisää, parempaa tiedettä – ei koskaan vähemmän. Väärätkin tulokset kuuluvat tieteeseen ja niistäkin opitaan. Tiede elää jatkuvasta sisäisestä kritiikistä ja tulosten repimisestä kappaleiksi kaikista mahdollisista suunnista. Tieteellisen tutkimuksen tutkimus on tieteen tapa katsoa ja korjata itseään. Kiteytin ajatukseni fraasiin “ken vitsaa säästää, se tiedettä vihaa“. Seison tämän takana edelleen.

Huolehtiminen on hyvä asia – tarpeeton panikointi ei. Tieteellä menee varsin lujaa ja se on edelleen paras tapa tuottaa uutta tietoa.

VINOUTTAVA RAHA

On selvää, että taloudelliset motiivit ovat yksi mahdollinen tiedettä vinouttava virhelähde. Mutta ilman mitään käsitystä vinouman suuruusluokasta, huoli jää pelkäksi sanahelinäksi. Kaivataan siis parempaa tietoa. Mikä on rahoituslähteen vinouttava vaikutus kvantitoituna, eli kovina numeroina mitattuna? Jos luku on suuri, tiedämme että kyse on suuresta ongelmasta, ja päinvastoin.

Tanskalais-kanadalais-australialainen (teollisuudesta riippumaton) tutkimusryhmä tarttui hiljattain tähän kysymykseen ja päätti koostaa aiheesta järjestelmällisen kirjallisuuskatsauksen ja meta-analyysin. Tämä oli todellinen tutkimusten tutkimusten tutkimus! Ryhmä nimittäin veti yhteen aikaisempia meta-analyysejä ja järjestelmällisiä katsauksia (yht. 75kpl), jotka kattoivat yhteenlaskettuna yli 1500 tutkimusta lääkkeistä ja lääketieteellisistä laitteista. Tulokset julkaistiin vuonna 2017 Cochrane Collaborationin arvostetussa julkaisusarjassa. Tutkimuskysymys oli se, vaikuttaako rahoituslähde (julkinen vs. yksityinen) tutkimustulosten raportointiin. Tulos oli odotetusti, että kyllä se vaikuttaa! Tarkkaan ottaen, firman raha lisää suotuisan tuloksen todennäköisyyttä n. 30%. Tämä on katsojasta riippuen joko hyvä tai huono tulos. Jos ajatellaan, että n. 70% tutkimuksista on julkaistu hyvän tavan mukaan huolimatta firman rahoituksesta, ei se minun mielestäni mitenkään kovin hälyttävä tulos ole. Parantamisen varaa on, mutta asiat voisivat olla todellakin paljon huonommin. Totta puhuakseni, ennen tuota tutkimusta olisin voinut veikata numeron jopa suuremmaksi.

Jos taas 30% on mielestäsi huono tulos, tutkimus lievittää huolia toisellakin tapaa. Lukuarvon lisäksi, tutkijat katsoivat niitä tarkkoja mekanismeja, millä tämä firmoja suosiva taipumus muodostuu. He toteavat, että suurin osa on näkyvillä sille, joka vain tarkkaan katsoo. Jos esimerkiksi tutkimuksessa vertaillaan kahta lääkettä, kilpailijan lääkkeeseen saatetaan lipsauttaa vähän turhan pieni annos. Jos taas tulokset eivät muuten mairittele, niitä kaunistellaan sopivilla sanavalinnoilla. Ja niin edelleen.

Tämä on erinomainen uutinen, sillä se tarkoittaa sitä että positiivinen “spinnaus”, eli tulosten vääristely ei suinkaan ole piilossa. Yksityinen rahoittaja antaa syyn lukea paperi vähän kriittisemmällä silmällä mutta suoralta kädeltä tuomitsemiseen ei näyttäisi olevan aihetta. Toisaalta on tämä huono uutinen niille, jotka haluavat aina refleksinomaisesti etsiä rahoituslähteen tai jonkun muun tekosyyn jättää koko tutkimus lukematta.

Tästä palataan jälleen samaan pointtiin, minkä tein aikaisemmin: pikaisen tuomion sijaan tutkimukset on aina luettava huolellisesti ja arvioitava niiden menetelmien ja muiden ansioiden perusteella – EI rahoittajan.

On myös huomattavaa, että kaikki firmojen osallisuus ei ole pelkästään huonoa. Tässä tutkimuksessa havaittiin mm. se, että firmojen rahoittamat tutkimukset olivat tietyillä mittareilla mitattuna laadukkaampia, kuin julkisesti kustannetut tutkimukset. Tämäkin käy järkeen, sillä firmoilla on kannustimia tehdä mahdollisimman luotettavaa tutkimusta. Valvovat viranomaiset voivat olla melko vaativia ja toisaalta tulee hillittömän kalliiksi haudata vuosia kestäneen tuotekehittelyn tulokset vain siksi että joku alustava tutkimus olikin toteutettu huonosti ja johti harhaan. Osa tuloksesta selittyneekin sillä, että firmat myös valitsevat tarkkaan ne aiheet, mihin lähtevät mukaan. Ne niin sanotusti lyövät vetoa vain voittavista hevosista ja jättävät muut rauhaan. Lopputulos voi senkin vuoksi näyttää vinoutuneelta. Tämä ei kuitenkaan selitä koko ilmiötä.

Mutta ne olivat lääke- ja laitehommia ne. Terveyteen liittyy myös ravitsemus ja tietenkin sen taustalla häärivä BIG FOOD.

Samankaltainen tutkimus julkaistiin 2016 liittyen firmojen osallisuuteen ravitsemustutkimuksessa (huom! mukana myös ravintolisäteollisuus). Siihenkin löytyi 12 yhteenvetotutkimusta, joissa yksittäisiä alatutkimuksia oli 17-2539(!). Hieman vaikeammin tulkittava lopputulos oli, että firmojen mukanaolo nostaa niitä suosivan tuloksen todennäköisyyttä pauttiarallaa saman verran, kuin lääkepuolella, eli n. 30%. Arviossa on kuitenkin niin suuri hajonta, ettei tämä saavuta tilastollista merkitsevyyttä. Pitäisin kuitenkin arviota suuruusluokaltaan oikean kokoisena.

Molempien jättitutkimusten perusteella voidaan siis sanoa, että selkeä enemmistö tutkimuksista on puolueetonta vaikka mukana olisi yksityinen rahoittaja. Ja jos on syytä epäillä tuloksia, mahdollinen vilunki löytynee tarkalla lukemisella.

Nämä tutkimukset ovat siinä mielessä erittäin kovatasoisia, että aineisto on valtava ja tilastollinen- yms käsittely huolellista. On kuitenkin mahdollista, että massan alle jää tärkeitä nyansseja. Olisi esimerkiksi kiintoisaa tietää eroaako tulos sen mukaan, onko kyse täysin firman rahoittamasta tutkimuksesta vai yhdistelmärahoituksesta jonkun muun tahon kanssa. Kuten aikaisemmassa osassa todettiin, on eettis-taloudellisia perusteita tehdä firmojen kanssa yhteistyötä. Olisi kutenkin kiinnostavaa tietää, onko muitakin syitä. Itse ainakin suhtaudun kriittisimmin sellaisiin tutkimuksiin, jotka ovat selkeästi firman sisäistä työtä.

Terveysaiheisiin liittyy toki muitakin näkökulmia. Vastaavaa tutkimustyötä on tehty myös erilaisten ympäristöaltistusten parissa. Näissä kirjallisuus ei kuitenkaan ole aivan niin kattava, kuin lääke- ja ravitsemuspuolella. Tuloksetkin ovat jokseenkin hankalammin tulkittavissa.

Yksi katsaus selvitti, miten erään kasvintorjunta-aineen toksikologisia ominaisuuksia käsittelevien tutkimusten rahoitus vaikuttaa lopputulokseen. Siinä huomattiin, että firman rahoitus lisää suotuisten tulosten määrää n. 30 prosenttiyksikköä. Hämmästyttävän johdonmukainen tulos! Se kuitenkin rajoittui vain koe-eläintöihin.

Toisessa tutkimuksessa katsottiin, miten laboratorio-olosuhteissa totetettavien kännykkäsäteilytutkimusten tulokset riippuvat rahoittajasta. Tämän etuna oli se, että rahoitus oli jaettu neljään osaan: täysin firman rahoittama, julkinen, näiden sekoitus sekä “ei ilmoitettu”. Jos tutkimus oli tehty täysin BigKännykän rahalla, 4/12 (33%) raportoi jonkinlaisia mitattavia vastineita, kun taas muuten rahoitetuissa töissä prosentti vaihteli välillä 64-75%. Kun katsottiin, miten tutkijat itse tulkitsivat tuloksiaan, vain yhdessä yksityisrahoitteisista tutkimuksista kerrottiin että joku vaikutus voi olla, kun taas muissa prosentti vaihteli n. 50% molemmin puolin. Tutkimuksen rajoituksena on se, ettei se ota huomioon lainkaan laboratorion ulkopuolella tehtyjä töitä, joiden tutkijat toteavatkin olevan lähes yksinomaan julkisesti rahoitettuja.

Nämäkin tutkimukset siis palaavat samoihin teemoihin: on vähiten huono vaihtoehto, että firmojen kanssa tehdään yhteistyötä. Toisaalta jokainen tutkimus on tulkittava sen omien ansioiden sekä laajemman kirjallisuuden kokonaisuudessa.

RAHA RATKAISEE – PAITSI SILLOIN KUN EI

Yksi valtavan iso seikka tässä keskustelussa häiritsee minua ylitse muiden: ajatellaan, että raha olisi ainoa motiivi, joka vinouttaa ihmisen mielipidettä. Vielä pahempaa on ajatus, että raha nähdään keskeisenä motiivina ylipäätään tehdä mitään. Oikeastaan tämä on aika surullinen näkemys, sillä se viittaa siihen ettei tällaisen syytöksen esittäjä ole ehkä koskaan saanut kokea mitään niin tärkeäksi että haluaisi tehdä sitä ei-taloudellisista syistä. Tai ainakaan ei pysty kuvittelemaan että joku muu olisi.

Olen kirjoittanut jo kymmenittäin facebook-postauksia ja blogikirjoituksia kaikista niistä tavoista, millä ihmisen ajattelu on vinoutunutta, eivätkä tutkijatkaan ole poikkeus. Tiede on kyllä rakenteiltaan tehty sellaiseksi että inhimillisten virheiden osuus minimoituisi, mutta ei siitä suinkaan kokonaan pois päästä.

Jälleen kerran, tässäkin asiassa tarvitaan lisää ja parempaa tiedettä.

Hiljattain BMJ:ssä julkaistiin tärkeä keskustelu siitä, miten ei-taloudellisia sidonnaisuuksia tulisi käsitellä – vai tulisiko lainkaan. Ei-taloudellisten sidonnaisuuksien julkistamisen puolestapuhujat argumentoivat, että nämä ovat todella tärkeä juttu ja ne tulisi tuoda julki. On esimerkiksi näyttöä siitä, että arvostus on monille asiantuntijoille rahaa tärkeämpi motiivi. Ilmainen lentolippu tai hotellimajoitus voi olla nuorelle tutkijatohtorille iso juttu mutta kokenut veteraani ei niistä enää jaksa riemastua. Kuten ei myöskään pienistä luentopalkkioista. Sen sijaan jos napsahtaa kutsu vaikkapa jonkun arvostetun lehden toimituskuntaan, se alkaa jo tuntua (näistä ei muuten yleensä saa rahaa, vaan kyse on eräänlaisesta ylimääräisestä arvovaltaisesta vapaaehtoistyöstä).

Tässä siis muistutan kirjoitussarjan keskeisestä teemasta: mekanismien suhteen on oltava tarkkana. Mikä on sidonnaisuuden vaikutusmekanismi? Jos sidonnaisuus on vaikkapa palkkio luennosta, jonka aiheena on tutkijan oma erikoisala ja jonka valmisteluun hän on käyttänyt mahdollisesti jopa vapaa-aikaansa, onko todella syytä epäillä että tämä vaikuttaa hänen puolueellisuuteensa? Entäpä jos kyse on puhtaasti tutkimusrahasta, mistä hän ei ole henkilökohtaisesti hyöytynyt tippaakaan?

Erillisessä JAMAn kirjoituksessa mennään jopa niin pitkälle, että ehdotetaan ravitsemustutkijoiden ilmoittavan omat ruokavalionsa sidonnaisuutena. Jos karppaat ja teet hiilihydraatteihin liittyvää tutkimusta, voinko luottaa sanaasi? Taloudellisia motiiveja ei välttämättä ole mutta ideologisia ehkä senkin edestä. Tai jos olet vegaani, voinko luottaa siihen että teet puolueetonta tutkimusta eläinperäisten tuotteiden terveysvaikutuksista?

BMJ:ssä julkaistussa kommentaarissa toppuutellaan innostusta ja todetaan, ettei ole näyttöä tutkijoiden ruokavalion merkittävästä vinouttavasta vaikutuksesta (mikä ei tietenkään tarkoita sitä, etteikö vaikutusta voisi olla – sitä ei vain ole vielä tutkittu). Toisaalta kirjoituksessa muistutetaan myös siitä, ettei niitä sidonnaisuuksia voi loputtomiin ilmoittaa ihan siitä syystä, että niitä on liian paljon. Johonkin se raja on vedettävä.

Samoilla linjoilla on myös terveyslainsäädännön professori Marc Rodwin, joka kirjoitti vastineen edellä siteerattuun BMJ:n artikkeliin. Hänen mielestään sidonnaisuuksien käsitteen laajentaminen ei-taloudellisiin asioihin vieläpä sumentaa koko termin tehden siitä vähemmän käyttökelpoisen.

Keskustelussa nousee esiin vielä yksi tärkeä huomio. Provokatiivisia “Hei, katsokaa miten korruptoitunutta tiede on!” -tyyppisiä kirjoituksia julkaisevat ihmiset saattavat itse asiassa ollakin itse melko puolueellisia. Tämä tunnetaan nimellä ‘White Hat bias’, eli Valkoisen hatun vinouma. Nimi tulee klassisista länkkäreistä, missä sankareilla on valkoiset hatut ja pahiksilla mustat. Sankarit yrittävät pelastaa tieteen ja esiintyvät oikeamielisinä totuuden puolestapuhujina. Ikävä kyllä heillä on myös oma agenda, joka jälleen vinouttaa hyvänkin tarkoituksen.

Tyylipuhdas esimerkki tästä on brittiläinen julkkiskardiologi Aseem Malhotra, joka pääsi hiljattain aina EU:n parlamenttiin saakka puhumaan lääke- ja ruokateollisuuden korruptoivasta voimasta. Hän esiintyi huolestuneena lääkärinä, joka pelkää puolueettoman tiedon puolesta. Samalla kuitenkin pääsi unohtumaan, ettei hän ole itse tehnyt lainkaan alkuperäistutkimusta ja on luonut toisinajattelijan maineen karppauksen puolestapuhujana. Lisäksi hän on kirjoittanut siitä kirjan, minkä myyntiä tällaiset tempaukset tehostavat kummasti. Kas siinäpä valkoista stetsonia kerrakseen.

Tämä ei tietenkään tarkoita sitä, että jos on kirjoittanut aiheesta kirjan, olisi se nimenomaan syy vinoutuneeseen mielipiteeseen. Syy-seuraussuhde voi mennä myös niin päin, että uskoo asiaansa niin vahvasti, että päätyy lopulta kirjoittamaan siitä kirjan. Näin on todennäköisesti käynyt myös Malhotran tapauksessa (ainakin toivon niin). Ongelma on kuitenkin kaksoisstandardina tunnettu virhepäätelmä. Valkoisen hatun alta ei yleensä nähdä sitä, että toinen osapuoli voi yhtälailla vilpittömästi uskoa asiaansa.

Shokkipaljastus: jopa lääkkeitä tai ei-karppausruokavaliota voi puolustaa uskoen vilpittömästi niiden pelastavan ihmishenkiä. Eroava mielipide ei aina ole ostettu.

Keskustelu ei-taloudellisista sidonnaisuuksista on tärkeää. Itselläni ei ole asiasta kovin vahvaa mielipidettä – se vielä heilahtelee uusien kirjoitusten myötä tutustuessani erilaisiin näkökulmiin. Olen kyllä sitä mieltä, että esimerkiksi kirjat ja nykyään blogikirjoitukset tulisi ilmoittaa ideologisena sidonnaisuutena. Tämä on sellaista yhteiskunnallista vaikuttamista, mitä tutkijoilta toisaalta edellytetään mutta mikä myös pitää sisällään jonkinlaisen ideologisen kannanoton.

Terveyskeskustelun kannalta olennaista on kuitenkin se, että KUKAAN ei ole vinoumista tai sidonnaisuuksista vapaa. Taloudellinen sidonnaisuus ei takaa puolueellisuutta eikä riippumattomuus puolueettomuutta. Tämä koskee niin oikeita lääkäreitä sekä tutkijoita, kuin kaikenkarvaisia vaihtoehtotietäjiäkin. JOKU maksaa myös heidän palkan ja JOKU löytyy aina toisesta päästä kun “follow the money”.

Kun tämä viidakko on mitä on, onkin viisainta keskittyä ensisijaisesti siihen, mitä väitetään ja millä perustein.

YHTEENVETO

Tämä kirjoitussarja on polveileva ja monitahoinen. Sillä on kuitenkin loppujen lopuksi varsin selkeä johtopäätös: tutkimukset tulee arvioida ensisijaisesti niiden laadun, ei rahoittajan perusteella. Ja yksittäiset tutkijat tulee arvioida heidän tekemänsä työn, ei sidonnaisuuksien perusteella. Kaikesta tulee muodostaa looginen synteesi kokonaiskirjallisuuden perusteella. Niin tutkijoilla, kuin heidän kriitikoillakin on vinoumia jos johonkin suuntaan. Raha on niistä vain yksi eikä läheskään aina tärkein.

Usein eri tahojen intressit ovat vastakkaiset; lihateollisuus sponsoroi karppaustutkimuksia ja BigPasta hiilaritutkimuksia. Niiden vaikutus on kuitenkin paljon pienempi, kuin yleisesti luullaan. Valtaosa tutkimuksista kertoo asiat niin kuin ne ovat, ilman rahoittajan puolesta spinnailua. Ja kun useiden tutkijoiden kollektiivi tulee saman kokonaiskirjallisuuden perusteella samansuuntaisiin johtopäätöksiin, kyse on hyvin todennäköisesti luotettavasta tiedosta. Heillä kun työnkuvaan kuuluu lukea tutkimukset tarkkaan.

Tieteellisessä kirjallisuudessa on sisäistä jännitettä erilaisten näkemysten, etujen ja vinoumien kesken. Lopputuloksena ne takaavat tieteeseen sisäänrakennetun kriittisen ilmapiirin ja itseään korjaavuuden. Kun tutkimuksia lukee johdonmukaisesti eri suunnista, on mahdollista kaivaa esiin luotettavin tieto.

Leipä ei siis ole mitenkään erityisen laulattavaa ruokaa. Ja vaikka joku tutkija vähän omaan korvaan epävireisesti lauleleekin, on syytä kuunnella sanoja. Leivän alkuperä tulee tärkeysjärjestyksessä vasta kaukana perässä.