Aikaisemmissa osissa olemme pohtineet, minkälaisia väittämiä kannattaa alkaa pohtimaan tarkemmin ja miten omat vinoumat minimoidaan sen tieltä. Nyt on aika tarttua siihen, minkälaiseen todistusaineistoon kannattaa luottaa ja miksi. Yleensä tarjolla on joko kertomuksia tai tutkimuksia.
Me ihmiset olemme luontaisia tarinankertojia ja -kuuntelijoita. Paitsi että etsimme tarinoista viihdettä, niiden vetovoima ulottuu myös oppimiseen ja tiedonkeruuseen. Mitä mehukkaampi tarina, sen parempi. Hyvät opettajat/luennoitsijat kertovat vaikeitakin asioita ymmärrettävästi pukemalla niille tarinoista tuttuja vertauskuvia tai muita havainnollistuksia. Äärimmäisenä esimerkkinä tarinoinnin viehätyksestä on juoruilu, jolle on todennäköisesti olemassa evoluutiobiologinen peruste. Juoruilun taustalla olevat psykologiset mekanismit voivat olla jopa yksi keskeinen selittäjä uskontojen taustalla.
Niin houkuttelevia kuin hyvät tarinat ovatkin, ne ovat yleensä karmivan huonoa todistusaineistoa.
Aikaisemmin tarkastelimme myös väitteen lähteen arviointia. Meidän on helpompi olla kriittinen jos väittämän lähteenä on entuudestaan tuntematon ihminen tai vielä pahempaa – koko joukko tuntemattomia ihmisiä. Jos taas tarinan kertoo joku meille tuttu ihminen, arvioimme sen paljon luotettavammaksi. Tämän taustalla on nk. ‘kehäefekti’ (engl. ‘Halo effect’), joka on ajatusvinouma jonka johdosta liitämme aina paljon enemmän positiivisia mielleyhtymiä ihmiseen johon suhtaudumme muutenkin suotuisasti.
Kertomukset, eli anekdootit, ovat tietysti joissain tapauksissa aivan riittävää tietoa. Muistanet aikaisemman kirjoituksen ja hyperskeptisyyden. Ilman erityisen painavaa syytä, ei ole mitään mieltä kysyä ystävältä todistusaineistoa jostain täysin arkipäiväisestä asiasta. Kun ystäväsi kertoo nähneensä kaupassa uuden jäätelöpaketin, ei sille todennäköisesti tarvitse vaatia vertaisarvioitua tutkimusta tueksi.
Jos taas kyse on isommista asioista kuten terveydestä, meidän on pakko olla kriittisempiä.
Terveyteen liittyvät anekdootit ovat monelle tuttuja. “Tämä dieetti auttoi pudottamaan 15kg”. “Tämä hoito paransi astman”. “Tällä treeniohjelmalla lisäsin Cooperin testiin 500m”. Nämä kuulostavat erityisen hyvältä jos esittäjä on luotettavana pitämämme henkilö.
Aikaisemmin tässä sarjassa totesimme myös, että suuret väitteet vaativat suuria todisteita ja että usein täytyy miettiä sellaisiakin asioita, kuten “voisiko tämä olla mahdollista?”. Seuraavassa silmäys muutamiin tärkeimpiin syihin, miksi anekdootit eivät todellakaan ole suuria todisteita ja voivat parhaimmillaankin osoittaa vain sen, että joku asia on mahdollinen. Kaikki eivät päde kaikkiin tapauksiin ja joihinkin voi päteä yhtä aikaa useampia.
1.Palautuminen kohti keskiarvoa (engl. regression to the mean). Tämä tarkoittaa yleisesti ottaen sitä, että ilmiöllä on jonkinlainen keskiarvon ympärillä aaltoileva perusluonne. Ihmisen terveydessä tämä tarkoittaa esimerkiksi sitä, että erilaiset kivut voivat tulla ja mennä. Joskus pidemmäksi aikaa, joskus lyhyemmäksi. Myös arkiset sairastelut, kuten flunssat ovat ohimeneviä. Monet paranevat täysin itsestään, tekipä niille jotain tai ei. Pointti on siinä, että todennäköisyys tehdä vaivalle jotain, on suurimmillaan juuri silloin kun oireet ovat pahimmillaan. Ongelma puolestaan siinä, että tällaisia aallonpohjia yleensä seuraa paranemisvaihe – tekipä asialle jotain tai ei. Jopa erittäin vakavat sairaudet, kuten syöpä voivat mennä nk. remissioon, eli oireettomaksi. Jälkeenpäin muistamme vain sen, että tilanne oli huono, kunnes teimme toimenpiteen X. Homma pätee myös toisinpäin. Jos on erityisen hyvä fiilis ja jotain sattuu, syytämme sitä huononevasta vaiheesta vaikka kyse onkin siitä että olotila palautuu kohti keskiarvoaan.
2. Esiintyvyysharha (engl. ‘base-rate neglect’). Tämä on ajatusvinouma, joka on vähän kaukaisempaa sukua edellisessä kirjoituksessa mainituille saatavuus-, ja edustavuusheuristiikalle. Se tarkoittaa sitä, että jätämme hyvin herkästi perustason (‘base-rate’) toistuvaa informaatiota huomioimatta ja keskitymme vain poikkeaviin havaintoihin. Käytännön esimerkki olisi vaikkapa se, että henkilö on syönyt joka päivä jäätelöä viimeiset viisi vuotta. Yhtäkkiä hän vaihtaa maidottomaan ruokavalioon luettuaan että se voisi olla terveellistä. Kertoessaan muutoksesta, hän todennäköisesti painottaa maidottoman elämän ihanuutta mutta ei lainkaan tiedosta että samalla jäi pois valtava määrä sokeria, joka olisi voinut riittää terveyden kohenemiseen.
3. Vahvistusvinouma. Tämä tuli myös tutuksi kirjoitussarjan edellisessä osassa. Kertauksena; kyseessä on vinouma, joka saa aikaan sen että välttääksemme kognitiivisen dissonanssin etsimme ja valikoimme sellaista tietoa, joka jo vahvistaa olemassaolevia käsityksiämme. Tämä vaikuttaa paitsi tiedon etsinnässä pään ulkopuolella, myös pään sisällä. Toisin sanoen, kaivamme muististamme tietoja jotka yhdistämme tukemaan jotain mieluisaa näkemystä. Jos henkilö on vaihtanut gluteenittomaan ruokavalioon, hän voi olla varsin hyvä vakuuttamaan itsensä siitä että se oli hyvä ratkaisu kaivelemalla muististaan negatiivisia gluteeniin liitettäviä kokemuksia/tietoja.
4. Lume- eli plasebovaikutus. Tämä ansaitsee kokonaan oman kirjoituksensa, johon palaan myöhemmin. Tärkeintä on tietää se, että lumevaikutus on hyvin todellinen ja auttaa lähestulkoon kaikessa aina kivunhoidosta sairauksien oireisiin. Olemme kaikki alttiita lumevaikutukselle, vaikka tietäisimme saavamme lumetta. Siksi lääketieteessäkin hyväksytään tulos vasta kun se on lumetta parempi. Lumevaikutus mahdollistaa sen, että lähestulkoon millä tahansa asialla voi olla hyödyllinen vaikutus. Ruokavalioilla on lumevaikutusta mutta myös monenlaisilla ravintolisillä ja vaihtoehtohoidoilla. Jos henkilö kertoo parantuneensa tietyn hoidon avulla, kyseessä voi olla pelkästään hoitoon liittyvä lumevaikutus.
5. Nosebo- eli “käänteinen plasebo”. Tunnetaan myös placebon “pahana kaksoisveljenä”. Kyseessä siis ihmiskehon kyky kokea jonkinlaisia haittavaikutuksia vaikka mitään todellista aiheuttajaa ei ole. Ilmiöön törmätään esimerkiksi lääketutkimuksissa, joissa lumelääkekin aiheuttaa ihmisille samanlaisia haittoja kuin oikea lääke (yleensä kuitenkin paljon vähemmän). Monenlaiset vaivat, kuten erilaiset yliherkkyystilat voivatkin todellisuudessa olla nosebo-efektiä. Tällöin niihin voi myös vaikuttaa placebolla. Mutta toimisiko sama henkilöllä jonka oireet eivät ole noseboa? Vastaus on ei, ja tämä on jälleen esimerkki anekdoottien huonosta todistusvoimasta.
6. Perimä/ikä/muut yksilölliset tekijät. Nämä ovat erityisesti terveysasioissa ensiarvoisen tärkeää. Perimän vaikutus voi olla valtavan suuri eikä luultavasti ole mitään sellaista asiaa, mihin se EI vaikuttaisi. Ystäväsi on voinut saada kolesterolilääkityksestä pahoja haittoja mutta syy on siinä että hän kantaa SLCO1B1-geenissään sille altistavaa muutosta. Sinulla ei samaa välttämättä ole, joten todennäköisyytesi saada samanlaisia haittoja on moninkertaisesti pienempi. Esimerkkejä on lukemattomia. Toisaalta tarinan kertoja voi olla täysin eri ikäinen tai eri sukupuolta, mikä edelleen voi rajoittaa tarinan soveltuvuutta entisestään.
7. Väärä diagnoosi. Henkilö voi kertoa tarinan, jossa on selvinnyt ongelmasta X ratkaisun Y avulla. Todellisuudessa hänen tietonsa koko X:stä voivat olla puutteelliset ja aiheuttajana onkin ollut Z. Ongelma voi olla noceboa tai ihan oikea lääketieteellinen vaiva. Jopa lääkärit voivat diagnosoida vakavia sairauksia virheellisesti.
Ihminen on erehtyväinen emmekä voi sitä poistaa. Kriittisen ajattelun avulla voimme kuitenkin vähentää erheiden määrää. Ja kun todistusaineistosta on kyse, kertomusten todistusarvo on käytännössä nolla. Se voi kuitenkin olla hyvä kimmoke perehtyä asiaan tarkemmin. Ja tähän arviointiin ei ole parempaa työkalua, kuin…
Tieteelliset tutkimukset
Pureudumme tieteellisten tutkimusten lukemiseen lisää kirjoitussarjan seuraavassa osassa. Sitä ennen katsotaan kuitenkin syitä, miksi ne ovat paljon parempaa todistusaineistoa kuin kivat kertomukset. Huomattavaa on, että kyse on nyt useiden tutkimusten muodostamasta kokonaisuudesta, eli tieteellisestä näytöstä.
Tieteellinen näyttö on lähes täydellinen vastakohta ihmisaivojen 1. järjestelmän intuitiiviselle ajattelulle. Tutkimukset pyritään aina suunnittelemaan jo lähtökohtaisesti siten, että kaikenlaiset harhat minimoidaan. Keinoja ovat:
- Kunnolliset verrokit. Kuten edellä mainittiin, yleisin verrokki tieteessä on lume mutta joissakin tilanteissa muitakin voidaan käyttää. Tärkeintä kuitenkin se, että tuloksia ylipäätään verrataan johonkin toiseen. Anekdooteissa vertailu on vaikeaa, ellei mahdotonta. Kertomukseen voi toki kuulua se, että esimerkiksi jotain dieettiä on kokeiltu jonkin aikaa ja sitten “vertailuksi” toista mutta virhelähteiden määrä tällaisessa on lukematon.
- Tilastotiede ja suuret lukumäärät. Tieteelliset tutkimukset tulee aina tehdä hyödyntäen tilastollisia menetelmiä. Yksittäinen kertomus kalpenee kun samaa vaikutusta tutkitaan kymmenillä tai jopa tuhansilla ihmisillä. Jotta tulosta voidaan pitää luotettavana, sen on oltava tilastollisesti merkitsevä, mikä edelleen tarkoittaa sitä että sattuman vaikutus on mahdollisimman epätodennäköinen.
- Toistettavuus. Tutkimustulokset hyväksytään osaksi tieteellistä kokonaisnäyttöä yleensä vasta sitten kun muut tutkijat pystyvät ne varmentamaan.
- Vertaisarviointi. Jotta tulokset ylipäätään julkaistaisiin lehdissä, ne käyvät toisten tutkijoiden arvioitavana. Tämä järjestelmä on kaukana täydellisestä mutta tekee silti tieteellisestä näytöstä paljon luotettavampaa kuin esimerkiksi monet populaarimediat. Näistä blogikirjoituksista puhumattakaan (pun intended)
Jos kivan kertomuksen tueksi löytyy myös tieteellistä näyttöä, sen uskottavuus nousee monta pykälää.
Sitten erityisen tärkeä huomautus: tiede ja tieteen tekeminen voidaan mieltää eri asioiksi. Tiede on menetelmä, jota tieteen tekijät pyrkivät mahdollisimman hyvin noudattamaan.
Edellä mainituista syistä, skeptikko luottaa tieteeseen ensisijaisesti luotettavimpana keinona saada tietoa ympäröivästä todellisuudestamme. Kuten maineikas biologi Thomas Henry Huxley on sanonut (oma suomennokseni):
“Tiede on maalaisjärkeä parhaimmillaan, eli peräänantamaton tarkasteluissaan ja virhepäätelmille armoton logiikassaan”
Edellisessä osassa totesin, että varsinainen “maalaisjärki” alkaa toimia kunnolla vasta kun se on mahdollisimman vapaa vinoumista. Tieteessä ei loppujen lopuksi ole mitään toimivalle maalaisjärjelle vierasta: tehdään tarkoin kontrolloiduissa olosuhteissa havaintoja, muodostetaan testattavia hypoteeseja, tulkitaan tuloksia johdonmukaisen logiikan avulla ja raportoidaan tulokset tiedeyhteisön arvioitavaksi. Siinä on tieteellisen tutkimuksen ydin.
Skeptikot saavat usein kuulla jonkinasteiseksi loukkaukseksi tarkoitettuja nimityksiä, kuten “tiedeuskovainen”. Tämä on niin typerä nimitys, että siitä voisi kirjoittaa kokonaan oman tekstin. Ja vaikka hyväksyisimmekin sen että olemme “tiedeuskovaisia”, mitä vikaa siinä on? Eikö kannata pyrkiä kontrolloituihin olosuhteisiin tai johdonmukaiseen logiikkaan? Eikö hypoteeseja kannata testata? Eikö tuloksia pidä julkistaa?
Joskus kuulee myös sanottavan, että “tiede ei tiedä kaikkea”. Ikään kuin se olisi huono juttu. Tämä on totta ja kuten irlantilaissyntyinen koomikko Dara O’Briain osuvasti on huomauttanut: tiede tietää ettei se tiedä kaikkea – muutenhan se lopettaisi. Hän jatkaa; se ei ole syy täyttää tietämyksen aukkoja millä tahansa hölynpölyllä, joka kutakin sattuu miellyttämään.
Jos taas puhutaan tieteen tekemisestä, on selvää että siitä on helppo löytää puutteita. Tiedettä tekevät erehtyväiset ihmiset, jotka edellä mainittuun tieteen ytimeen pyrkivät. Valitettavasti tutkijoiden joukkoon mahtuu aina niitä, jotka antavat inhimillisten harhojensa sumentaa tieteellistä ajattelua. Pahimmillaan se johtaa suoranaiseen vilppiin. Olen raportoinut näistä esimerkkejä blogin facebook-sivulla.
Tieteen tekemiseen liittyvät ongelmat eivät silti horjuta tieteen asemaa luotettavimpana tiedonhankkimisvälineenä. Se on nimittäin tiede itse, joka nämä ongelmat paljastaa. Jos muut tutkijat eivät onnistu toistamaan tuloksia, ne jäävät unholaan. Tämä voi olla joskus vaikeaa mutta edelleen se on tiedeyhteisö itse, joka asian lopulta korjaa. Missään tapauksessa ratkaisu ei voi olla se, että tiede korvattaisiin tiedonhankintamenetelmänä jollain muulla. Ainakaan kunnes tiedettä parempi menetelmä keksitään.
Tiivistelmä:
Lisälukemista:
Anekdootit todistusaineistona: Ben Goldacre – Bad Science
Tiedeuskovainen on henkilö, joka uskoo tieteellisen menetelmän paremmuuteen, mikä on oikein, mutta ei muista, että tieteentekijät eivät läheskään aina tee tiedettään arvovapaassa ilmapiirissä, josta taas seuraa milloin minkinmoista tarkoituksenmukaisuutta.
Kiitos tästä määritelmästä, Veikko 🙂 Itse olen törmännyt tuohon heittoon mm. henkilöiltä joillä tuntuu olevan jonkinlaisia vaihtoehtoisia käsityksiä siitä, miten saamme tietoa maailmankaikkeudesta. He usein tuntuvat korostavan juuri omakohtaisten kokemusten tärkeyttä. Usein vieläpä jonkinlaisilla yliluonnollisilla vivahteilla – tarkoittivatpa he sitä tai eivät. Esimerkiksi homeopaatit voivat syyttää skeptikoita tiedeuskovaisuudesta kun he epäilevät homeopatian toimintamekanismia. Sille ei kuitenkaan tarjota mitään muuta selitystä kuin jotain epämääräistä kvanttimekaniikkaan perustuvaa käsien heiluttelua, mikä voidaan yhtä hyvin rinnastaa magiaan.
Tuossa sinun käyttämässäsi määritelmässä, oikeaoppiset skeptikot eivät koskaan ole tiedeuskovaisia. Heillä kun filosofiaan kuuluu kiinteästi myös se, että on olemassa valtava määrä huonoja tutkimuksia/tutkijoita. Tutkimuksia tulee lukea kriittisesti ja se onkin heti seuraavan kirjoitukseni aihe 🙂
”Jotta tulosta voidaan pitää luotettavana, sen on oltava tilastollisesti merkitsevä, mikä edelleen tarkoittaa sitä että sattuman vaikutus on mahdollisimman epätodennäköinen.”
Tutkimustulosten luotettavuutta ei voi arvioida mielivaltaisen tilastollisen merkitsevyyden perusteella. P-arvo lasketaan oletuksella, että mitään harhaa ei ole.
Ja mitä tulee sattuman todennäköisyyteen, niin siteeraan artikkelin (Greenland S, Poole C. Epidemiology 2013; 24: 62-8) abstraktia:
”However, null P values still thrive in most journals and are routinely misinterpreted as probabilities of a “chance finding” or of the null, when they are no such thing.”
Totta. Enhän toki sanonut, että pelkkä pieni P-arvo olisi riittävä tai ainoa kriteeri tutkimustuloksen luotettavuuden arviointiin 😉 Sehän tulee aina tulkita kokonaisen tutkimuksen kontekstissa, jossa otetaan huomioon itse testattava hypoteesi, sekä perusteet joille se rakentuu.
Se on kyllä totta, että biolääketieteen parissa P-arvojen kanssa tulee olla erittäin tarkkana. American Statistical Associationin hiljattain julkaistu kannanotto on erittäin hyvä muistutus tästä.
Oletko kuitenkin muuten samaa mieltä tekstini pointeista?
Vaikka skeptikko olenkin, niin kyllä nämä “vaihtoehtohoidot” on osaksi ihan toimivia, mutta eivät valitettavasti vielä osa lääketiedettä kokonaisvaltaisesti. Ok, neilikkaöljy on puuduttava ainesosa ja se mikä tuoksuu hammaslääkärin vastaanotolla, mutta entäs neem-öljy? “Sairastin” vuoden ajan syyhypunkkitartuntaa, joka ei lääkkeistä (jotka maksavat muuten satoja euroja), siivouksista ja jopa evakkoonlähdöstä hoidon ajaksi huolimatta suostunut talttumaan. Samaa kävi lävitse myös kämppikseni. Lopulta päätettiin googlettaa mitä muuta tapoja näistä ötököistä on päästä eroon, ja vastaan tulikin juuri neem-öljy. No, sitäpä siten tilattiin useampi pullollinen ja sekotettiin paksuun vartalorasvaan. Vuorasimme itsemme siihen 24/7 2 viikon ajan, siivosimme kämppää uskonnollisesti joka päivä sen ajan. Ja kappas, syyhyä ei enää ollut todettavissa. Piti oikein opastaa ihotautilekuria siihen miten noista pääsee eroon, ja hän oli ihan ihmeissään.
Punkit ovat osakseen tottuneet niihin myrkkyihin mitä apteekista saa, kun taas neem-öljy on käytössä vain kehitysmaissa. Siksi se toimikin tehokkaasti ja nopeasti (ei tosin vaivattomasti). Tuosta öljystä kun kehittäisi halvemman vaihtoehdon niille 30-40 euron punkkisalvoille/tableteille ilman maksavaurio/myrkytysvaaraa, niin se olisi hyvä.
Hienoa, että pääsit punkeista eroon!
Ikävä kyllä tällaisissa tapauksissa emme voi tietää, mikä on ollut syy ja mikä seuraus. Öljyllä on voinut olla vaikutusta, mutta voi olla että ei. Monenlaiset vaivat ja riesat menevät ja tulevat ihan itsestäänkin. Usein etsimme apua silloin kun niistä on kärsitty jo jonkin aikaa ja homma on päässyt pahaksi. Tällaista kautta seuraa usein helpotusvaihe, vaikka sille ei tehtäisi mitään. Vastaavasti oireettomia kausia seuraa lukemattomista muuttujista johtuen joku vaiva, ja jälkeenpäin etsimme syytä sille mikä muutoksen olisi voinut aiheuttaa. Yleensä sellainen vielä löytyykin, vaikka se ei olisi todellinen syy. Tämä on siis juuri tässä kirjoituksessa mainittu ‘palautuminen keskiarvoon’ ja se on hyvin yleinen selittävä tekijä monenlaisten havaintojen takana. Tieteellisissä tutkimuksissa se pyritään eliminoimaan mm. vertailuryhmällä ja havaitsijoiden sokkouttamisella.
Pikaisella vilkaisulla neem-öljystä löytyy kyllä muutamia tutkimuksiakin, joten onhan mahdollista että se toimii. Tullakseen “viralliseen” käyttöön, sen vaikutukset olisi kuitenkin tunnettava hyvin tarkoin. Siinä on ilmeisesti n 140 aktiivista ainesosaa, joista osa myös myrkyllisiä (ainakin suun kautta käytettynä). Hyödyt ja haitat tulisi siis punnita huolellisesti, eikä tähän valitettavasti (mm. edellä mainitsemastani syystä) riitä pelkästään ihmisten hyvät kokemukset tai edes pitkä perinteinen käyttö.
Jokainen hoito onkin arvioitava tällä tavalla erikseen.