Tiede korjaa itseään, kun uudet tutkimustulokset osoittavat vanhat tulokset vääriksi. Numeerisen aineiston analyysi perustuu usein tilastolliseen analyysiin, ja sen näkökulmasta täydellisen varmaa tietoa ei ole olemassa. Tavoitteena on sekä tilastollisesti merkitsevä, että käytännön kannalta merkittävä tulos.
Tilastotieteessä ”oikean” ja ”väärän” tiedon problematiikkaa voidaan lähestyä vaikkapa Joensuun lentoaseman keskilämpötilatulosten mittaamiseen liittyvän esimerkin kautta.
— Tutkijat haluavat selvittää, onko heinäkuun keskilämpötila kasvanut vuodesta 1959 alkaneen mittaushistorian aikana. Tutkija A asettaa nollahypoteesiksi, että keskilämpötila ei ole noussut. Tutkija B puolestaan olettaa, että lämpötilan muutos seuraa globaalia hiilidioksidipitoisuuden muutosta, sanoo soveltavan tilastotieteen professori Lauri Mehtätalo tietojenkäsittelytieteen laitokselta.
Esimerkkitapauksessa molemmat päättävät hylätä nollahypoteesinsa, jos p-arvo eli merkitsevyystaso on alle 0.01. Tutkija A saa p-arvoksi 0.02 ja tutkija B saa p-arvoksi 0.93. Molemmilla tutkijoilla nollahypoteesi jää voimaan. Silti keskenään ristiriitaisista nollahypoteeseista korkeintaan toinen on tosi.
—Kumman tutkijan voimaan jäänyttä nollahypoteesia voidaan pitää totena? Siihen vastausta on kysyttävä ilmastotutkijalta, ei tilastotieteilijältä. Nollahypoteesin tulisi kuvastaa tutkimusalan nykytietämystä.
Tilastolliseen analyysin näkökulmasta täydellisen varmaa tietoa ei ole olemassa.
Mehtätalon mukaan tilastollisesti merkitsevä vaikutus on aineiston koko ja kohina huomioiden niin suuri, että sitä voidaan pitää todellisena populaation ominaisuutena.
– Se voi kuitenkin olla käytännön kannalta merkityksetön, etenkin jos analysoitu aineisto on suuri.
Tilastollisen testin p-arvo on sitä pienempi mitä vahvempaa näyttöä nollahypoteesia vastaan aineistossa on. Usein riittävän näytön rajana pidetään sitä, että aineistosta laskettu p-arvo on pienempi kuin 0.05. Jos näin toimiva tutkija asettaisi vain tosia nollahypoteeseja, hän hylkäisi silti niistä yhden kahdestakymmenestä.
Mitä tällaiset pienet todennäköisyydet sitten tarkoittavat käytännössä?
– Sitä voi tutkia vaikkapa heittelemällä erikoisvalmisteisia noppia, jossa kuutosen todennäköisyys on noin 0.01 ja ykkösen todennäköisyys noin 0.05. Niiden avulla voi havainnollistaa myös muuta tilastotieteeseen ja todennäköisyyslaskentaan liittyvää problematiikkaa, sanoo Mehtätalo.