Logi getur bara glaðst eitt stundarkorn

 Hallgrímur Óskarsson skrifar:

 Þó að Logi geti glaðst, eitt stundarkorn, þá má yfirleitt ekki gleðjast yfir svona tíðindum nema að hækkun í fylgi sé varanleg. Til er nefnilega fyrirbæri sem kallast „statistical noise“ og útskýrir að flökt í fylgi á sér stundum engar ástæður, ekki nema að margar mælingar sýni varanlega breytingu yfir lengra tímabil. Þetta er hvimleitt í fréttum þegar kallað er á spekinga í leit að skýringum þegar engar skýringar eru til, þegar um er að ræða flökt sem leiðréttist sjálfkrafa, þegar fleiri kannanir hafa komið fram. Hér eru 6 atriði sem við þurfum að hafa í huga þegar pólitískar tölfræðikannanir eru lesnar:

• – – –
• #1: Varast að álykta um breytingar á fylgi nema að breytingar séu utan skekkjumarka og að breytingar séu varanlegar (séu ekki tölfræðilegt flökt)
• – – –
• #2: Ef tölfræðileg marktækni birtist á A og B þá má ekki alltaf álykta að þá sé örugglega munur á A og B í raun og veru („statistical significance“ og „real-world significance“ er ekki alltaf það sama).
• – – –
• #3: Ef fylgni kemur fram í gögnum þá getur verið að um algjöra tilviljun sé að ræða en ekkert orsakasamband. Sem dæmi þá er fylgni á milli þess hversu oft fólk drukknar í sundlaugum og hversu oft Nicoals Cage kemur fram í kvikmyndum. Þar á milli er auðvitað ekkert orsakasamband.
• – – –
• #4: Fylgni og orsakir geta oft virkað bara í aðra áttina, ekki í báðar áttir. Dæmi: Það er fylgni á milli geðsjúkdóma og atvinnuleysis en aðeins í aðra áttina. Geðsjúkdómar auka líkur á atvinnuleysi en atvinnuleysi leiðir EKKI til geðsjúkdóma. Gott að spyrja sig, þegar maður ályktar um fylgni og orsakir hvort samband sé í aðra áttina eða báðar.
• – – –
• #5: Ástæður eru oft faldar. Ef A leiðir til B þá er A oft ekki ástæðan fyrir B. Ástæðan er oft eitthvað sem kemur ekki fram í tölfræðilegum niðurstöðum. Dæmi: Þeir sem borða oft á veitingastöðum hafa lægri tíðni hjartasjúkdóma er tölfræðileg staðreynd. Freistandi væri að álykta að neysla matar á veitingastöðum leiði til betra ástands fyrir hjarta og kransæðar en svo er nú ekki. Þarna gleymist að skoða utanaðkomandi skýringu sem er sú að þeir sem hafa efni á því að borða oftar á veitingastöðum eru að gera ýmsa aðra hluti sem leiða til lægri tíðni hjartasjúkdóma.
• – – –
• #6: Gæta þess að myndrit sýni allan skalann. Ef tekið er þröngt bil þá kemur fram mikill myndrænn munur sem sést ekki ef allt talnabilið er sett á lóðrétta ásinn. Þetta er mjög algengt og er oft notað í áróðri.