čtvrtek 20. března 2008

Čeští ornitologové nepublikují, protože pijí pivo?


Lidové noviny přinesly článek o nejnovější publikaci Tomáše Grima o vlivu pití alkoholu na publikační činnost, kterou se mu podařilo opublikovat v ornitologickém časopisu Oikos (podle všeho se jedná v daném oboru o prestižní časopis). Tomáši Grimovi se dostalo pozornosti dokonce i na stránkách New York Times (a nejen tam).

Občas je přínosné zabývat se i méně vážnými tématy, které mohou přinést zajímavé výsledky, takže proč ne. Je to ale potřeba udělat pořádně a přesně popsat, co zkoumáme. Tomáš Grim to bohužel nedělá. Co tedy vlastně článek ukazuje? Z populárních článků v novinách se toho většinou moc nedozvíme, takže nezbývá než jít ke zdroji. Abstrakt článku je tady (Blackwell-Synergy). PDF s článkem je na Grimově stránce.

V článku Grim tvrdí, že "Chce otestovat vliv spotřeby alkoholu na vědeckou výkonnost". A jak to chce udělat? Regresuje vědecký výstup na spotřebu piva (a proxy pro délky vědecké činnosti jako kontrolní proměnnou). A opravdu, vyjde mu negativní závislost. Závěr: "pití piva může mít negativní dopad na publikační činnost".

Opravdu tím Tomáš Grim ukázal, co tvrdí? Každého okamžitě napadne, že ne. Pití piva souvisí se společenskými aktivitami, které zabírají čas, který potom není možno věnovat výzkumu. Možná je nižší vědecký výzkum způsoben tím, že vědec jen více využívá volného času - a pití piva je jen doprovodný efekt (obzvláště v české kotlině je to více než obvyklé). To ostatně Grim v článku i zmiňuje, i když zcela chybí jednoznačné vyjádření toho, že regresní analýza s vynechaným korelovaným regresorem je samozřejmě nekonzistentní.

Druhým problémem je endogenita. Když zjistím, že mám nízkou publikační činnost a nemám na to, abych se stal špičkovým vědcem, budu si více užívat volného času a tím i více pít pivo (jsme v Čechách). Hypotéza o tom, že nízká publikační činnost vede k vyššímu pití piva je přinejmenším stejně věrohodná jako ta Grimova, přičemž jeho metoda mezi nimi v žádném případě nemůže rozhodnout.

Jediným náznakem, který potenciálně může vést k odfiltrování endogenity a k alespoň trochu věrohodným výsledkům, je rozdělení pozorovaných vědců na Čechy a Moravany. Moravané pijí méně piva a mají vyšší vědecký výstup. Když přijmeme hypotézu o tom, že Moravané jsou co se týče užívání si volného času statisticky stejní jako Češi, jen nahrazují pivo vínem (to zní rozumně), tak máme teoreticky použitelný test toho, že pivo snižuje vědecký výstup (zatímco víno ne).

Grim skutečně nachází statisticky významný rozdíl. Kde je problém? Velikost vzorku a závislost pozorování. Grim používá 6 pozorování z Čech a 12 z Moravy. Když si uvědomíme, jak probíhá vědecký výzkum, tak zjistíme, že objem výstupu je silně závislý na synergiích ze spolupráce - vědci pracují v týmech a buď přímo spolupublikují, nebo se silně pozitivně ovlivňují.

Vzhledem k všeobecně nízké publikační kapacitě vědců v České republice a malému vzorku, který Grim používá, pak stačí menší skupinka vědců, kteří alespoň trochu publikují a rozdíl mezi Čechami a Moravou je na světě. Vzhledem k tomu, že Grim v článku nikde neuvádí, že by data alespoň clusteroval (pokud je to vůbec vzhledem k tak malému počtu dat možné), vede mě to k závěru, že pozorování považoval za nezávislá, což samozřejmě zkresluje chyby odhadů.

Takže jaký je závěr? Jako legrace je to pěkné. Vědeckou hodnotou je článek samozřejmě na úrovni studie o tom, co bylo dřív, zda slepice nebo vejce. Ale to není nic proti Tomáši Grimovi - dostalo se mu široké pozornosti i v zahraničních médiích (viz seznam odkazů na Grimově stránce) a to není k zahození. A vypadá to, že Tomáš Grim to i s humorem bere, což je fajn.

Co mi spíš vrtá hlavou, je cesta, jakou se článek dostal až k publikaci. Editor Oikosu je evidentně veselá kopa a občas pustí i něco pro zasmání, i když článek ukazuje něco jiného, než tvrdí.

3 komentáře:

  1. Very funny. You should notify Cajeme immediately of this finding.

    OdpovědětVymazat
  2. 1. Oikos není ornitologický (!:-) časopis, ale ekologický a navíc skutečně dost prestižní (taky mě dost překvapilo, že mi tak kuriózní text vzali:-)

    2. Ad \"společenské aktivity zabírají čas\" - tohle přesně bylo moje vysvětlení v rukopisu, který jsem do Oikosu poslal. Ovšem reakce dvou recenzentů a redaktora byla, že to je blbost a že musím hypotézu podložit jinak. Tak jsem vsadil na neprůstřelnou logiku fyziologie (viz negativní účinky etanolu na úplně vše, včetně toho, co nám sedí v budce).

    3. “Hypotéza o tom, že nízká publikační činnost vede k vyššímu pití piva” – tohle jsem sám říkal v několika rozhovorech, např. právě v rozhovoru v New York Times, na který odkazujete:-) V článku jsem to opět vyhodil na doporučení recenzentů.

    4. Velkost vzorku “Čechy vs Morava” není 6 a 12, jak píšete, ale 17 a 17 (jak píšu já v článku:-)

    5. Pití jiných typů alkoholu: tohle sice zní logicky, ale je to úplný nesmysl. Ptal jsem se (a pozoroval) řady lidí – ti, co pijí pivo, pijí i víno a kořalečku, ti, co nepijí pivo, nepijí většinou nic. Jinými slovy, konzumace různých typů alkoholu spolu pozitivně koreluje (a kdo má oči k vidění, to zná z vlastní zkušenosti, a pár čistých vinařů či pivařů s obecným trendem nehne), takže výsledek by byl velmi podobný i s jinými prediktory než jen pivem.

    6. Ohledně matoucích proměnných – kdo mi ukáže jednu (stačí opravdu 1) ekologickou studii, kde jsou podchyceny všechny potenciální matoucí proměnné, kde je zcela neprůstřelná metodika a nelze pochybovat o dostatečném vzorku, má u mě bečku piva:-)

    Zdraví
    Tom G.

    OdpovědětVymazat
  3. Tome, děkuju za upřesnění.

    Přesto musím na některé body reagovat.

    Ad 2. a 3. Recenzenty je asi občas lepší zabít ;-). Co dodat. Takhle studie vypadá, že má jednoznačnější závěr. Ale k čemu je jednoznačnější závěr, když existuje velmi vysoká pravděpodobnost, že hledáme ve špatné množině hypotéz? Recenzentské námitky nemusí vždy vést ke zlepšení kvality článku.

    Ad 4. Mea culpa, koukal jsem na výsledky z roku 2002 - ale ani 17 a 17 na mém tvrzení nic nemění.

    Ad 5. Vycházím pouze z toho, co píšete v článku: \"inhabitants of Bohemia (western region of the Czech Republic) are known to drink more beer than people from Moravia (eastern region of the country)\", a co se píše v článku v Lidových novinách: \"Přitom nikdo nepochybuje o tom, že i na Moravě je alkohol nedílnou součástí volného času.\" Samozřejmě, ani já si v žádném prípadě nemyslím, že by mělo mít pivo fyziologicky jiný dopad než víno. Ovšem, a to v příspěvku jasně uvádím, tato procedura vám čistě hypoteticky (a zdůrazňuju slovo hypoteticky) umožňuje odfiltrovat endogenitu. Že celá procedura vzápětí pravděpodobně shoří na malém vzorku a skupinových efektech, uvádím také - a myslím, že je to zcela věrohodná námitka.

    To, že pár čistých pivařů nebo vinařů s trendem nehne, jen poskytuje věrohodnost hypotéze o tom, že alkohol samotný nehraje prakticky žádnou roli. Nerozporuju skutečnost, že alkohol fyziologicky na člověka působí - ale když už si \"vypijete mozek\", nestanete se vědcem. A když se vědcem stanete, mají na publikační činnost daleko větší dopad jiné vlivy - úsilí (vs. společenské efekty) a zázemí (viz skupinové synergie).

    Ad 6. Neukážu vám ani jednu ekologickou, ba dokonce ani žádnou jinou takovou studii. Žádná taková samozřejmě neexistuje. Model je vždy jen zjednodušením reality (jinak bychom ho nepotřebovali). Klíčové však je určit to podstatné. Tady Occamova břitva říká, že korelace ukazuje kauzalitu přesně opačnou, než jaká se líbí médiím - Ne od alkoholu k publikační činnosti, ale od pracovního úsilí k volnému času a alkoholu a zároveň od pracovního úsilí k publikační činnosti. Věrohodnější než směr alkohol -> publikační činnost je i směr nízká publikační činnost -> volný čas -> alkohol, i když ne ve smyslu zapíjení žalu, ale ve smyslu racionálního rozhodnutí, že než se zabývat výzkumem, který nikam nevede, bude lepší čas trávit užitečněji (zábavou).

    Co je však na celé diskusi klíčové - ať je to, jak chce, váš test mezi těmito třemi hypotézami prostě nedokáže rozhodnout. Podle toho, co píšete, je rozhodnutí recenzentů o tom, že máte hypotézy o těchto směrech kauzality vynechat, velmi zarážející. Škoda, že jste nebyl více neoblomný (i když ono je to vůči recenzentům obtížné). Kdybyste poslal článek do nějakého ekonomického časopisu, byly by námitky recenzentů přesně opačné.

    Dalšímu výzkumu zdar!

    Jarda

    OdpovědětVymazat