V minulém roce vylétl jako kometa nově impaktovaný časopis Zemědělská ekonomika vydávaný Českou zemědělskou univerzitou v Praze, kterému byl přiřazen impact factor 0,716. To je o hodně více než dosavadní české a slovenské ekonomické časopisy Finance a úvěr (IF 0,264, vydává FSV UK), Politická ekonomie (IF 0,500, vydává VŠE) a Ekonomický časopis (IF 0,237, vydává Slovenská akademie věd). Aby to nestačilo, Zemědělská ekonomika dokonce přeskočila i svou známou anglickou jmenovkyni Agricultural Economics, která má impact factor 0,673.
Tím pohár trpělivosti přetekl. V tomto článku si na datech z Web of Science ukážeme, jak české ekonomické časopisy rozsáhlým způsobem ohýbají podstatu citačních mechanismů, aby dosáhly vysokých impact factorů. Převážná většina citací jsou autocitace článků v rámci daného časopisu. Například Zemědělské ekonomice klesne impact factor po vyřazení autocitací z 0,716 na pouhých 0,099 (zatímco třeba Agricultural Economics zůstane téměř neměnná z 0,673 na 0,630). Takové rozsáhlé manipulace by se klidně daly označit jako přesahující hranice akademické etiky.
Ukážeme si, jak se žebříčky změní, když vyřadíme autocitace, a dále potom citace z neimpaktovaných časopisů. Vyřazení neimpaktovaných časopisů může mít smysl například v případě Politické ekonomie, která nabírá citace skrz neimpaktovaný Prague Economic Papers, který rovněž vydává VŠE. Výsledky po odečtení těchto typů citací ukazují, že se za posledních deset let kvalita českých ekonomických časopisů (měřená impact factorem podle WoS) prakticky vůbec nezměnila.
Nakonec uvidíme, že když odečteme křížové citace mezi čtyřmi výše zmíněnými českými a slovenskými ekonomickými časopisy, nezbude vlastně vůbec nic - to znamená, že o výzkum publikovaný v těchto časopisech není v zahraničí v podstatě vůbec žádný zájem. To samozřejmě může znamenat, že české časopisy publikují zejména výzkum, který je sice kvalitní, ale úzce zaměřený na Českou republiku. Při pohledu na obsahy časopisů zjistíme, že je to pravda pouze do omezené míry. A i kdyby to byla pravda zcela, není to příliš velká omluva - Česká republika není zase tak specifická, aby se ekonomické poznatky nedaly zobecnit na další země.
Z těchto závěrů vyplývá, že impact factory českých ekonomických časopisů nelze brát vážně. Zaprvé musíme tuto skutečnost brát v úvahu, když hodnotíme kvalitu výzkumu autorů publikujících v těchto časopisech (poměřovat zde pouze impact factorem je zavádějící a musíme prostě jít článek po článku). Co je však možná ještě důležitější je se zamyslet, zda má Česká republika vůbec mít tři impaktované ekonomické časopisy, když kvalitním výzkumem nedokáže naplnit ani jeden.
Abychom byli spravedliví, není to jen české (a slovenské) specifikum. Podobné "autocitační rybníčky" lze nalézt i v případě dalších lokálních, často východoevropských časopisů. Je to ale jen slabá omluva českého konání.
Zároveň je třeba zmínit jednu důležitou věc - následující statistiky neprezentují nutně kvalitu českých akademických ekonomů, z nichž řada publikuje v zahraničí. Diskuse je pouze o kvalitě českých časopisů, ve kterém publikuje vybraná skupina domácích, ale i zahraničních autorů.
Odsuneme rovněž debaty o tom, co impact factor a citace měří a co ne (kvalita vs. popularita atd.), a vezmeme jako fakt, že impact factor a citace jsou jedněmi z důležitých měřítek kvality výzkumu.
Kdo je zařazen a jak se impact factor měří
Sledovat budeme čtyři české a slovenské ekonomické časopisy - Finance a úvěr (ČR, FSV UK, od roku 2000), Politická ekonomie (ČR, VŠE, od roku 1998), Ekonomický časopis (SR, SAV, od roku 1998), Zemědělská ekonomika (ČR, ČZU, od roku 2009). Tyto časopisy tvoří naprosto dominantní část v Česku a na Slovensku publikovaného impaktovaného ekonomického výzkumu.
Web of Science počítá impact factor pro daný rok jako počet citací v daném roce na články uveřejněné v daném časopise v předchozích dvou letech, dělený počtem článku v daném časopise v předchozích dvou letech. Čísla nejsou vážená impact factory citujících časopisů, to by české časopisy srazilo ještě níže.
Finance a úvěr například pro rok 2009 získaly IF 0,264. V letech 2007-2008 uveřejnily celkem 53 článků, na které bylo v roce 2009 odkazováno 14 citacemi ve všech časopisech, které WoS sleduje. Poměrem těchto dvou čísel získáme daný impact factor. Existují i jiné metodologie, ale pro naše účely tento způsob postačí.
První pohled - impact factor
Na následujícím grafu je zobrazen vývoj impact factoru čtyř českých a slovenských časopisů od roku 1998.
Všechny časopisy se dlouho pohybovaly kolem IF 0,1 - 0,2, postupný posun nahoru začíná někdy kolem roku 2006. Do toho všeho vlétla Zemědělská ekonomika, která s IF 0,716 nasadila laťku opravdu vysoko.
Klíčová otázka nyní zní - zlepšila se úroveň publikací v těchto časopisech, nebo časopisy dosáhly nárůstu impact factoru jiným způsobem?
Vyřazení autocitací
První krok, který učiníme, je vyřazení časopisových autocitací, tedy takových citací, které citují jiné články v témže časopise. To je standardní postup, pomocí kterého se odhalují některé neduhy malých skupin autorů sdružených kolem jednoho časopisu a citujících se navzájem (podobně jako vyřazování autorských autocitací při hodnocení konkrétního vědce).
Samozřejmě je možné, že autocitace mohou být naprosto legitimní. Pokud existuje jeden oborový časopis, ve kterém se publikuje veškerý kvalitní výzkum v dané oblasti, budou na sebe články nutně ve velké míře odkazovat. Nicméně praxe ukazuje, že tomu tak není. Podíl autocitací u dobrých (i specificky oborových) časopisů dosahuje ve většině případů méně než 10 procent, viz například zmiňovaná Agricultural Economics, kde to je 6 procent.
Z grafu vidíme, jak se obrázek oproti předchozímu případu radikálně změnil. Nejlépe jsou na tom Finance a úvěr, jejichž impact factor poklesl v průměru o zhruba 35 %. Politická ekonomie poklesla v průměru o 63 % a Ekonomický časopis o 73 %. Naprostým rekordmanem je však Zemědělská ekonomika, kde plných 86 % citací tvoří autocitace (87 ze 101) a po odečtení autocitací se tak zařadila na poslední místo.
Důležitou otázkou je, jak se problém s autocitacemi vyvíjí. Dalo by se říci, že se situace za posledních zhruba pět let zlepšuje, ovšem přiřazení Zemědělské ekonomiky do impaktovaných časopisů zasadilo zlepšujícímu se trendu těžkou ránu.
Vyřazení neimpaktovaných citací
I přes to, že se české impact factory po vyřazení autocitací výrazně propadly, je stále patrný nárůst v posledních zhruba třech letech. Odkud tento nárůst pochází? Jedná se o přírůstek kvalitních citací v impaktovaných časopisech? Abychom si udělali obrázek, odečteme citace pocházející z neimpaktovaných časopisů.
Vidíme, že po této úpravě nárůst z posledních let zcela zmizel. Jsou pro to dvě možná vysvětlení. Tím prvním je, že jsou české časopisy skutečně více citované, ať už čestnou nebo méně čestnou cestou (například propad Politické ekonomie lze do velké míry vysvětlit nárůstem citací v neimpaktovaném Prague Economic Papers, které stejně jako Politickou ekonomii vydává VŠE). Druhou možností je, že Web of Science prostě jen zahrnuje stále více neimpaktovaných časopisů do své databáze. Ať už je vysvětlení jakékoliv, zůstává skutečností, že citace českých časopisů v jiných impaktovaných časopisech nevykazují žádný pozitivní vývoj.
Vyřazení vzájemných citací v českých a slovenských časopisech
Ve vyřazování můžeme jít ještě o krok dál. Může nás například zajímat, jaký je zájem o články v českých a slovenských časopisech v (rozumně) kvalitních časopisech v zahraničí. Vyřadíme tedy nejen neimpaktované citace, ale i citace, ve kterých se čtyři sledované časopisy citují navzájem.
Pohled na výsledný graf je tristní, protože impact factor poklesl téměř k nule. Pokud bychom vzali jako dlouhodobý průměr hodnotu 0,02, znamená to, že jeden z padesáti článků uveřejněný v českých a slovenských časopisech má šanci, že bude v příštích dvou letech od publikace jednou citován v zahraničním impaktovaném časopise.
Aby to bylo ještě horší, je třeba uvést dvě věci. Zmíněná čísla stále zahrnují některé další impaktované české a slovenské časopisy, které se okrajově věnují ekonomii (například Sociologický časopis). A vyřazeny rovněž nejsou autorské autocitace, kdy český autor opublikuje v zahraničí text, který odkazuje na jeho další článek v českém časopise.
Měřeno impact factorem můžeme shrnout, že články publikované ve čtyřech sledovaných časopisech v zahraničí (mimo ČR a SR) vůbec nikoho nezajímají.
Dlouhodobější pohled
Řekli jsme, že impact factor měří pouze krátkodobý dopad daného článku - sleduje pouze citace ve dvou letech po jeho uveřejnění. Abychom byli spravedliví, podíváme se i na dlouhodobější pohled. Následující grafy ukazují vždy počet citací v daném roce odkazující na jakékoliv publikované články v daném časopise, tedy nejen dva roky zpětně. Některým kvalitním článkům může trvat delší dobu, než jsou objeveny jejich kvality.
Protože nemám k dispozici historická data ohledně celkového počtu sledovaných článků v daných časopisech, nebudeme měřit impact factorem, ale pouze počtem citací.
Na počet citací opět vede Zemědělská ekonomika. Podobný obrázek dostaneme, když se zaměříme pouze na citace v impaktovaných časopisech - jen se všechny křivky posunou směrem dolů.
Dramaticky jiný obrázek však dostaneme, pokud vyřadíme také autocitace:
Finance a úvěr se posunou relativně výše, zatímco Zemědělská ekonomika se propadne bezpečně na poslední místo. Abychom si udělali představu o číslech: V roce 2009 byly články v Zemědělské ekonomice citovány celkem 168krát. Z toho 138 citací se objevilo opět v Zemědělské ekonomice. Dalších 20 citací bylo v neimpaktovaných časopisech. Ze zbývajících deseti citací bylo 5 v Ekonomickém časopise, jedna v Regional Studies (Štolbová, 2007), jedna v Journal of Environmental Planning and Management (Nagyová, Kročanová, Maďarová, 2007), jedna v Journal of Economic Surveys (autorská autocitace Latruffe et al, 2007), jedna v Československé psychologii (autorská sebecitace Kolman et al, 2007), a jedna v litevském Transformations in Business & Economics (nepodařilo se dohledat).
Pokud budeme pokračovat dále a opět vyřadíme i vzájemné citace mezi čtyřmi sledovanými časopisy, dostaneme opět onen tristní obrázek, který jsme již jednou viděli:
Impaktované citace pocházející zvnějšku oněch čtyřech časopisů by se každoročně daly spočítat na prstech, většinou i jedné ruky. Jestli je zde mírný rostoucí trend způsoben nárůstem kvality, více autorskými autocitacemi, nebo prostě jen akumulací citovatelných článků, nelze z takového grafu samozřejmě vyčíst. Průměrná čísla však hovoří za vše.
Podíl autocitací
Konečně poslední pohled na věc je podíl časopisových autocitací na všech impaktovaných citacích. Již dříve jsme řekli, že kvalitní časopisy mají toto číslo obvykle nižší než 0,1. Pokud se jedná o regionální časopis, který je zároveň oborový, tak bychom chtěli mít tento podíl možná někde kolem 0,2-0,3.
Česká realita je však mnohem horší. Rozumným kritériím se přibližují Finance a úvěr. Politická ekonomie kolísá kolem 0,7, v posledních letech se jí přiblížil Ekonomický časopis. Korunu všemu nasadila nová Zemědělská ekonomika, která má ostudný podíl časopisových autocitací na úrovni 0,93. To již nemá nic společného s vědeckou prací, ale spíše s citační mafií.
Závěrem
Inflace impaktovaných časopisů a nové zařazení Zemědělské ekonomiky do indexu je krok špatným směrem. Pokud to chtějí české časopisy někam dotáhnout, navrhuji následující. Česká a slovenská vědecká pracoviště by se měla dohodnout a vytvořit jediný impaktovaný časopis, dejme tomu Czech and Slovak Economic Journal, například pod společnou hlavičkou obou akademií věd. Všechny ostatní časopisy by byly z indexu Web of Science vyřazeny. Českým a slovenským autorům by ubylo rádoby-impaktovaných citací, ale více by je to nutilo publikovat v zahraničí. A tak by to mělo být.
Připomínám rovněž, že před necelými pěti lety proběhla debata o citační výkonnosti českých ekonomů a ekonomických pracovišť. Viz Turnovec (2005), Gregor a Schneider (2005) a Münich (2007). Daniel Münich rovněž vede obsáhlou stránku shrnující navazující debaty.
Mam taku zakladnu otazku - aky je rozdiel medzi impaktovanym casopisom a casopisom indexovanym vo WoS? Nejde o totozne pojmy?
OdpovědětVymazatInak zaujimave by mohlo byt pozriet sa na vec aj z opacnej strany, t.j. kolko karentovanych publikacii ktore vyprodukuju domace vedecke pracoviska skonci v tychto 4 casopisoch - asi prevazna vacsina. Tak napr. na Slovensku vykazuje Ekonomicky ustav SAV za rok 2009 \"az\" 6 vedeckych publikacii v karentovanych casopisoch (pricom ide o instituciu kde pracuju desiatky ludi), z toho vsetky v Ekonomickom casopise, ktory sam vydava. Z tohto dovodu nevidim zredukovanie poctu domacich casopisov velmi realne - akademici by tym sli sami proti sebe.
WoS sleduje citace ve vice casopisech nez u kterych pocita impact factory. Vyber tech, u kterych jen sleduje citace, mi ale neni uplne jasny.
OdpovědětVymazatUdaje o opacne strane publikacni cinnosti budou mit jiste autori tech studii, ktere cituji na konci clanku (i kdyz aktualizace bude zrejme nezbytna).
http://blog.aktualne.centrum.cz...5
OdpovědětVymazatukazuje, ako dopada snaha kvantifikovat kvalitu. Tychto 4-5 casopisov urcite nie je jedinych, ktore to vo svete skusaju, takze by ma zaujimalo, aky ma cely impact factor zmysel...
OdpovědětVymazatPouze podotykam, ze jestli je problem s autocitacemi tak, jak nazorne predklada autor, potom bude jiste casopis z indexu ISI Thompson vyrazen. Doporucuji podivat se na pripad cinskeho casopisu World Journal of Gastroenterology, ktery byl pred casem ze stejneho duvodu (neumerne mnozstvi autocitaci) vyrazen. Trvalo cca 4 roky nez se dostal zpet.
OdpovědětVymazat