Génius průměrnosti

pondělí 25. červen 2012 07:53

Podobně jako se Miloš Zeman mýlil v politice, i já jsem se mýlil, když jsem předčasně jásal nad skonem kafemlejnku, unikátní metody hodnocení výsledků výzkumu, kterou jsme obohatili světovou pokladnici slepých uliček. Tím nechci říci, že nemá smysl pokusit se vyvinout něco zcela nového, co nemá ve světě obdoby, jen je přitom ve vlastním zájmu rozumné poučit se z toho, jak to dělají v zemích s daleko rozvinutějším výzkumem. Autoři kafemlejnku se jinam nedívali a vymysleli monstrum, které se jim vymklo z rukou.  Stále doufám, že jednou budu moci napsat blog s názvem "Kafemlejnek RIP", ale bude to trvat déle, než jsem si ještě v únoru myslel.

Hlavní absurdnosti kafemlejnku jsou popsány v článku Daniela Münicha Hodný a zlý kafemlejnek. O nevhodnosti kafemlejnku pro rozdělování institucionálních prostředků (tj. prostředků, které nejsou přiděleny na konkrétní výzkumný projekt na základě veřejné soutěže) jsem psal i já ve svém blogu.v LN. To, co každé pořádné hodnocení výsledků výzkumu poskytuje a co kafemlejnek neumí a ani umět nemůže, je podrobně rozebráno v dalším textu Daniela Münicha Slepecká hůl kafemlejnek.

Tím nejzákladnějším rozdílem od systémů hodnocení výzkumu používaných v zahraničí je skutečnost, že v kafemlejnku se hodnotí a finančně odměňuje každý jednotlivý výsledek. To je jeho podstata a zároveň  principiální neodstranitelná vada. Jakmile vyrobím něco, co formálně splňuje kritéria "výsledku výzkumu a vývoje", dostanu (resp. můj zaměstnavatel dostane) za to automaticky zaplaceno, bez ohledu na to, zda můj výrobek někoho zajímá, či zda někdo nevyrábí podstatně lepší výsledky. A čím více výrobků výzkumu, které nikoho nezajímají, vyrobím já, tím méně peněz dostane můj kamarád, o jehož výrobky je velký zájem. Připadá vám to absurdní? Mně také a přesto si právě tuto vlastnost kafemlejnku jeho fandové pochvalují.

Kafemlejnek má i řadu dalších vad, z nichž nejdůležitější jsou dvě: nebere ohled na finanční nákladnost výzkumu a jeho kvalitu. Skutečnost, že stejný počet bodů a tedy stejný obnos peněz kafemlejnek namele teoretickému fyzikovi, který nepotřebuje nic než dobré nápady a notebook, jako jeho experimentálnímu kolegovi, který musí postavit experimentální aparatury a platit za její provoz, je přímo návodem provozovat nízkonákladový výzkum. 

V případě článků v odborných časopisech kafemlejnek předstírá, že zohledňuje kvalitu tím, že přiděluje body podle impaktfaktoru časopisu, v němž je článek publikován. To je v příkrém rozporu se všeobecně přijatým závěrem, že impaktfaktor charakterizuje časopis, nikoliv jednotlivé články v něm publikováné. V britském systému hodnocení univerzitního výzkumu RAE je použití impaktfaktoru jako kritéria kvality článku vysloveně zakázáno. V instrukcích pro pracovní metody panelů expertů je jasně uvedeno: Žádný panel nepoužije impakfaktor časopisu jako míru kvality článku. Důvod pro toto striktní pravidlo je jasný: i v případě těch nejlepších časopisů je vysoká hodnota impaktfaktoru důsledkem vysoké citovanosti malé části článků v nich publikovaných. Pokud vezmeme impaktfaktor časopisu jako míru kvality všech článků v něm publikovaných, většina ostatních článků se s nimi sveze, Skutečně špičkový výzkum je tím ovšem poškozen. To samozřejmě většině autorů vyhovuje, neboť nejsou špičkoví. Dříve, než se pokusím odpovědět na otázku, jak je možné, že přes tyto závažné nedostatky má kafemlejnek mezi funkcionáři vysokých škol tolik příznivců, budu jeho podstatu ilustrovat na analogii s hodnocení výkonu krasobruslařů.   

Bez rozhodčích se nedá žít

V krasobruslení hodnotí výkony všech krasobruslařů dané kategorie (muži, ženy, páry) jedna porota cca 10 rozhodčích. Ti sice každému závodníkovi dají číselnou známku, ale výsledné pořadí není součet známek všech rozhodčích. Rozhodující je primárně pořadí závodníků, které si každý rozhodčí stanoví na základě svých známek, přičemž vyhraje, zhruba řečeno, ten závodník, který získá nejvíce prvních míst. Při tomto způsobu nerozhoduje výše známky, neboť například pětka u jednoho rozhodčího může znamenat nejlepšího a u jiného rozhodčího nejhoršího závodníka. Rozhodování každého rozhodčího je ze své podstaty subjektivní, žádná všeobecně přijímaná definice toho, co a jak musí závodník předvést, aby dostal určitou známku, neexistuje a nikoho zatím nenapadlo takovou definici zavést a prosadit. 

Možná proto, že krasobruslaři neznají kafemlejnek, neboť ten by bylo možné jednoduše využít i v krasobruslení. Zrušili by se rozhodčí a místo jejich subjektivního rozhodování by se zavedlo "objektivní" a "transparentní" číselné hodnocení každého prvku krasobruslařské jízdy. Tak například za jednoduchého Axela by závodník dostal bod, za dvojitého dva body a za trojitého třeba 4 body. Podobně by byly hodnoceny i Rittbergery, Salchowy a další skoky či piruety. Úplně nejméně by bylo za flip, ten by byl za půl bodu. Závodní by měl na jízdu dvě minuty a body za jednotlivé prvky by se sčítaly bez ohledu na kvalitu provedení, jen by závodník nesměl upadnout na zadek. Vítězem by byl ten či ta, kdo by přidělené dvě minuty nasbíral nejvíce bodů. Při takto definovaných pravidlech hodnocení krasobruslařského výkonu by si každý závodník rozmyslel dělat náročné a nebezpečné skoky a svou jízdu by "optimalizoval" tak aby získal co nejvíce bodů, bez ohledu na kvalitu skoků, piruet či umělecký dojem. Závody v krasobruslení by se změnili v soutěž v metání kozelců na ledě. Metodika hodnocení výsledků výzkumu a vývoje, onen kafemlejnek, pracuje přesně stejně.

Proti zavedení takových „objektivních“ a „transparentních“ metod hodnocení krasobruslařů existuje jediný, ale pádný důvod: na takové závody v „krasobruslení“ by nikdo nechodil.  V případě hodnocení výsledků výzkumu bohužel žádný "divák" neexistuje, resp. jeho roli hraje stát a ten se na ty kozelce klidně dívá.

Obrana kafemlejnku

Článek „Kafemlejnek“ přinesl i pozitiva Zdeňka Němečka, děkana Matematicko-fyzikální fakulty UK, Bohuslava Gaše, děkana přírodovědecké fakulty UK, Juraje Ševčíka, děkana přírodovědecké fakulty UP v Olomouci, Jaromíra Leichmana, děkana přírodovědecké fakulty Masarykovy univerzity v Brně a Františka Váchy, děkana Přírodovědecké fakulty Jihočeské univerzity, z února tohoto roku se stal jakýmsi manifestem za zachování kafemlejnku. Ten je podle děkanů samozřejmě nutné vylepšovat, ale jeho podstatu je třeba zachovat. Jejich názor je třeba brát vážně, neboť jejich fakulty dohromady produkují pětinu všech kafemlejnkových bodů vysokých škol a Matfyz sám 8%. Názory vyjádřené ve výše uvedenému článku podpořila i řada rektorů a děkanů našich vysokých škol a také Petr Matějů, předseda Grantové agentury ČR. Naskýtá se přirozeně otázka, proč má tolik představitelů vysokoškolské sféry kafemlejnek přes všechny jeho záporné stránky rádo a chtějí ho sice vylepšovat, ale v zásadě zachovat. Důvody jsou podle mého názoru dva.

Tím prvním jsou špatné zkušenosti se způsobem, jakým MŠMT rozhodovalo o přidělení či nepřidělení tzv. výzkumných záměrů v roce 2004 v době ministrování Petry Buzkové. To bylo skutečně projevem naprosté nekompetence a organizačního chaosu, za něž nesl odpovědnost tehdejší náměstek Petr Kolář, dnes prorektor Univerzity Jana Amose Komenského. Pokud někoho zajímá můj pohled na tehdejší události, najde je zde.

Druhým a možná hlavním důvodem je alibismus vedoucích funkcionářů vysokých škol. Rektoři, děkani a vedoucí kateder jsou placeni mimo jiné i za to, aby hodnotili jim podřízené útvary (fakulty, katedry, laboratoře) či jednotlivce a na základě toho jim přidělovali prostředky na výzkum. To nemusí být snadná věc, ale správný vedoucí to dokáže. Kafemlejnek to ochotně udělá za ně a rektoři, děkani i další funkcionáři tak mají o starost méně. V dopise čtyř děkanů je kafemlejnek chválen mimo jiné proto, že

Na řadě pracovišť měl mimořádně motivační efekt a tam, kde dlouhou dobu panovaly strnulé poměry („Ale pane kolego, vždyť se to tu vždycky dělalo takto...“), přinesl čerstvý vítr.

Parafrázi citace v závorce teď na vysokých školách používají, pokud se někdo ptá, proč dostal tolik a ne více „Ale pane kolego, vždyť vám to namlel kafemlejnek…...“. Z vlastní zkušenosti z dvaceti let přednášek a dvanáctiletého působení ve vědecké radě MFF UK vím, že duch kafemlejnku pronikl i na Matfyzu skoro všem až do morku kostí.

Génius průměrnosti

Jakkoliv mám do určité míry pochopení pro oba argumenty ve prospěch kafemlejnku, jsem přesvědčen, že skutečný vědec a odpovědný funkcionář výzkumu na vysokých školách či kdekoliv jinde by měl lákání kafemlejnku odolat. A to především proto, že vede k podpoře průměrnosti a potlačení skutečně špičkového výzkumu.

Zastánci kafemlejnku se obvykle ohánějí potřebou „transparentnosti“, právě ta ovšem dostává v kafemlejnku pořádně zabrat. Zaměňují totiž průhlednost hodnocení a financování algoritmizací celé procedury. Vždyť co je „transparentního“ na skutečnosti, že za článek, který ani po pěti letech nemá jedinou citaci, dostane jeho autor (resp. jeho zaměstnavatel) stejně bodů a tedy i peněz, jako jiný autor za článek ve stejném časopise, který má již po prvním roce 1000 citací? Rád bych viděl pány rektory a děkany jak tuto „transparentnost“ vysvětlují nejen tomu druhému autorovi, ale především daňovému poplatníkovi. V systémech hodnocení ve všech normálních zemích by první nedostal ani korunu a druhý pořádnou částku, ušetřenou právě na tom prvním a jemu podobných.

Na závěr uvádím názor docenta Františka Vávry, děkana Fakulty aplikovaných věd Západočeské univerzity v Plzni, jednoho z umírněných zastánců kafemlejnku, který podle mého názoru dobře vystihl dilema, před kterým stojíme:

Každý systém hodnocení vědy a výzkumu má v sobě systematickou chybu. „Kafemlejnek“, přiznejme si, není systémem hodnocení. Je to kalkulační prostředek pro rozdělování (politických) peněz. Než se kdokoliv přikloní k některé změně, měl by, alespoň sám pro sebe, zodpovědět několik otázek. Čemu má změna sloužit? Komu má změna sloužit? Stojí zato nahradit jedny chyby chybami jinými? Bude nový systém alespoň tak dobře nebo špatně předvídatelný a motivační jako původní?

Za sebe na jeho čtyři otázky nabízím tyto odpovědi:

  1. Změna by měla přinést skutečné hodnocení kvality výzkumu, které nahradí „kalkulační prostředek“, jímž kafemlejnek podle pana docenta je.
  2. Tím, že poskytne státním orgánům, které rozdělují institucionální prostředky na výzkum, i výzkumným organizacím samotným potřebné informace o skutečné kvalitě jejich výzkumu, poslouží všem skutečně kvalitním výzkumníkům.
  3. Kafemlejnek má takové fatální chyby, že určitě stojí zato nahradit ho něčím zásadně odlišným. Abychom se nedopouštěli jiných chyb, je samozřejmě nutné poučit se, jak to dělají jinde. Právě to autoři kafemlejnku neudělali.
  4. Kafemlejnek je motivační, ale nežádoucím směrem k podpoře průměrnosti. To, co ho snad v dohledné době nahradí, by mělo motivovat ke skutečné kvalitě.

Nový systém hodnocení a institucionálního financování, o němž se zmiňuji v poslední odpovědi, by měl být výsledkem projektu Efektivní systém hodnocení a financování výzkumu, vývoje a inovací, který připravuje MŠMT a jenž by se měl v brzké době rozběhnout. O něm příště.

PS (25.6. ve 23.35): Děkuji Tomáši Opatrnému za upozornění, že dopis „Kafemlejnek“ přinesl i pozitiva podepsal kromě uvedených čtyř děkanů také František Vácha, děkan Přírodovědecké fakulty Jihočeské univerzity. Chyba vznikla tím, že jsem text dopisu převzal z jeho verze na webové stránce UK, kde jsou jako autoři uvedeni jenom první čtyři děkani. Změnil jsem proto i příslušný odkaz. Františku Váchovi se tímto omlouvám.

Jiří Chýla

Eliška A. KubičkováAby bylo hodnocení podle citací vypovídající,19:1429.6.2012 19:14:12
Jan H.IF je laciný trik úředníků09:2928.6.2012 9:29:42
neakademikSouhlas s akademikem08:4328.6.2012 8:43:45
akademiksouhlas21:1027.6.2012 21:10:25
neakademikimpakt impaktovič a impakt faktorovič13:4327.6.2012 13:43:18
neakademikKnihy s impactofaktorovičem07:5427.6.2012 7:54:11
starší bratr strýčka FidaTechnická závada21:0026.6.2012 21:00:08
starší bratr strýčka FidaKnihy s IF? Výhledově dost možné!20:5626.6.2012 20:56:49
starší bratr strýčka FidaKnihy s IF? Výhledově dost možné!20:5626.6.2012 20:56:24
starší bratr strýčka FidaKnihy s IF? Výhledově dost možné!20:5426.6.2012 20:54:04
NeakademikČlánek v Scientific American14:0025.6.2012 14:00:49

Počet příspěvků: 11, poslední 29.6.2012 19:14:12 Zobrazuji posledních 11 příspěvků.

Jiří Chýla

Jiří Chýla

Nejen o vědě, ale také o roli vzdělanosti v dnešní společnosti, o věcech veřejných, které se nás týkají a které by nás měly zajímat.

Zabývám se teorií elementárních částic orientovanou na úzkou spolupráci s experimenty. Od počátku 90. let přednáším na Matematicko-fyzikální fakultě UK a společně s kolegy z této fakulty a Fakulty jaderné a fyzikálně inženýrské vedu Centrum částicové fyziky, jehož pracovní týmy se podílejí na řadě důležitých experimentů v hlavních světových laboratořích fyziky částic. Do zvolení členem Akademické rady AV ČR v březnu tohoto roku jsem byl předsedou Rady Fyzikálního ústavu AV ČR. Jsem členem vědecké rady Nadačního fondu NEURON na podporu vědy.

REPUTACE AUTORA:
0,00

Seznam rubrik

Tipy autora

tento blog
všechny blogy