O čem vypovídají výsledky druhého pilíře?

úterý 3. březen 2015 08:16

Tentokrát nejde o druhý pilíř důchodového systému, zavedený Nečasovou a zrušený Sobotkovou vládou, ale o výsledky tzv. II. pilíře Metodiky hodnocení výsledků výzkumných organizací, známé jako kafemlejnek. A pro netrpělivého čtenáře nabízím v předstihu odpověď na otázku v názvu tohoto textu: o tom, jak se hodnotit nemá.

Nebudu čtenáře zatěžovat opakováním kritiky kafemlejnku, jen připomenu základní informace potřebné pro pochopení významu II. pilíře.

  • Ten byl do Metodiky doplněn v roce 2013 s cílem ohodnotit oborovými panely odborníků vybrané práce výzkumných organizací, které sami považují za nejlepší, tedy pokus o tzv. peer review. Oborů je 11: tři jsou z humanitních a sociálních věd a dále jde o technické a informatické vědy, zemědělské vědy, vědy o zemi, matematiku, fyziku, chemii, biologii a lékařství a práce posuzovaly panely složené z našich i zahraničních odborníků jmenovaných Radou pro výzkum, vývoj a inovace.
  • Panely měly maximálně 20 členů a počty prací, které výzkumné organizace mohly předložit do II. pilíře, byly odvozeny od objemu prostředků, jež získaly v roce 2013 jako institucionální podporu na rozvoj výzkumných organizací (RVO) podle klíče jedna práce na 10 milionů Kč na RVO s přihlédnutím k podílu organizace na dané práci. Jednu práci mohlo předložit i více organizací a u každé práce byl uveden podíl předkládající organizace na jejím získání. Hodnoceny byly práce publikované v letech 2009-2013. Celkem jich bylo 1393, což představuje cca jedno procento všech prací publikovaných v těchto letech.
  • Panely měly za úkol rozdělit předložené práce do dvou tříd: A a B s tím, že třída A měla odpovídatnejvýznamnějším či nejkvalitnějším výsledkům v daném oboru“ a smělo do ní být zařazeno v každém oboru maximálně 20 % předložených prací. Význam a kvalita posuzovaných prací nebyl vztažen ke světové špičce, ale šlo o srovnání relativního významu a kvality uvnitř množiny předložených prací daného oboru. Srovnání významu a kvality výsledků mezi obory tak nemá vůbec smysl.
  • Obory jsou samozřejmě různě velké, takže panely celkový počet 290 Áček byl mezi ně rozložen velmi nerovnoměrně. Pořadí prvních pěti oborů podle počtu Áček: Fyzika (59), Biologie (45), Technické a informatické vědy (39), Lékařské vědy (36) a Chemie (34).
  • Různě velké jsou samozřejmě i vysoké školy, ústavy Akademie věd a další výzkumné organizace. Při jejich srovnání je třeba vzít v úvahu počet osob, které, volně řečeno, pracují ve vědě a výzkumu. Toto číslo je poměrně dobře definované v případě ústavů Akademie věd, kde lze za něj vzít jasně definovaný počet vysokoškolsky vzdělaných pracovníků výzkumných útvar, přepočtený na plný úvazek (tzv. celkový FTE).  Toto číslo ovšem zahrnuje nejen vědecky činné pracovníky, ale i vysokoškolsky vzdělaný technický personál. U vysokých škol je situace složitější, neboť nelze jasně určit část úvazku, kterou jednotlivé kategorie akademických pracovníků (tj. profesorů, docentů, odborných asistentů a asistentů) se věnují vědě a jakou výuce. Nicméně je všeobecně přijaté pravidlo, že v případě výzkumných vysokých škol se vezme polovina jejích úvazků a přičte se součet úvazků vysloveně vědeckých pracovníků. Takto určené počty FTE budu uvažovat v další i já.

Podívejme se nejprve na výsledky II. pilíře, zveřejněné 31. ledna 2015 na webové stránce Rady pro výzkum, vývoj inovace, z hlediska celkového počtu Áček předložených vysokými školami, ústavy Akademie věd a dalšími organizacemi. Pořadí nejlepších je následující (tučně jsou ústavy Akademie věd):

  1. Universita Karlova v Praze: 80, z toho Matematicko-fyzikální fakulta 31
  2. Masarykova univerzita v Brně a Fyzikální ústav AV ČR: 23
  3. České vysoké učení technické v Praze: 14
  4. Palackého univerzita v Olomouci, Biologické centrum AV ČR a Ústav organické chemie a biochemie AV ČR: 11
  5. Jihočeská univerzita: 8
  6. Vysoká škola chemicko-technologická v Praze, Institut klinické a experimentální medicíny (IKEM, příspěvková organizace Ministerstva zdravotnictví) a Ústav přístrojové techniky AV ČR: 5
  7. Vysoké učení technické v Brně, Česká zemědělská univerzita v Praze, Mikrobiologický ústav AV ČR, Ústav fyzikální chemie Jaroslava Heyrovského AV ČR, Ústav fotoniky a elektroniky AV ČR: 4

Další instituce mají 3 a méně Áček. Mezi nejlepšími 16 institucemi je tedy 8 vysokých škol, 7 ústavů Akademie věd a IKEM. Celkově tedy celkem očekávaný obraz. Přesto je ovšem již na první pohled patrno několik pozoruhodných skutečností (citovaná čísla jsou z Výročních zpráv za rok 2013, poslední rok, z kterého jsou k dispozici).

  • Slabé výsledky Masarykovy univerzity (MU) a to nejen ve srovnání s Karlovou univerzitou, ale především skutečnost, že celá Masarykova univerzita má dohromady ve všech oborech stejný počet Áček jako Fyzikální ústav AV ČR (FZÚ) v jediném oboru, Fyzice. To je překvapivé neboť jak z hlediska celkového FTE (800) tak pokud jde o institucionální podporu na RVO (540 milionů Kč) měla MU v roce 2013 téměř dvakrát více než FZÚ. Druhé číslo znamená, že MU mohla do II. pilíře předložit zhruba dvakrát tolik prací jako FZU a přesto měla stejný výsledek.
  • Podobně slabé vypadají ve srovnání s FZÚ i výsledky Univerzity Palackého v Olomouci (UPOL). Ta měla dokonce skoro dvaapůlkrát větší celkový FTE (953) než FZÚ a o něco málo (cca 15 procent) větší institucionální podporu na RVO, a tedy mohla předložit o něco více prací než FZÚ, ale dosáhla sotva polovičního počtu Áček.
  • Ještě horší bilanci ve srovnání s FZÚ má České vysoké učení technické (ČVUT), jež získalo jen 60 % počtu Áček FZÚ a přitom má skoro třikrát větší celkový FTE (1112) a v roce 2013 mělo dvakrát větší institucionální podporu na RVO a tedy mohlo předložit do II. pilíře dvakrát tolik výsledků.
  • Spokojeni mohou být ovšem nejen ve FZÚ, ale také v Biologickém centru AV ČR (BC), jenž získalo stejně Áček jako celý UPOL a to se čtvrtinovým FTE a ani ne poloviční institucionální podporou na RVO. A více než její sousedi v Jihočeské univerzitě.
  • Výborný je i výsledek Ústavu organické chemie a biochemie (ÚOCHB), ale v tomto případě jde o poměrně velký a díky příjmům z licencí Antonína Holého velmi bohatý ústav, takže to zase není takové překvapení.
  • Nepřekvapuje ani výborný výsledek IKEM, o jeho kvalitě nikdo nepochybuje a dobře si vedla s ohledem velikost FTE a výši institucionální podpory na RVO (ani ne čtvrtina toho, co mělo k dispozici VUT Brno) Česká zemědělská univerzita v Praze.
  • Snad nejpozoruhodnější jsou výsledky dvou menších ústavů AV ČR orientovaných na technické problémy, Ústavu přístrojové techniky v Brně (ÚPT) a Ústavu fotoniky a elektroniky (ÚFE), ve srovnání s nesrovnatelně větším Vysokým učením technickým v Brně. To má patnáctkrát, resp. dvacetkrát větší celkové FTE a patnáctkrát, resp. desetkrát větší institucionální podporu na RVO, přesto má o jedno méně, resp. stejně Áček.

Ve Fyzikálu, Biologickém centru, Ústavo organické chemie a biochemie, Ústavu přístrojové techniky, Ústavu fotoniky a elektroniky a dalších ústavech Akademie věd tedy mohou být spokojení: z hlediska „excelence“ podle výsledků II. pilíře a s ohledem na velikost FTE a institucionální podpory na RVO, jsou jasně lepší než všechny vysoké školy vyjma Karlovy univerzity.

Ale je tomu opravdu tak?

Ač jsem sám z Fyzikálu, nikdy bych si nedovolil něco takového jen na základě výsledků II. pilíře tvrdit. Důvěryhodnost jakéhokoliv hodnocení je podmíněna tím, že dává konzistentní výsledky pro všechny posuzované subjekty. Z výsledků II. pilíře však plynou nejen pro některé organizace velmi potěšující skutečnosti, ale pro jiné naopak zprávy tak nelichotivé, že jsem přesvědčen, že nemohou odpovídat skutečnosti. Uvedu příklady třech ústavů AV ČR, které jsou bezpochyby velmi kvalitní a které přitom dopadly jak sedláci u Chlumce. Poměrně velký Ústav experimentální botaniky, kde pracuje tým profesora Jaroslava Doležela, světově známého odborníka ve výzkumu genomu pšenice, získal z 31 předložených prací jen jedno Áčko (a to nebylo za práce jeho týmu), Ústav makromolekulární chemie ze 17 žádné Áčko a Biofyzikální ústav v Brně, kde pracuje Česká hlava 2014 Emil Paleček a který má od roku 2012 tři sedmileté projekty z programu GA ČR na podporu excelence, nezískal z 10 předložených prací rovněž žádné Áčko. A takových případů je mezi ústavy AV ČR více. Jsem přesvědčen, že podobné případy naprosto neodpovídajícího hodnocení existují i mezi vysokými školami, možná i těmi, o nichž jsem se zmiňoval výše.

O čem skutečně svědčí výsledky II. pilíře

O čem tedy vypovídají výsledky II. pilíře, resp. jak je možné, že obsahují tak donebevolající nesrovnalosti? Odpověď lze shrnout dvěma slovy: o bezkoncepčnosti a diletantství. Bezkoncepčnosti v samotné metodě hodnocení a diletantství v jeho provedení. Ani za jedno nejsou zodpovědní členové komisí, ti dělali, co mohli a hodnocení věnovali i část svých dovolených. Odpovědnost leží primárně na Komisi pro hodnocení výsledků výzkumných organizací (KHV), poradní orgán Rady pro výzkum, vývoj a inovace (RVVI), jíž předsedá místopředseda RVVI Jiří Málek, která zahrnutí II. pilíře do Metodiky vymyslela a nezajistila přitom jeho kompetentní realizaci. Každý, kdo aspoň trochu rozumí hodnocená vědy a výzkumu, ví, že kvalitní hodnocení výsledků metodou peer review musí dělat profesionální, odborně, finančně i personálně dobře vybavená agentura a musí ho připravovat v podrobné diskuzi s vědeckou obcí a také ho pořádně ozkoušet. To, že v Příloze B v souboru dokumentů RVVI o průběhu hodnocení 2014 je jako vysvětlení zpoždění realizace Metodiky zahrnující II. pilíř uvedeno mimo jiné „s hodnocením tohoto typu doposud nebyly žádné zkušenosti“ jen toto diletantství dokumentuje.

Bezkoncepčnost spočívá především v představě, že pořádné hodnocení peer review lze provést tak, že všichni členové oborového panelu budou hodnotit všechny nebo skoro všechny práce v daném oboru. To je u tak širokých oborů jako je Fyzika, Chemie, Biologie, Technické vědy či Lékařské vědy naprosto nemožné a nikde se takto nepostupuje. Členové panelů tak byli nuceni hodnotit většinu prací, kterým ve skutečnosti nerozuměli. Uvedený nezodpovědný a absurdní požadavek organizátorů hodnocení vedl k mechanistickému použití citačních parametrů a procentního podílu pracoviště na výsledku, tedy přesnému opaku toho, co je cílem skutečného peer review.

Diletantství v provedení hodnocení mělo řadu konkrétních projevů. Především zcela chybělo vymezení velmi důležitého pojmu „skutečný příspěvek českých pracovišť“, který měli hodnotitelé vzít v úvahu vedle samotného významu práce a organizátoři hodnocení se ani nepokusili o sladění interpretace tohoto pojmu mezi jednotlivými panely. To mělo dalekosáhlé negativní důsledky, neboť v některých oborech se naopak stal čistě procentní podíl pracoviště na výsledu důležitým kritériem pro zařazení do kategorie A. To v řadě případů systematicky a vážně poškodilo mnohé kvalitní týmy zapojené do mezinárodních kolaborací. Zde lze hledat jeden ze zdrojů některých absurdních výsledků. Samotná organizace hodnocení byla velmi chaotická, stanovené termíny činnosti nebyly dodržovány a byly průběžně měněny. Na četné dotazy, týkají se důležitých aspektů hodnocení, přicházely pomalé reakce, některé nebyly zodpovězeny vůbec. Poskytnutá doba k hodnocení byla vzhledem k množství hodnocených prací velmi krátká (zhruba čtyři týdny), zahrnovala navíc období letních dovolených a nemohla proto postačovat k serióznímu posouzení.

Jak se říká, všechno špatné je pro něco dobré, tak i v tomto případě: aspoň vidíme, jak se hodnocení peer review dělat nemá.

Jiří Chýla

Jiří Chýla

Jiří Chýla

Nejen o vědě, ale také o roli vzdělanosti v dnešní společnosti, o věcech veřejných, které se nás týkají a které by nás měly zajímat.

Zabývám se teorií elementárních částic orientovanou na úzkou spolupráci s experimenty. Od počátku 90. let přednáším na Matematicko-fyzikální fakultě UK a společně s kolegy z této fakulty a Fakulty jaderné a fyzikálně inženýrské vedu Centrum částicové fyziky, jehož pracovní týmy se podílejí na řadě důležitých experimentů v hlavních světových laboratořích fyziky částic. Do zvolení členem Akademické rady AV ČR v březnu tohoto roku jsem byl předsedou Rady Fyzikálního ústavu AV ČR. Jsem členem vědecké rady Nadačního fondu NEURON na podporu vědy.

REPUTACE AUTORA:
0,00

Seznam rubrik

Tipy autora