Kdo se bojí předsedy Akademie věd?

čtvrtek 18. říjen 2012 23:34

Tomáš Opatrný, kvantový fyzik, místopředseda Rady vysokých škol, proděkan pro vědu a výzkum přírodovědecké fakulty Palackého univerzity v Olomouci, člen Komise pro hodnocení výsledků při Radě vlády pro výzkum, vývoj a inovace a v neposlední řadě rozhodný zastánce kafemlejnku věnoval svůj blog "O nejlepším systému hodnocení výzkumu" kritickému pohledu na způsob, jakým Akademie věd hodnotila v roce 2010 svých 53 ústavů, resp. celkem asi 400 pracovních týmů.

Svůj blog začíná slovy:

Módou je dnes osočovat stávající systém alokace financí na výzkum podle výsledků, tzv. "kafemlejnek", jako vzor se zas uvádí nedávné hodnocení ústavů Akademie věd. Podívejme se na to ale podrobněji.

Dříve, než se budu věnovat jednotlivým Tomášovým kritickým poznámkám, bych chtěl zdůraznit, že kritiku našeho postupu (říkám "našeho" protože jsem se na organizaci hodnocení i následném promítnutí do financování jednotlivých ústavů AV ČR podílel a nesu proto za všechny jeho klady i nedostatky spoluzodpovědnost) vítám. Nesdílím také v blogu citovaný názor Václava Pačesa, že šlo o "nejlepší systém hodnocení", neboť do dokonalosti měl daleko.

Jak jsme to dělali: základní informace

Pro pochopení mé reakce na Tomášovu kritiku je třeba uvést pár základních faktů, které nejsou z Tomášova blogu jasné, ale které jsou důležité pro pochopení problémů, na něž jsme při realizaci hodnocení narazili. Ústavy AV ČR jsou v současné době rozděleny do devíti Sekcí, které mají mezi čtyřmi až osmi ústavy. Bylo proto ustaveno devět hodnoticích komisí, které hodnotily pracovní týmy příslušných sekcí podle instrukcí, které měly hodnoticí komise i ústavy k dispozici. Tyto hodnoticí komise určily, resp. snažily se určit, pro každý pracovní tým několik zahraničních posuzovatelů. Jejich posudky společně s názorem samotných komisí, které nebyly jen pasivními shromažďovateli zahraničních posudků, určily výsledné známky, které měli tři dimenze

  • Kvalita a množství dosahovaných výsledků.
  • Postavení v mezinárodním, případně národním kontextu oboru.
  • Perspektiva a význam týmu pro vědeckou koncepci celého pracoviště.

Základním cílem hodnocení bylo rozdělit pracovní týmy ústavů AV ČR do pěti kategorií podle kvality výsledků, přičemž hlavním měřítkem mělo být srovnání se světovou špičkou. Za celou proceduru hodnocení byla zodpovědná Akademická rada a technické otázky řešila jí pověřená Řídící komise.

Tomášova kritika se kromě stížnosti na potíže se sháněním potřebných podkladů soustředila na tři aspekty procedury hodnocení a jeho promítnutí do institucionálního financování jednotlivých ústavů

  1. Nesourodost zahraničních posudků
  2. Problémy se sestavováním hodnoticích komisí
  3. Jak hodnocení vnímaly samotné ústavy.

Nejdříve k té stížnosti. Na stránce AV ČR je skutečně "jen" souhrnná zprávu a souhrnné výsledky: jakou známku ten který ústav a to které oddělení dostaly, a vzoreček, jak se podle toho bude financovat. Tomáš Opatrný však neměl žádný problém získat naprosto kompletní informace o všech vstupech i výstupech hodnocení. Záznamy o poskytnutí těchto informací v únoru a dubnu 2012, včetně seznamu oněch devíti ústavů, o něž šlo, je zde a zde. Je proto zarážející jak matoucím způsobem je pro svůj blog využil. Tomáš může zkusit použít odkaz na zákon o svobodném přístupu k informacím při získání podkladových materiálů pro jednání vlády, na něž se často veřejně přístupná usnesení vlády odvolávají. Jsem zvědav, jak uspěje.

Nesourodost posudků

Zde má Tomáš Opatrný pravdu. Zahraniční posuzovatelé byli za své posudky honorováni, byť ne závratně, přesto v řadě případů byly jejich posudky zcela formální a tedy pro naše účely bezcenné.  To byl ovšem jen jeden problém. Další a ještě vážnější spočíval v tom, že jednotlivé hodnoticí komise měly výrazně jiný metr, tj. interpretovaly instrukce při zařazování do jednotlivých kategorií kvality výsledků velmi rozdílně: některé byly velmi přísné, což jsme uvítali, ale některé byly naopak příliš shovívavé. Toto byl základní problém při následovném promítnutí výsledků hodnocení do financování ústavů. K tomuto problému se ještě vrátím.   

Problémy se sestavováním hodnoticích komisí

I zde má Tomáš pravdu. Se sestavováním komisí byl skutečně problém, řada oslovených odmítla, někteří přislíbili účast, ale nakonec posudky nevypracovali. Citát z vyjádření Zdeňka Němečka, předsedy hodnoticí komise 3. Sekce dobře vystihuje i problémy spojené se snahou, aby posuzovatelé nebyly s hodnoceným týmem pracovně či jinak spojeni. Nikdo z nás nezakrývá, že sestavení hodnoticích komisí a zahraničních posuzovatelů mělo řadu nedostatků. Zde je ovšem třeba připomenout, že jsme na přípravu hodnocení měli jen asi rok, což se na první pohled může zdát dostatečná doba, ale  ve skutečnosti to bylo hrozně málo. Právě při hledání zahraničních posuzovatelů jsme se museli z časových důvodů z velké části opírat o návrhy ústavů. To pak z části vedlo k již zmíněné různosti náročnosti jednotlivých komisí.

Jak hodnocení vnímaly ústavy 

Téměř polovina Tomášova blogu je věnována komentáři k tomu, jak hodnocení vnímaly  samotné ústavy, přičemž hlavní předmět kritiky ze strany ústavů byl způsob, jakým Akademická rada promítla výsledky hodnocení provedeného hodnoticími komisemi. Zatímco u předchozích bodů byly kritické poznámky Tomáše Opatrného do značné míry oprávněné, v tomto bodě se dopustil na čtenářích svého blogu i předsedovi Akademie věd ošklivého faulu, když na úvod této části svého blogu uvedl (tučně jsou mnou zdůrazněna  klíčová slova ): 

Zajímavá je ovšem četba vyjádření vedení hodnocených ústavů. Nejčastěji namítají proti úpravám hodnocení ze strany domácích komisí. Za pozoruhodné přitom považuji to, že při neformální diskusi si často ochotně postěžují na neobjektivitu hodnocení, jedním dechem ale prosí, ať to na ně neříkám panu předsedovi, že by měli zle. Protože ale tato vyjádření měla být původně podle Metodického pokynu veřejně přístupná, předpokládám, že by s uvedením následujících citátů neměli mít problém (přesto jsem z nich odstranil konkrétní jména či identifikaci jednotlivých pracovišť).

po čemž následují citace z několika "hlasů z ústavů", v nichž jsou zaixována jména lidí, názvy ústavů a další slova, která by mohla identifikovat, o koho jde. Z úvodního výše citovaného odstavce musí čtenář nabýt dojem, že si tato kritická slova ředitelé a další osoby potichu šuškali někde v hospodě. Ve skutečnosti, a Tomáš Opatrný to velmi dobře ví, neboť má kompletní materiály, jde ve všech případech o oficiální stanoviska ústavů, podepsaná jejich řediteli a v některých případech i předsedy Rad ústavů, které ústavy zaslaly Akademické radě a především panu předsedovi, aby věděl, jak se některým ústavům hodnocení komisemi nebo zásah Akademické rady nelibí. Tedy pravý opak toho, co čtenářům sugeruje Tomáš Opatrný.  První citát, ten se „silnou pachutí“ je z vyjádření ředitele Fyzikálního ústavu a podobně ve všech dalších případech jde o vyjádření, která byla adresována primárně panu předsedovi. Ten s řediteli, kteří měli k hodnocení kritické připomínky, o nich osobně hovořil, v případě Fyzikálního ústav v mé přítomnosti. Sdělit panu předsedovi kritický názor, mnohdy i velmi ostrými slovy, se tedy nikdo nebál.

Pokud jde o samotnou kritiku hodnocení a především toho, jak Akademická rada využila výsledky hodnocení hodnoticími komise, bych chtěl zdůraznit následující věc. Jak jsem již uvedl v komentáři k nesourodosti posudků, byl při promítnutí těchto výsledků do rozhodnutí o přidělení institucionální podpory jednotlivých ústavů hlavní problém v různé náročnosti jednotlivých komisí. Proto jsme pro účely financování museli v některých případech hodnocení komisí upravit, tak, aby bylo dosaženo rozumné míry jednotnosti při hodnocení kvality. Pro zajímavost uvádím, že do hodnocení komise pro Sekci 3, kterou vedl tehdejší děkan MFF Zdeněk Němeček a která byla přiměřeně náročná, jsme nesáhli ani u jednoho pracovního týmu.

Poučení

Z přípravy, průběhu a výsledků hodnocení pracovních týmu ústavů AV ČR pro nás plyne jedno, pohříchu téměř triviální poučení. Pořádné hodnocení, které by sneslo srovnání se způsoby, jak hodnotí výzkumné týmy v zahraničí, například ve Velké Británii či Francii a které by přineslo co nejobjektivnější informace, užitečné pro toho, kdo výzkum financuje i pro hodnocené instituce samotné, musí provádět po všech stránkách dobře vybavená a na subjektech výzkumu nezávislá agentura, která se hodnocení bude pravidelně věnovat a která bude seznámena se zkušenostmi podobných zahraničních agentur.  Tato agentura musí být sama schopná zajistit kvalitní nezaujaté zahraniční posuzovatele pro jednotlivé oborové panely, připravit pravidla, jak mají hodnotit, členy panelů proškolit a dohlížet na to, že všechny panely mají stejný metr. Taková agentura u nás neexistuje a ještě nějakou dobu existovat nebude, ale měli bychom se snažit jí vytvořit. Je také zřejmé, že pořádné hodnocení se nedá dělat každý rok a že něco stojí.

Tohle poučení si bohužel z našeho hodnocení neodnesl Tomáš Opatrný, byť o všech jeho slabinách dobře ví. Naopak, intenzivně pracuje na dalším klonu kafemlejnku, jemuž jeho advokáti říkají vznešeně „multikriteriální metodika hodnoceni“.  Její součástí má být i mimo jiné i hodnocení vybraných publikací, které by měly dokumentovat „excelenci“ dané instituce, které mají každoročně provádět oborové panely (jichž má být několik desítek) každý čítající 15-20 „zahraničních expertů s doloženou reputací“. Členy těchto panelů by měla jmenovat Rada pro výzkum, vývoj a inovace (RVVI) vycházeje z návrhů samotných výzkumných organizací a případně svých vlastních. RVVI je přitom poradní orgán vlády, v němž zasedají vedoucí funkcionář vysokých škol, státní správy, Akademie věd a podnikatelského sektoru, kteří nemají potřebné zkušenosti a ani čas na to, aby výběr členů panelů kompetentně provedli. To je představa natolik scestná, že naštěstí nehrozí její realizace, jen ukazuje na způsob, jakým Tomáš Opatrný uvažuje.

Kdo bojuje v zákulisí  

Na závět svého blogu se Tomáš Opatrný vyznává z pochopení pro manifest pěti děkanů, kteří se kafemlejnku zastávají:

Velmi rozumím děkanům, kteří se proti bezhlavému opuštění kafemlejnku ohrazují: netransparentní zákulisní boje o finance je to poslední, co by mohli chtít.

Ano, není nic horšího než zákulisní boje o finance. Jak takový zákulisní boj o finance v praxi vypadá, nám v květnu názorně předvedla Česká konference rektorů. Koncem dubna RVVI hlasy všech osmi reprezentantů vysokých škol (z celkem 17 členů RVVI) schválila a do meziresortního připomínkového řízení rozeslala návrh rozpočtu na výzkum, vývoj a inovace na rok 2013, který snížil institucionální výdaje Akademie věd oproti roku 2012 o 295 milionů Kč, tj. 6,6 procent a současně zvýšil odpovídající institucionální výdaje vysokých škol o 110 milionů Kč. Přitom jediným důvodem pro snížení institucionálního rozpočtu Akademie věd bylo výslovné přání premiéra Nečase přidat vysokým školám a průmyslovému výzkumu a to při zachování celkové částky na výzkum a vývoj. Někomu bylo proto potřeba sebrat a tak RVVI sebrala Akademie věd. Na toto rozhodnutí reagovala Česká konference rektorů dopisem jejího předsedy, rektora Karlovy univerzity Václava Hampla, z 21. 5. premiérovi Nečasovi jako předsedovi RVVI.  V něm vyslovila se schváleným návrhem zásadní nesouhlas a požadovala snížit institucionální výdaje AV ČR nikoliv o 295 ale rovnou o 565 milionů Kč. Přitom odůvodnění tohoto požadavku obsahovalo snůšku nepravd a vyslovených lží. Tento požadavek vznesla ČKR přesto že, jak sama v dopise uvádí, není „z formálního hlediska“ připomínkovým místem. Tím je za vysoké školy jejich poskytovatel, tj. MŠMT. Ještě jednou zdůrazňuji, že s návrhem RVVI vyslovili souhlas všichni reprezentanti vysokých škol.   

 

 

Jiří Chýla

voboraK tem citacim bych jen pripomnel16:1727.10.2012 16:17:08
Web of ScienceWeb of Science11:4926.10.2012 11:49:11
Neakademikzrušit Akademii07:5024.10.2012 7:50:31
PavelAV vs. VŠ12:1423.10.2012 12:14:45
voboraNejvetsi slabinou hodnoceni Akademie ved20:5722.10.2012 20:57:29
Jan H.2 Mojmir20:5022.10.2012 20:50:11
MojmirMezinarodni hodnoceni20:3422.10.2012 20:34:48
Helena Storchovaprof Chyla ma pravdu19:2822.10.2012 19:28:57
Mojmirpro odbornika z Brna18:4622.10.2012 18:46:01
neakademikTy peníze by měly jít na vědu14:1022.10.2012 14:10:14
Jan H.2 Mojmir12:5922.10.2012 12:59:55
MojmirKafemlejnek21:4121.10.2012 21:41:56
Jan H.2 Trm10:1620.10.2012 10:16:35
TrmOpatrny je guru01:0619.10.2012 1:06:04

Počet příspěvků: 14, poslední 27.10.2012 16:17:08 Zobrazuji posledních 14 příspěvků.

Jiří Chýla

Jiří Chýla

Nejen o vědě, ale také o roli vzdělanosti v dnešní společnosti, o věcech veřejných, které se nás týkají a které by nás měly zajímat.

Zabývám se teorií elementárních částic orientovanou na úzkou spolupráci s experimenty. Od počátku 90. let přednáším na Matematicko-fyzikální fakultě UK a společně s kolegy z této fakulty a Fakulty jaderné a fyzikálně inženýrské vedu Centrum částicové fyziky, jehož pracovní týmy se podílejí na řadě důležitých experimentů v hlavních světových laboratořích fyziky částic. Do zvolení členem Akademické rady AV ČR v březnu tohoto roku jsem byl předsedou Rady Fyzikálního ústavu AV ČR. Jsem členem vědecké rady Nadačního fondu NEURON na podporu vědy.

REPUTACE AUTORA:
0,00

Seznam rubrik

Tipy autora

tento blog
všechny blogy