Věřím jen té statistice, kterou jsem sám zfalšoval

středa 30. květen 2012 00:07

je známy výrok Winstona Churchilla, který v sobě nese důležitý vzkaz. Churchill přitom samozřejmě neměl na mysli skutečné falšování statistických údajů, ale jejich „vhodný“ výběr. Ten dokáže vskutku divy. Třeba z fyziků elementárních částic, kteří zkoumají kosmické záření či hledají Higgsův boson, udělá „elektrické, elektronické a informační inženýry“.

Jako názorný příklad může posloužit nejnovější bibliometrická analýza dat o výzkumu a vývoji, publikovaná Českým statistickým úřadem (ČSÚ) a materiál Technologického centra (TC) Mapa výzkumního a aplikačního potencionálu Česka, obsahující oborovou a institucionální analýzu výsledků výzkumu a vývoje v ČR. Hned na začátek bych chtěl zdůraznit, že ČSÚ a TC za nic z toho, co budu dále popisovat, nemohou, neboť jen převzaly a v případě ČSÚ také určitým jasně definovaným způsobem agregovaly statistická data agentury Thomson-Reuters (TR), která se zabývá sledováním citačního ohlasů prací ve všech oborech a provozuje databázi Web of Science (WOS). Ani TR ovšem nedělá nic pokoutního, jen roztřiďuje vědecké články do 247 oborů podle charakteru časopisu, kde jsou publikovány.    

Kdo je tedy viník? Všichni ti, co berou statistická data, aniž se hlouběji zamyslí nad jejich původem a obsahem a využívají, či lépe řečeno zneužívají, je jako argument, v kterém oboru je česká věda a výzkum ve srovnání se světem nejlepší a kam by tedy měly preferenčně směřovat veřejné prostředky.  Pro srovnání úrovně našich vědců se světem se obvykle srovnávají počty citací českých autorů v daném oboru přepočtené na jednu práci s průměrnou citovaností článků téhož oboru v celém světě. Poměr takto stanovených průměrných citovaností se nazývá Relativní citační index oboru (RCIO) dané země, v tomto případě ČR. Pokud je toto číslo větší než 1, jsme v daném oboru nad světovým průměrem, pokud je menší, jsme na tom hůře. Argumenty, že RCIO by bylo vhodné a jednoduché použít pro rozdělování institucionálních prostředků místo Metodiky hodnocení zvané „kafemlejnek“, se již objevili i mezi členy Rady pro výzkum, vývoj a inovace. Proč utrácet desítky milionů (byť bruselských) korun a čekat několik let než projekt MŠMT Efektivní systém hodnocení a financování výzkumu, vývoje a inovací Operačního programu Vzdělání pro konkurenceschopnost vyvine něco lepšího, když RCIO nám řekne, kde jsme světoví okamžitě a téměř zadarmo?  

Snad trocha terminologie nikoho nezabije

Pro pochopení v čem je problém, je třeba rozumět terminologii používané v analýzách ČSÚ a její vztah k terminologii databáze TR.  V bibliometrické analýze ČSÚ jsou primární data TR o 247 oborech agregována do 37 širších vědních oborů definovaných podle tzv. Frascati manuálu (přiřazení oborů TR do těchto oborů, které používá ČSÚ, je v této tabulce) a ty dále do šesti vědních oblastí

  • Přírodní vědy
  • Technické vědy
  • Lékařské vědy
  • Zemědělské vědy
  • Sociální vědy
  • Humanitní vědy

Zdůrazňuji, že TR na 247 oborů dělí časopisy, ne samotné články. To je, jak uvidíme, velmi důležitý rozdíl. V Grafu 9 na jedenáctém listě excelovské tabulky jsou po vědních oblastech a vědních oborech ČSÚ vyneseny průměrné počty citací v celosvětové databázi WOS a v databázi prací českých autorů (ty samozřejmě obsahují i práce vzniklé v mezinárodní spolupráci).  Na první pohled je vidět, že z vědních oblastí jsou světu nejblíže technické vědy, mezi nimiž je dokonce jeden „Frascati manuál“ obor, kde jsme lepší o chlup než svět: elektrické, elektronické a informační inženýrství. Spočítáme-li z databáze RCIO tohoto oboru dostaneme číslo mírně větší než jedna, konkrétně 1,13.

Kdo jsou ti naši světoví „inženýři“?

Naskýtá se přirozená otázka, kdo jsou a co a kde dělají naši světoví „inženýři“? Pro odpověď na tuto otázku je třeba vědět, že ČSÚ do výše uvedeného oboru elektrické, elektronické a informační inženýrstvíagreguje následujících šest oborů primární databáze TR

  • Automation and Control Systems
  • Computer Science, Hardware and Architecture
  • Engineering, Electrical & Electronic
  • Instruments and Instrumentation
  • Robotics
  • Telecommunications

Podíváme-li se na srovnání naši a světového citačního ohlasu těchto oborů, zjistíme zajímavou věc, že všechny až na jeden jsou ve skutečnosti pod světovou úrovní. Premiantem a tahounem celého oboru elektrické, elektronické a informační inženýrství tedy nejsou často vyzdvihovaní informatici, kybernetici, robotici či ajťáci, ale obor Instruments and Instrumentation žlutě vyznačený na 135. řádce. Na první pohled je pozoruhodná skutečnost, že zatímco průměrný počtu citací na práci v tomto oboru je celosvětově 4, v rámci prací z ČR činí 5,84. Podíl těchto dvou čísel 5,84/4=1,47 udává RCIO oboru Instruments and Instrumentation v ČR. Stejná hodnota RCIO tohoto oboru je i tabulce 1 dokumentu Technologického Centra.

Jsou to ve skutečnosti fyzikové!

Pro odpověď na výše položenou otázku musíme jít hlouběji a podívat se na seznam 44 časopisů patřících do oboru Instruments and Instrumentation, kterýje zde. Z hlediska počtu publikovaných prací (sloupec G) a citací (sloupec C), je nejdůležitější následující pětice časopisů

  • Nuclear Instruments and Methods A
  • Nuclear Instruments and Methods B
  • Review of Scientific Instruments
  • Sensor Actuator A-physical
  • Sensor Actuator B-chemical

která sama zahrnuje polovinu všech citací na práce v tomto oboru. Již názvy uvedené pětice časopisů naznačují, jaký je obvyklý obsah v nich publikovaných článků. Jde typicky o popis experimentálních zařízení nebo jejich částí a metod, které jednotlivé experimentální skupiny vyvinuly a zkonstruovaly pro převážně fyzikální či fyzikálně-biochemický výzkum, jenž je pak ovšem publikován v časopisech patřících do zcela jiných oborů, v členění ČSÚ dokonce do jiné vědní oblasti (přírodní vědy).

Podíváme-li se do seznamu padesáti nejcitovanějších prací v tomto oboru, mezi jejichž autory jsou pracovníci českých institucí, najdeme na prvních pěti místech tyto práce

  1. Properties and performance of the prototype instrument for the Pierre Auger Observatory (344 citací)
  2. The upgraded D0 detector (288 citací)
  3. Radiation hard silicon detectors - developments by the RD48 (ROSE) collaboration  (244 citací)
  4. ATLAS pixel detector electronics and sensors (206 citací)
  5. Long-range surface plasmons for high-resolution surface plasmon resonance sensors UFE (99 citací)

přičemž celkový počet prací našich autorů v oboru Instruments and Instrumentation činí 688, na něž je celkem 4017 citací. Pro srovnání: celosvětově je v tomto oboru 78 869 prací, na něž je 315 608 citací.

První práce se týká popisu detektoru mezinárodního experimentu, který na observatoři Pierra Augera v Argentině zkoumá spektrum a složení kosmického záření nejvyšších energií. Na vybudovaní, provozu a zpracování dat tohoto experimentu se od počátku tohoto století podílejí pracovníci Fyzikálního ústavu AV ČR. Druhá a čtvrtá práce obsahují obdobný popis detektorů dvou velkých mezinárodních experimentů ve fyzice elementárních částic (ATLAS na urychlovači LHC v CERN a D0 ve Fermiho národní laboratoři v USA), které mimo jiné pátrají po onom Higgsově bosonu. Třetí nejcitovanější článek se týká vývoje radiačně odolných křemíkových detektorů pro experimenty na urychlovači LHC v CERN i jinde. Spoluautory všech třech posledně zmíněných článků jsou pracovníci Fyzikálního ústavu AV ČR, Univerzity Karlovy a Českého vysokého učení technického. Z prvních padesáti článku českých autorů v oboru Instruments and Instrumentation je 15 z oboru fyzika elementárních částic (kromě experimentů ATLAS a D0 ještě další experimenty v CERN a jeden v Itálii).

Pátá práce je jedna z celkově patnácti prací skupiny v Ústavu fotoniky a elektroniky AV ČR, která opět v mezinárodní spolupráci vyvíjí povrchové biosenzory, čidla založená na excitaci povrchových plasmonů, kolektivních oscilací sytému volných elektronů.  Jde o názorný příklad aplikovaného výzkumu na pomezí fyziky pevných látek a biochemie, jenž přináší nástroj pro rychlou a extrémně citlivou detekci biologických látek, což významně napomáhá lékařské diagnostice a kontrole kvality potravin.

Tyto dvě skupiny článků mají rozhodující vliv na průměrnou citovanost článků českých autorů a také vysvětlují proč je tato citovanost o téměř 50% vyšší než celosvětová. Pro ilustraci, kdybychom vyjmuli z našeho i celosvětového souboru prací oboru Instruments and Instrumentation samotnouprvní práci kolaborace Auger, klesla by průměrná citovanost ostatních našich prací z 5,84 na 5,35, zatímco na průměrnou citovanost celosvětově 4,00 by to mělo tak malý vliv, že by se projevil až na třetím desetinném místě. Kdybychom vyjmuli všech 15 prací z fyziky elementárních částic a astročásticové fyziky, klesla by průměrná citovanost našich zbývajících 673 prací na 3,52, zatímco celosvětově by citovanost klesla z 4,00 na 3,98 a rázem bychom tedy byli jasně po světovým průměrem. A kdybychom ignorovali i těch 15 prací Ústavu fotoniky a elektroniky, činila by průměrná citovanost zbývajících našich 658 článků jen pouhých 2,04, zatímco celosvětově by klesla ze 4,00 o méně než jedno procento na 3,97.

Nebezpečná jednoduchost

Ve srovnání se světem zdánlivá nadprůměrnost oboru elektrické, elektronické a informační inženýrství je tedy ve skutečnosti výlučně důsledkem poměrně vysokého RCIO podoboru Instruments and Instrumentation a ten je vysoký jen v důsledku skutečnosti, že do časopisů tohoto oboru posílají své práce také fyzikové elementárních částic a fotonici. Skutečnost, že RCIO tohoto oboru je 1,47 přestože všechny tyto práce vznikly v mezinárodních spolupracích, je pak důsledkem toho, že zastoupení obou výše popsaných skupin prací je v našem malém souboru 688 článků podstatně větší, než v celosvětovém více než stokrát větším souboru.    

Smyslem této únavné analýzy, je ukázat na nebezpečnost použití RCIO pro hodnocení kvality výzkumu v jednotlivých oborech v ČR. Viděli jsme, jak klíčovou roli hraje definice „oboru“ a že TR a následně i ČSÚ na obory dělí časopisy, nikoliv obsah v nich publikovaných článků. Identifikovat týmy či jednotlivce, kteří skutečně vytvářejí vysokých RCIO daného oboru nelze na základě samotných bibliometrických údajů a vyžaduje zapojení panelů odborníků. Ty by měly hrát v projektu MŠMT Efektivní systém hodnocení a financování výzkumu, vývoje a inovací klíčovou roli.

Složité problémy nemívají jednoduchá řešení a hodnocení kvality výsledků výzkumu složitým problémem bezesporu je, aspoň pro ty, kteří jsou schopni pochopit, proč tomu tak je. Jednoduché řešení využit relativní citační indexu oboru jako měřítka kvality výzkumu v daném oboru v ČR a na základě toho alokovat mezi obory institucionální prostředky, by bylo projevem ignorance těch nejzákladnějších principů, kterými by se skutečně odpovědné a kompetentní hodnocení kvality výzkumu mělo řídit.

Psáno pro portál ceskapozice.cz

Jiří Chýla

Jiří Chýla

Jiří Chýla

Nejen o vědě, ale také o roli vzdělanosti v dnešní společnosti, o věcech veřejných, které se nás týkají a které by nás měly zajímat.

Zabývám se teorií elementárních částic orientovanou na úzkou spolupráci s experimenty. Od počátku 90. let přednáším na Matematicko-fyzikální fakultě UK a společně s kolegy z této fakulty a Fakulty jaderné a fyzikálně inženýrské vedu Centrum částicové fyziky, jehož pracovní týmy se podílejí na řadě důležitých experimentů v hlavních světových laboratořích fyziky částic. Do zvolení členem Akademické rady AV ČR v březnu tohoto roku jsem byl předsedou Rady Fyzikálního ústavu AV ČR. Jsem členem vědecké rady Nadačního fondu NEURON na podporu vědy.

REPUTACE AUTORA:
0,00

Seznam rubrik

Tipy autora