Spílání „kafemlejnku“ se stalo módou posledních pár let, i dnes co chvíli čteme nějaké nekrology či povídání, jak je náš systém hodnocení a financování výzkumu celý špatně. Zase už se chystá novela zákona, který by měl dnes platné pravidlo přímé úměry mezi ohodnocenými výsledky a financemi, kterou instituce dostane, odstranit. Jistěže má současný kafemlejnek spoustu vad, tak proč se ho tedy někteří zastávají (naposled tak učinila skupina děkanů přírodovědně zaměřených fakult zde)?

 Čím nahradit stávající systém?

Potíž je v tom, že dosud nepadl konkrétní smysluplný návrh, čím přesně ho nahradit. Konkrétní návrhy nejsou smysluplné (např. „zafixujte všem rozpočty“ - tedy každý dostane své jisté a neptejte se přitom, zda daná výzkumná organizace vůbec něco užitečného vybádá), smysluplné návrhy jsou zatím dosti nekonkrétní („pozveme si na to zahraniční experty, ti nám řeknou, jak to máme udělat“ - jak ale celý proces udělat, aby se tím dal stanovit už příští rozpočet, neví nikdo, prozatím se jen počítá, že to za pár let nějak vyřeší plánovaný projekt MŠMT za cca 110 mil.).

 Nejlepší systém hodnocení

Jako příklad se ale u nás někdy uvádí systém hodnocení pracovišť Akademie věd, který si její předseda velmi pochvaluje a předchozí předseda jej označil za „nejlepší systém hodnocení“. Mělo to fungovat takto: jednotlivé ústavy přijedou proťuknout zahraniční experti, posoudí je z více pohledů, napíší na to reporty a navrhnou jim známky, ty pak celkově vyhodnotí komise, spolu s Akademickou radou finalizují verdikt a na jeho základě bude ústavům stanoven rozpočet. Vše bude transparentní, v metodickém pokynu k hodnocení se např. dočteme: „Hodnotící komise vypracují závěrečný protokol o hodnocení, k němuž ředitel pracoviště po poradě s radou pracoviště zaujme písemné stanovisko. Případné námitky k hodnocení obsažené ve stanovisku ředitele budou vypořádány celoakademickou hodnoticí komisí. Protokol o hodnocení, stanovisko ředitele pracoviště, případně vypořádání připomínek celoakademickou hodnoticí komisí budou zveřejněny na veřejných internetových stránkách AV ČR“.

Jaká je skutečnost? Na stránkách AV ČR lze sehnat souhrnnou zprávu a souhrnné výsledky: jakou známku ten který ústav a to které oddělení dostaly, a vzoreček, jak se podle toho bude financovat. Zajímalo mne ale, jak a na základě čeho se dospělo k výsledným známkám a co vlastně zahraniční hodnotitelé na jednotlivá pracoviště říkali. Protože jsem to na webu AVČR nenašel a podrobnější odpověď nedostal ani od vrchního velení (předseda mne odbyl slovy „dokumentace spojená s hodnocením je velmi obsáhlá, a proto Akademická rada AV ČR schválila rozsah dokumentů, které jsou nyní zveřejněny prostřednictvím veřejných webových stránek AV ČR. O zveřejnění dalších materiálů neuvažujeme“), na které jsem se obracel, vyžádal jsem si materiály na základě zákona o svobodném přístupu k informacím.

 Žádost o informace

Vybral jsem si namátkou 9 ústavů a požádal AV o podklady, které tato pracoviště nachystala ke svému hodnocení, dále o posudky zahraničních hodnotitelů, záznam z prezenčního hodnocení, závěrečný protokol, výsledné stanovisko Akademické rady a stanovisko vedení hodnoceného ústavu. Cena, kterou si za toto stanovili (900 korun) mi přišla přijatelná na to, abych si udělal představu o detailech, jak vlastně peer-review v Akademii probíhalo.

Zahraniční experti to vyřeší

Na první pohled je zarážející nesourodost zahraničních posudků. Zatímco někteří hodnotitelé na několika stránkách pečlivě zdůvodňují každou navrženou známku a dávají pracovišti konkrétní doporučení, jiní svůj verdikt zdůvodnili na dvou řádcích. Abych byl konkrétní - takto např. vypadá zdůvodnění známky 2 v oblasti mezinárodní spolupráce (cituji včetně překlepů): „The Department is involved in many international programmes and several pubblications are shared with international scientists“ a takto známky 2 za personální, materiální a organizační otázky: „It is unclear for me the acronyms used in this section. However the personnel seem well balanced and with clear programmes.“

Vůbec sehnat nezávislé zahraniční hodnotitele byl ale problém. Takto popsal situaci předseda jedné z hodnotících komisí prof. Němeček:

Efektivita získávání zahraničních expertů byla nízká. Typicky bylo osloveno 15 – 25 expertů pro každý ústav, ale zdaleka se nepodařilo získat posudky na všechny týmy. Jako příklad uvedu ústav, pro který jsem byl zpravodajem a kde znám situaci nejlépe. Postupně bylo osloveno patnáct oponentů splňujících podmínku, že nebyli navrženi posuzovaným ústavem. Byl získán posudek na jeden tým. Posléze se ukázalo, že při výběru tohoto oponenta došlo k přehlédnutí, protože měl několik publikací společně s pracovníky ústavu. V poslední vlně byli osloveni oponenti, kteří byli ústavem navrženi (celkem sedm). Od dvou z nich bylo získáno hodnocení na další dva týmy, tři týmy zůstaly bez posudku. Zúčastnil jsem se i prezenčního hodnocení (jiného ústavu). Na ně přijeli čtyři z pěti oponentů, kteří byli ochotni ústav hodnotit, a všichni měli předchozí spolupráci s ústavem. I pro tento ústav bylo získáno zahraniční hodnocení pouze pro tři ze šesti týmů. Závěrem je možno konstatovat, že přestože byly posudky honorovány, nepodařilo se je získat v potřebném množství, o nezávislosti expertů ani nemluvě.

Jak to vidí hodnocené ústavy?

Zajímavá je ovšem četba vyjádření vedení hodnocených ústavů. Nejčastěji namítají proti úpravám hodnocení ze strany domácích komisí. Za pozoruhodné přitom považuji to, že při neformální diskusi si často ochotně postěžují na neobjektivitu hodnocení, jedním dechem ale prosí, ať to na ně neříkám panu předsedovi, že by měli zle. Protože ale tato vyjádření měla být původně podle Metodického pokynu veřejně přístupná, předpokládám, že by s uvedením následujících citátů neměli mít problém (přesto jsem z nich odstranil konkrétní jména či identifikaci jednotlivých pracovišť):

 „...je nutné konstatovat, že celé „přehodnocení“ vyvolává v ústavu silnou pachuť a vzbuzuje otázky, proč bylo nutné zvát externí hodnotitele, vynakládat nemalé finanční prostředky a čas mnoha lidí, když výsledné hodnocení odpovídá osobnímu názoru jednoho či několika málo jedinců z XXX? ... Jaký vznikne obraz minimálně v komunitě XXX na domácích univerzitách? Jak snadno získáme příště hodnotitele ze zahraničí, když celé přehodnocení je vlastně jednou velkou deklarací jejich neuspokojivé práce? Bude před nimi AV ČR závěry vyjádřené ve Stanovisku tajit, nebo jim vysvětlí, kde v hodnocení pochybili? ... Pokud se AV ČR rozhodla hodnotit ústavy pomocí komisí externích expertů, jejichž výběr AR sama schválila, pak by měla také najít odvahu takto získané výsledky hodnocení přijmout. ... Není možné ad hoc chatrně zdůvodněnými změnami známkování nahoru i dolů prosadit výsledek odpovídající mínění některých zaměstnanců ústavu a komisi externích hodnotitelů použít jako zástěrku demonstrující náročnost hodnocení. Toto vše nás vede k vyslovení zásadního nesouhlasu s těmi korekcemi, provedenými Řídící skupinou a AR, které se neopírají o jednání externích hodnotitelů.

 Z jiného ústavu zaznívá:

K objektivnímu zhodnocení výzkumné činnosti nebyl získán dostatečný počet kvalifikovaných zahraničních posuzovatelů, dvě oddělení byla posuzována pouze jedním odborníkem, ostatní oddělení měla dva zahraniční posuzovatele a pouze jedno oddělení získalo 3 zahraniční posudky. Ačkoliv se výsledné hodnocení uvedené v tabulce Profily vědeckých útvarů ve většině případů shoduje s výsledným hodnocením zahraničních posuzovatelů, u oddělení XXX došlo k posunu z hodnocení 1 na 3, aniž by byly důvody k takto razantnímu posunu uvedeny. Za další závažnou skutečnost považujeme snížení výsledné známky hodnocení u trvale, tedy nejen v hodnoceném období, nejlepšího oddělení Ústavu, XXX, provedené Akademickou radou. Výsledné hodnocení jednotlivých oddělení se v některých případech značně liší od pořadí výkonnosti oddělení, které je každoročně vyhodnocováno na základě publikační aktivity, impaktního přínosu a dalších výsledků,“

 z dalšího podobně:

Argumenty uvedené ve Stanovisku Akademické rady AV ČR k výsledkům hodnocení hodnotící komise schváleném na 27. zasedání AR AV ČR dne 23. 3. 2011 [členové Rady ústavu] považují za neakceptovatelné neboť se neopírají o Metodický pokyn, nejsou korektní ani logické a dokonce obsahují nepravdy. Navíc zásadně zpochybňují práci zahraničních hodnotitelů, HK7, a tím i celý proces hodnocení,

přičemž následuje několikastránková argumentace rozporující zásahy Akademické rady do procesu hodnocení.

V podobném duchu, navíc s poukazem na nedostatek transparentnosti se nese vyjádření dalšího pracoviště:

 „...Z procedurálního i z věcného hlediska považujeme za zásadní chybu, že všichni zahraniční posuzovatelé pro každý hodnocený ústav neposuzovali všechny jeho vědecké týmy. Nezřídka nebyl k dispozici ani jeden takový posudek a celé hodnocení tak bylo založeno z velké části na prezentaci vedoucího příslušného vědeckého útvaru či jím delegovaného řečníka. Navíc je možno vysledovat, že v některých případech se dílčí či celkové známky jednotlivých vědeckých útvarů výrazně lišily od známek navrhovaných zahraničními oponenty (pokud tyto byly k dispozici) či od slovního komentáře. ... Z uvedených důvodů nemůžeme považovat použitou metodiku Hodnocení za zcela objektivní. Žádáme proto o:1. normalizaci hodnocení jednotlivých vědeckých útvarů v rámci celé Akademie nebo alespoň jedné oblasti věd, 2. zveřejnění (v rámci AV ČR) kompletních výsledků Hodnocení, 3. vysvětlení, proč se některé dílčí či celkové známky vědeckých útvarů výrazně liší od hodnocení zahraničních oponentů či od slovního komentáře, a o úpravě těchto známek.“ 

Další námitka vůči netransparentnosti zaznívá ve vyjádření jiného pracoviště:

Závěrečný text, který vypracovala doc. XXX, obsahuje celou řadu subjektivních, ničím nepodložených soudů a nesrovnalostí mezi slovním hodnocením a výslednými známkami. Vypracovatelka se často odvolává na názory zahraničních hodnotitelů údajně pronesené v interním jednání, jehož zápis nemáme k dispozici a tudíž je nelze ověřit.

Je spravedlivý zahraniční expert nebo domácí komise?

Zatímco většina pracovišť protestovala proti zásahům domácích orgánů do verdiktu zahraničních hodnotitelů, objevily se i námitky jdoucí opačným směrem:

...Pokud se týče hodnocení jednotlivých útvarů byli jsme překvapeni celkovým hodnocením některých útvarů. Extrémem je hodnocení Oddělení ...., které je vedeno prof. XXX, které dostalo známku 2. Prof. XXX je nejvíce citovanou vědeckou pracovnicí z České republiky (5717 citací, H index 42), její oddělení trvale produkuje významné impaktované publikace, prof. XXX patří mezi ve světě nejvíce uznávané české vědce. Celkem 26 pracovních týmů bylo hodnoceno v sekci 5 lepší známkou než tým prof. XXX (z toho pouze 4 vedoucí týmů dosahují většího citačního indexu než prof. XXX). Předpokládali jsme, že hodnotící komise a následně i Akademická rada upraví naprosto neobjektivní a zaujaté hodnocení zahraničního hodnotitele Prof. YYY, na což jsme hodnotící komisi upozornili. Pohrdání objektivními fakty nemá ve vědě místo."

Hodnocení bez vad kafemlejnku?

Kritici kafemlejnku mu často předhazují bezduchost, povrchnost a mechanistické oceňování kvantity na úkor kvality. Vyčítají mu, že nemůže sloužit jako efektivní zpětná vazba pro práci pracoviště. Jak to tedy vypadá s „konkurenčním“ hodnocením AVČR?

Ze zápisu z prezenčního hodnocení jednoho z ústavů:

 „Profesor XXX.... následně poukázal na některé nedostatky nastavení procesu hodnocení AV ČR ve vztahu k zahraničním hodnotitelům, kteří jsou díky nastavení kritérií a způsobu prezentace dat a podkladů i jazykové bariéře nuceni posuzovat spíše kvantitu než kvalitu výstupů XXX či ústavů obecně....

 Z vyjádření pracoviště:

Hodnocení okruhu D je zcela nepřijatelné, protože se orientuje pouze na věkovou strukturu k datu odevzdávání podkladů a nebere v úvahu celé hodnocené období. Materiální otázky byly posuzovány povrchně, rovněž připomínky k organizačním otázkám jsou mechanistické,“

 a z dalšího:

 „Slovní hodnocení výsledků a práce ústavu bohužel nebude sloužit pracovníkům ústavu k zlepšení jejich další činnosti a nebude využita vedením ústavu ke zdokonalení jeho práce, protože konkrétní návrhy v hodnocení postrádáme.

Citované texty jsou jen ilustrativním výběrem, v celé dokumentaci lze najít mnoho dalších zajímavých tvrzení.

Hledejme lepší systém

Kafemlejnku se jistě dá vyčítat nepřeberné množství vad. Jeho hlavní předností je ale transparentnost - na vady se dá přijít a lze usilovat o jejich nápravu. Pokud budete švindlovat, hrozí, že se na to přijde. Dřív, než bude stávající systém hodnocení a financování odstraněn, měli bychom mít adekvátní náhradu. Obávám se, že systém hodnocení à la AV ČR tím není (a je jen ke škodě věci, že Akademie nechce zveřejnit podkladové materiály z hodnocení, třebaže nejsou tajné). Velmi rozumím děkanům, kteří se proti bezhlavému opuštění kafemlejnku ohrazují: netransparentní zákulisní boje o finance je to poslední, co by mohli chtít.

O nalezení lepšího systému dnes usiluje komise pro hodnocení výsledků při Radě pro výzkum: snahou je mít něco lepšího než kafemlejnek již od příštího roku. V dlouhodobějším horizontu má tyto ambice i chystaný velký projekt ministerstva školství "IPN Metodika". Co se podaří prosadit a zda to bude skutečně k lepšímu, ukáže čas.

P.S. Chtěl jsem původně ke každému citátu uvést odkaz, aby bylo možno jej ověřit. Podle zákona o svobodném přístupu k informacím „do 15 dnů od poskytnutí informací na žádost povinný subjekt tyto informace zveřejní způsobem umožňujícím dálkový přístup,“ očekával jsem tedy, že poté, co mi materiály AVČR poslala, je na svých stránkách vyvěsí. Když se tak nestalo a zaurgoval jsem toto zveřejnění, dostal jsem odpověď že jde o „mimořádně rozsáhlou informaci“, u které se to nemusí (u každého ze zmiňovaných 9 ústavů to bylo kolem 15 dokumentů). Zájemcům o podrobnosti tedy nezbývá, než si o tyto dokumenty podle zákona požádat. Případně, ty co už mám, mohu vážným zájemcům přeposlat.