Jiří Chýla se ve svém blogu pustil do kritiky mého posledního příspěvku týkajícího se hodnocení ústavů Akademie věd. Pokusím se tu reagovat.

"Rozhodný zastánce"

Hned na začátku mi Jiří Chýla dal nálepku „rozhodný zastánce kafemlejnku,“ ke které se ovšem nehlásím. Kafemlejnek jsem kritizoval od samého začátku a občas říkám, že pokud někdo uvede své výhrady ke kafemlejnku, ke každé přidám několik dalších. Také snad není problém dohledat mé citace, podle kterých budu pro okamžité opuštění kafemlejnku, jakmile bude na stole lepší systém, který bude možno použít.

Protože stávající systém alokace bodových hodnot výsledkům slouží k sestavení návrhu rozpočtu výzkumným organizacím, před jeho zrušením je třeba mít jasno v otázce jak vlastně návrh rozpočtu sestavit. Domnívám se, že v této otázce jasno není a tím pádem jsem proti tomu, aby se systém zvaný „kafemlejnek“ ze dne na den zrušil. Protože je téměř jisté, že onen lepší systém nebude na stole ani v nejbližších měsících, kdy bude třeba chystat další návrh státního rozpočtu, myslím, že má smysl raději se v tuto chvíli snažit odstraňovat ty nejhorší chyby stávajícího systému. Také jsem názoru, že verze kafemlejnku pro poslední dva roky je lepší než byly verze předchozí (fixace oborových poměrů a poměru publikačních vs aplikačních výsledků, atd.). Zároveň se nedomnívám, že způsob hodnocení a na něm založená alokace rozpočtu ústavů AV je onen lepší systém, který by byl okamžitě použitelný na celostátní úrovni a mohl kafemlejnek nahradit (čehož se týkal i můj minulý blog). Možná toto někomu stačí k použití zkratky „rozhodný zastánce kafemlejnku“, já se k tomu ale nehlásím.

K hodnocení v AV

Jiří Chýla mi vyčetl, že z mého textu vyznívá, že citované kritické hlasy ředitelů ústavů byly skrývané komentáře, které si „potichu šuškali někde v hospodě“. Když se na svůj text dívám, neformuloval jsem to dobře a v této věci mě Chýla peskuje po právu. Přílišnou zkratkou jsem se snažil načrtnout něco co vypadalo zhruba takto: výhrady proti způsobu hodnocení AV jsem slýchal delší dobu, od lidí uvnitř AV na různých pozicích, včetně některých ředitelů. V řadě případů je však provázela žádost, ať to na ně nepovím. Pokud je tato žádost neprovázela, zeptal jsem se, zda je mohu citovat - to však bylo odmítnuto. Pokud jsem v diskusích tyto výhrady zmínil bez zdroje, byl jsem odbyt např. tím, že jde o „dojmy málo informovaných nebo zhrzených lidí“ (e-mail od kolegy z AV, který se též občas účastní diskusí pod mým blogem). Protože v metodickém pokynu k hodnocení bylo zmíněno zveřejnění stanoviska ředitele, doufal jsem, že se k nim po skončení hodnocení dostanu. Když jsem se nedostal, zaurgoval jsem zveřejnění u předsedy AV. Poté, co jsem byl odmítnut, šel jsem na to přes zákon o svobodném přístupu k informacím. Řada výhrad, která ve stanoviscích zaznívá (a z nichž některé cituji ve svém textu), je pak velmi konzistentní s tím, co jsem dostal „off-the-record“. Měl jsem ale uvést, že citovaní ředitelé nejsou nutně totožní s těmi, kdo se se mnou o své výhrady dělili s poznámkou, ať to na ně neříkám. Např. Chýlou „odtajněný“ ředitel Fyzikálního ústavu, který v oficiálním dokumentu proces velmi ostře kritizoval, se při neformální diskusi o procesu hodnocení AV vyjadřoval velmi loajálně. Pokud to v mém textu vyznělo jinak, vina padá na mou hlavu.

"Další klon kafemlejnku"

V dalším textu mi Jiří Chýla vyčítá, že pracuji „na dalším klonu kafemlejnku“, což je špatně, protože jedině nás může zachránit „po všech stránkách dobře vybavená a na subjektech výzkumu nezávislá agentura, která se hodnocení bude pravidelně věnovat“. Nu dobře, pracuji. Jak Chýla sám poznamenává, „taková agentura u nás neexistuje a ještě nějakou dobu existovat nebude“. Rada pro výzkum má ale ze zákona úkol zabezpečovat každoroční hodnocení výsledků a též přípravu metodiky hodnocení. K tomu má ze zákona jako svůj odborný poradní orgán komisi pro hodnocení výsledků (KHV). Jako kritik kafemlejnku jsem začal, jenže kritizovat dokáže každý, takže když byla výzva na návrhy členů KHV a já byl osloven, přijal jsem to. Také je celkem jasné, že Rada nečinně čekat na tu skvělou nezávislou agenturu nemůže, a výsledky vyhodnocovat musí. Jak? Podle té dosavadní metodiky, které se jen prodlouží platnost? Té metodiky, které Chýla (po právu) vyčítá např. velmi problematické paušální bodování výsledků aplikovaného výzkumu? Nebylo by lepší do té doby, než onen vytoužený orgán přijde na svět, zlepšovat to, co máme k dispozici?

Pokud Chýla pohrdavě zmiňuje „další klon kafemlejnku“, mohl by jeho vlastnosti komentovat třeba na příkladech ze svého textu z února 2010, kde jako ilustraci neřestí kafemlejnku uvádí stejných 40 bodů za jakýkoliv (třeba libovolně banální) software a za (třeba mimořádně prestižní a rozsáhlou) knihu. Mohl by zmínit, že od té doby se něco změnilo a jím uváděné softwary z Výzkumného ústavu pro chov skotu dnes již nezpůsobí odliv financí od badatelů ve fyzice. I tak je ale nešťastné stávající paušální bodování knih a aplikovaných výsledků (třebaže už to není, co bývalo, a za knihu a software nedostanete stejně). Proto by Jiří Chýla mohl zmínit, že onen chystaný „další klon kafemlejnku“ má právě tomuto paušálnímu bodování zamezit. Jím zmiňovaná „tisícistránková monografie vydaná v Oxford University Press“ by rozhodně byla bodovaná jinak, než podřadná brožura (která by možná byla jako plevel rozpoznána a z hodnocení odstraněna). Aplikované výsledky se mají hodnotit zcela jiným způsobem, který se má odvíjet od financí ze smluvního výzkumu s aplikační sférou či z projektů aplikovaného výzkumu.

Excelence

Jeden odstavec věnuje Jiří Chýla části chystaného návrhu metodiky, která má být zaměřena na excelenci. Zareaguji na pár nepřesností v Chýlově textu. Chýla uvádí: „...součástí má být i mimo jiné i hodnocení vybraných publikací, které by měly dokumentovat „excelenci“ dané instituce“. Ve skutečnosti nemusí jít o publikace, mělo by být zcela na dané instituci, jaké výsledky ze své produkce vybere a předloží jako excelentní. Pokud bude mít excelentní výsledky v aplikacích, nechť vybere je. Pokud její výsledky budou ve srovnání s ostatními excelovat (a procento takových musí být omezené), přispěje jí to ke zlepšení skóre.

Chýla se dále pozastavuje nad tím, že by členy panelů, které budou excelenci posuzovat, měla jmenovat Rada pro výzkum, protože její členové „...nemají potřebné zkušenosti a ani čas na to, aby výběr členů panelů kompetentně provedli“ a tím pádem je pro něj taková představa zcela scestná. Nevím, ze kterého dokumentu přesně Chýla čerpá, mezi členy KHV i Rady koluje řada pracovních verzí. Ta aktuální, kterou mám po ruce, zmiňuje, že Rada zodpovídá za sestavení panelů. Neznamená to, že všechno budou dělat ručně členové Rady. Jaký proces si k sestavení panelů vybere, je ovšem na ní. Že něco takového běžně funguje a nikdo se nad tím nepozastavuje, stačí uvést např. jak Rada chystala návrh Národních priorit výzkumu, pro něž si ustanovila expertní panely, aniž by výběr členů panelů kompletně prováděli jednotliví členové Rady (postup viz zde). Navíc pokud podle stávajícího zákona Rada „zabezpečuje hodnocení výsledků výzkumných organizací“, zodpovědnost za sestavení hodnotících panelů na ni (v případě, že se cestou peer-review vydá) tak jako tak padá.

Perský trh

Nakonec se Chýla věnuje otázce zákulisního boje o finance a jako příklad uvádí sestavování návrhu státního rozpočtu na výzkum na rok 2013. Je to velmi dobrý příklad. Chýla píše: „Koncem dubna RVVI hlasy všech osmi reprezentantů vysokých škol (z celkem 17 členů RVVI) schválila a do meziresortního připomínkového řízení rozeslala návrh rozpočtu na výzkum, vývoj a inovace na rok 2013, který snížil institucionální výdaje Akademie věd oproti roku 2012 o 295 milionů Kč...“. Poněkud tam pozapomněl dodat, že to bylo hlasy všech 15 přítomných členů Rady, tedy i těch, co jsou z Akademie (kromě toho výraz „reprezentanti vysokých škol“ není namístě, dotyční vysoké školy v Radě nereprezentují, třebaže na VŠ pracují). Co je tady ale podstatné: vlastnímu jednání Rady, na kterém se to odhlasovalo, a ze kterého je zveřejněný zápis, předcházelo neformální „pracovní setkání členů Rady“, které nepodléhá jednacímu řádu, a na kterém se to celé upeklo. Jak, o tom můžeme spřádat hypotézy, ale členové, se kterými jsem o tom mluvil, to označili jako „perský trh“. Jednalo se do úmoru, až bylo některým nevolno - a nakonec byli rádi, že se vůbec na něčem shodli a mohli jít spát. Druhý den to přišli na řádné zasedání Rady odmávnout.

Při striktní aplikaci zákona by na to měl být použitý kafemlejnek. Ten mluví o přímé úměře mezi body za výsledky a financemi - alespoň na úrovni poskytovatele, tedy např. ministerstva. Při dělení mezi poskytovatele už je vazba poněkud volnější: tam návrh rozpočtu „vychází“ ze zhodnocení výsledků, z Národní politiky výzkumu a z výsledků mezinárodního hodnocení výzkumu. Zatímco já bych očekával, že ve zdůvodnění návrhu rozpočtu se dočtu o tom, jak konkrétně se z Národní politiky výzkumu vychází, jak se vyšlo ze zhodnocení výsledků a jak z výsledků mezinárodního hodnocení našeho výzkumu, nespoutaná volnost slova „vychází se“ zvítězila nad zotročující literou zákona a perský trh opanoval pole. A protože rozhodnuto není do té chvíle, než rozpočet posvětí Sněmovna, mohou zastánci jednoho či druhého „vycházení“ vesele lobovat tak, aby to vycházelo tím správným směrem.

I proto bych byl raději, kdyby platilo a bylo ctěno jasné pravidlo, třebaže nikoliv bezvadné. Raději se pokusím je spravit aby bylo férovější, než prostě říct, že je špatné a hledat štěstí na perském trhu.