Resort chce poprawić jakość ewaluacji - zwłaszcza w naukach humanistycznych

Wielokrotne zmiany w punktacji czasopism i publikacji naukowych, modyfikacja procedury nadawania kategorii uczelniom, a wszystko to w trakcie trwania procedury. Przez działania poprzedniej władzy ostatnia zamknięta ewaluacja mocno ucierpiała na wiarygodności. Obecne władze resortu chcą poprawić procedurę - zmiany będą dotyczyć m.in. oceny dorobku.

Na stronach Rządowego Centrum Legislacji jest już gotowy projekt nowelizacji rozporządzenia Ministra Nauki i Szkolnictwa Wyższego, zmieniającego rozporządzenie w sprawie ewaluacji jakości działalności naukowej - zgodnie z zapowiedziami zmiany mają mieć charakter ewolucyjny. Zmiany dotyczą przede wszystkim kryterium oceny wpływu na społeczeństwo i gospodarkę oraz oceny dyscypliny nauki o rodzinie i nauki weterynaryjne.

Ewaluacja działalności naukowej raczej bez rewolucji>>

Nauki o rodzinie według kryteriów dla nauk humanistycznych

Po zmianach w rozporządzeniu, ewaluacja dyscypliny nauki o rodzinie będzie odbywać się według tych samych kryteriów, co w dziedzinach nauk humanistycznych, społecznych i teologicznych. Ocenie będą podlegać:

• Poziom naukowy działalności – 70 proc. wagi,
• Efekty finansowe badań – 10 proc. wagi,
• Wpływ działalności naukowej na społeczeństwo i gospodarkę – 20 proc. wagi.

Dla nauk weterynaryjnych, kryteria ewaluacji będą takie same jak w naukach medycznych, o zdrowiu oraz ścisłych i przyrodniczych, z następującymi wagami:

• Poziom naukowy działalności – 60 proc. wagi,
• Efekty finansowe badań – 20 proc. wagi,
• Wpływ działalności naukowej na społeczeństwo i gospodarkę – 20 proc. wagi.

Elastyczniejsze podejście do oceny dorobku

Dotychczas przepis przewidywał konieczność związku działalności naukowej z badaniami naukowymi lub pracami rozwojowymi prowadzonymi w podmiocie w danej dyscyplinie naukowej, ale nie wskazywał wprost, że działalność ta musi być prowadzona przez autora osiągnięcia naukowego wykazywanego w ewaluacji. Jeśli komisja stwierdziła nieprawidłowości dotyczące jednego ze współautorów publikacji (np. brak związku z zatrudnieniem w podmiocie), cała publikacja była wykluczana z ewaluacji, nawet jeśli pozostali współautorzy spełniali wymagania. Po ewaluacji w 2022 r. zauważono, że prowadziło to do niesprawiedliwego odrzucania osiągnięć naukowych. Nowelizacja wprowadza możliwość odrzucenia tylko udziału jednostkowego konkretnej osoby, bez eliminowania całej publikacji. Dzięki temu pozostali autorzy, którzy spełniają kryteria, nie stracą punktów za swoje osiągnięcia.

Zmieni się także ocena dorobku osób kształcących się w szkołach doktorskich - jeżeli doktorant był jednocześnie zatrudniony i zaliczony do liczby N (liczba pracowników ewaluowanego podmiotu), jego osiągnięcia z okresu kształcenia nie mogły być brane pod uwagę – uwzględniano jedynie dorobek związany z zatrudnieniem. W poprzedniej ewaluacji nie budziło to wątpliwości, ponieważ doktoranci nie mogli być zatrudnieni jako nauczyciele akademiccy ani pracownicy naukowi przed oceną śródokresową. Jednak po uchyleniu tego zakazu (ustawa z 28 lipca 2023 r.) równoczesne kształcenie i zatrudnienie stało się możliwe. Dlatego planowana zmiana rozporządzenia ma umożliwić uwzględnienie w ewaluacji zarówno osiągnięć z okresu kształcenia, jak i zatrudnienia, jeśli dana osoba została zaliczona do liczby N.

Wpływ nie tylko geograficzny

Dotychczasowa ocena wpływu działalności naukowej uwzględniała jedynie zasięg geograficzny (międzynarodowy, krajowy, regionalny, lokalny, marginalny), co nie odzwierciedlało rzeczywistego oddziaływania badań. Nowelizacja wprowadza dodatkową skalę oceny, uwzględniającą stopień oddziaływania – od całkowitego po marginalny. Jest to szczególnie istotne dla dyscyplin naukowych skupionych na Polsce (np. polonistyka, historia Polski, geografia Polski), które naturalnie mają ograniczony zasięg geograficzny, ale mogą mieć pełne oddziaływanie na dane zagadnienie. 

Eksperci będą mogli oceniać wpływ zarówno pod kątem terytorialnym, jak i kompletności oddziaływania, a oba aspekty będą oceniane według tych samych progów punktowych. Dzięki temu jednostki naukowe, których badania w pełni kształtują określone obszary wiedzy, nie będą niesprawiedliwie oceniane niżej tylko ze względu na ograniczony zasięg geograficzny.

Progi punktowe za zasięg wpływu:

•     50 pkt – wpływ międzynarodowy lub całkowity
•     40 pkt – wpływ krajowy lub szeroki
•     30 pkt – wpływ regionalny lub częściowy
•     20 pkt – wpływ lokalny lub ograniczony
•     0 pkt – wpływ marginalny lub brak dowodu wpływu.

Nie tylko pierwsze kryterium zdecyduje o dodatkowej ocenie

Resort zdecydował się też na zmianę w kryteriach kwalifikowania jednostek do dodatkowej oceny eksperckiej. Obecnie system opiera się tylko na pierwszym kryterium -  poziomie naukowym lub artystycznym prowadzonej działalności. Prowadzi to do pewnego paradoksu, jednostka z bardzo wysokim wynikiem blokowała "wejście" innym podmiotom, a jednocześnie - w wyniku dodatkowej oceny eksperckiej - nie osiągała noty A+, bo nie miała szczególnych osiągnięć w kryterium drugim (efekty finansowe badań naukowych i prac rozwojowych) oraz trzecim (wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki). Dzięki nowelizacji do oceny eksperckiej zostaną dopuszczone podmioty o bardziej zrównoważonych wynikach, a co za tym idzie będą one miały szanse na wyższą ocenę.

Czytaj w LEX: Twórczość naukowa pracowników > >

Kosmetyczne poprawki, ale na lepsze

Jak wskazuje prof. Piotr Stec z Uniwersytetu Opolskiego, zmiany mają głównie charakter porządkujący i są związane między innymi z koniecznością uwzględnienia modyfikacji klasyfikacji dziedzin i dyscyplin naukowych. - Poprawiono te przepisy, których działanie rodziło problemy w praktyce. Czyli zrobiono to, co trzeba było zrobić, żeby ewaluacja mogła się odbyć bez poważniejszych zgrzytów. Ponieważ ministerstwo zdecydowało się na przeprowadzenie ewaluacji z takimi wynikami jakie mamy – bez zaskakującej zmiany reguł gry czy kolejnej nowelizacji wykazu czasopism, pole manewru było dość ograniczone - wskazuje. - Do najważniejszych zmian zaliczyłbym doprecyzowanie przepisów o zaliczaniu do dorobku ewaluacyjnego publikacji słuchaczy szkół doktorskich, którzy zostali zatrudnieni na uczelni, bo w niektórych przypadkach dorobek sprzed zatrudnienia „kasował” się ewaluacyjnie, zmianę zasad kwalifikowania jednostek do oceny eksperckiej na kategorię A+ (próg wejścia będzie nie niższy niż mediana wyników jednostek mających w danej dyscyplinie kategorię A, czyli górne 50% wchodzi do gry), zmiany w wagach poszczególnych kryteriów oceny - podkreśla.

Chodzi o to, że w większości dyscyplin poza naukami społecznymi, humanistycznymi itd. nie będzie można uzyskać dobrej kategorii wyłącznie na podstawie dorobku publikacyjnego, czyli jednostki będą musiały wykazać się wpływem społecznym i mocnymi osiągnięciami w pozyskiwaniu środków zewnętrznych żeby utrzymać kategorię i prawa akademickie lub żeby wejść do wyższej ligi. Za dobrą zmianę uważa też opisane wyżej zmiany dotyczące wpływu - czyli nieograniczanie tego kryterium do zasięgu terytorialnego. - Wzięte pod uwagę zostanie to, jak wiele osób doświadczy tego wpływu, przykładowo plan zagospodarowania wpływa na sytuację wszystkich mieszkańców danej gminy, a umowa o małym ruchu granicznym dotyczy tylko mieszkańców określonego obszaru, czyli w pierwszym przypadku wpływ będzie całkowity i lokalny, a w drugim – międzynarodowy, ale ograniczony. W obu przypadkach jednak osiągnięcia te zostaną ocenione równie wysoko - tłumaczy prof. Stec. - Przepis ten zachęca uczelnie do wpływania na bezpośrednie otoczenie i bycie czynnikiem zmiany także na poziomie mikro. Nie jest to miara idealna, jak każda miara jakościowa, ale ten tok myślenia należy zaaprobować - podkreśla.

Sprawdź w LEX: Działalność naukowo-dydaktyczna na wyższej uczelni w świetle prawa autorskiego > >

Niektóre zmiany bardzo szczegółowe

Według prof. Grzegorza Krawca z Uniwersytetu Komisji Edukacji Narodowej w Krakowie proponowane zmiany to generalnie kosmetyka, jednak niekiedy bardzo gruntowna.

- Komisja Ewaluacji Nauki ma przeprowadzić ocenę jakości działalności naukowej dodatkowego podmiotu wskazanego w art. 7 ust. 1 pkt 6c ustawy Prawo o szkolnictwie wyższym i nauce. Chodzi tutaj o Centrum Medycznego Kształcenia Podyplomowego. Kierownicy podmiotów prowadzących działalność naukową w dziedzinach humanistycznych, nauk o rodzinie, społecznych i teologicznych mogą wnioskować o ekspercką ocenę do 5 monografii naukowych z ISBN - wskazuje.

Za istotne uważa doprecyzowanie, że ocena poziomu naukowego prowadzonej działalności naukowej w zakresie badań naukowych i prac rozwojowych dokonywać ma się z uwzględnieniem artykułów naukowych opublikowanych w niezamieszczonych w wykazie czasopism czasopismach naukowych lub recenzowanych materiałach z międzynarodowych konferencji naukowych, uwzględnionych w uznanej bazie publikacji naukowych o zasięgu międzynarodowym. - Obecnie przepis obejmuje jedynie artykuły naukowe opublikowane w czasopismach naukowych niezamieszczonych w wykazie czasopism. To istotne uściślenie - podkreśla prof. Krawiec. Ocenia, że zmiana wprowadza większą precyzję, ale wymaga zdefiniowania, co oznacza "uznana baza".

Podobnie jak profesor Stec, pozytywnie ocenia nowelizacje dotyczące oceny dorobku doktorantów. - Zmiany porządkują limity doktorantów, eliminując potencjalne niejasności. Prawdopodobnie uprości to procedurę, ale wymaga analizy, czy nie wpłynie negatywnie na specyfikę innych dziedzin (np. ścisłych), które wcześniej miały inne progi - podkreśla prof. Krawiec. W dobrym kierunku idą też, jego zdaniem, zmiany dotyczące kryteriów oceny wpływu na społeczeństwo i gospodarkę. -  Niewątpliwie w tym przypadku minister planuje złagodzić rygoryzm związany z tym kryterium oceny. I tutaj zmiany ocenić należy pozytywnie. Warto by jednak poszły ono jeszcze dalej; bez zmian pozostają bowiem punkty za znaczenie wpływu. No i warto zmniejszyć arbitralność ekspertów - mówi prof. Krawiec.

Do ideału trochę brakuje

Prof. Krawiec wskazuje, że zmiany w ewaluacji nie mają charakteru rewolucyjnego, lecz ewolucyjny. - Są jednak także pewne niejasności, np. niektóre nowe sformułowania (np. "uznana baza międzynarodowa") wymagają dalszego doprecyzowania w praktyce - tłumaczy.  Zaznacza, że jego zdaniem należałoby ograniczyć arbitralność ekspertów, gdyż reprezentują oni uczelnie mające własne dyscypliny podlegające ocenie, co może wpływać na ich obiektywność.

- Nie rozwiązano i tego mi w projekcie brakuje, problemu ustalania progów na kategorie  Jedyna wskazówka wynikająca z przepisów jest taka, że podstawą do ich ustalania mają być dane bibliometryczne wskazujące na międzynarodową pozycję naukową Polski - podkreśla prof. Stec. - Brakuje natomiast wytycznych co do tego, jak te miary konstruować. Brakuje przepisów wskazujących jak ustalać próg na kategorię A w danym kryterium i jak ustalać progi na pozostałe kategorie. Dlatego, niezależnie od wysiłków KEN  zmierzających do obiektywnego wyliczania tych progów, z perspektywy ocenianej jednostki znana jest tylko wartość, która decyduje o kategorii. Nie wiemy natomiast, skąd ona się wzięła Jest to istotne, ponieważ uczelnie powinny mieć możność oceny, czy progi na kategorie zostały dobrze ustawione. Od tego przecież zależy ich byt - podsumowuje.

-------------------------------------------------------------------------------------------------------------------

Linki w tekście artykułu mogą odsyłać bezpośrednio do odpowiednich dokumentów w programie LEX. Aby móc przeglądać te dokumenty, konieczne jest zalogowanie się do programu. Dostęp do treści dokumentów w programie LEX jest zależny od posiadanych licencji.