Sposoby oceny działalności naukowej i ich praktyczne zastosowanie w elektronice


Prof. dr hab. inż. Jarosław Świderski
Instytut Technologii Elektronowej
w Warszawie, al. Lotników 32/46
e-mail: Adres poczty elektronicznej jest chroniony przed robotami spamującymi. W przeglądarce musi być włączona obsługa JavaScript, żeby go zobaczyć.
tel. 0-22/847 16 61


     W środowiskach pracowników naukowych obserwuje się bardzo zróżnicowane podejście do problematyki oceny ich działalności [1,2]. Skrajne poglądy dają się streścić następująco:

a) Prace naukowe, począwszy od pewnego poziomu (ściślej - prace naprawdę naukowe), nie powinny podlegać bieżącej ocenie, gdyż określenie ich prawdziwej wartości będzie możliwe dopiero po wielu latach i na tle wydarzeń, których  nie da  się nawet przewidzieć [3].
b) Każda praca naukowa powinna być oceniana bardzo starannie, gdyż niedoskonałość systemu ocen jest w Polsce główną przyczyną słabości nauki, znacznie poważniejszą niż zbyt niskie nakłady finansowe przeznaczone na badania i rozwój [4].

     Liczne stanowiska pośrednie (np. [5,6,7]) wydają się "rozkładać"    w sposób zupełnie przypadkowy, a w każdym razie niezależnie od przynależności ich głosiciela do określonej dziedziny wiedzy lub pionu (uczelnie, PAN, jbr-y) nauki. Natomiast bezsporne wydają się dwa następujące fakty:

- rozdział środków przeznaczonych na naukę odbywa się we wszystkich rozwiniętych państwach, a przez ostatnie lata także w Polsce, na podstawie oceny dotychczasowych osiągnięć zespołów ubiegających się o te środki;
- staranność oceniania nauki w Polsce ulega w ostatnich latach stałej degradacji. Objawy tego są mniej jednoznaczne niż przytoczone wyżej, ale obserwuje się np. wyraźny spadek liczby ocen negatywnych lub przynajmniej wyraźnie wskazujących słabości ocenianego materiału, zwłaszcza w recenzjach propozycji grantów, w ocenach publikacji, monografii, a nawet w ocenach rozpraw doktorskich, habilitacyjnych czy dorobku kandydatów do tytułu naukowego.

     Autor niniejszego opracowania przez blisko trzydzieści lat zajmował się recenzowaniem różnego typu działalności naukowej, a przez ostatnie 6 lat przewodniczył komisjom dokonującym systematycznej oceny dziewięciu zakładów naukowo-badawczych  i ponad stu naukowców w dużym instytucie działającym w obszarze elektroniki. Kryteria, wg których przeprowadzano oceny, były opracowywane przez zespół niezależny od komisji oceniających i doskonalone (ale nie podlegające radykalnym zmianom) z roku na rok. Kryteria te porównywano na bieżąco z kryteriami stosowanymi przez różne gremia KBN, a członkowie zespołu opracowującego je w omawianym instytucie mieli możność dzielić się swymi doświadczeniami z niektórymi gremiami opracowującymi kryteria oceny stosowane  w KBN.
     Proces oceny wewnątrz instytutu [8] prowadzony był (i jest nadal) przez pięcioosobową komisję według specjalnie opracowanych regulaminów, zawierających około dwudziestu kryteriów. Pracownicy dokonują najpierw samooceny, wyliczając  (i uzasadniając) to, co uważają za swoje sukcesy w minionym roku, potem ta samoocena poddana jest weryfikacji przez ich bezpośrednich zwierzchników, a na końcu - punktowej ocenie przez komisje, które ustalają też ranking w kilku podstawowych obszarach działań. Oceniane są: uzyskiwane stopnie naukowe (a także opieka nad pracami naukowymi i dydaktyka), publikacje, monografie, skrypty, seminaria, popularyzacja nauki, wystąpienia konferencyjne, patenty, cytowania, organizacja konferencji, praca  w komitetach naukowych, organizacyjnych, redakcjach, radach naukowych, uzyskiwanie i realizacja różnego typu grantów krajowych i zagranicznych, nagrody i wyróżnienia, opracowane metody, technologie, programy komputerowe, modele, prototypy, wdrożenia itp. Istnieje też, w dyspozycji kierownictwa, pula punktów za osiągnięcia, które nie dają się sprawiedliwie ocenić za pomocą obowiązującego regulaminu. Rankingi, zarówno zespołowe, jak i indywidualne, dotyczą oddzielnie publikacji, oddzielnie wszystkich osiągnięć o charakterze naukowo-badawczym, oddzielnie - o charakterze rozwojowym i merkantylnym. Są też oczywiście rankingi łączne. Wbrew początkowym obawom, cała ta ocena nie jest zbyt pracochłonna. Na przykład osiągnięcia indywidualne bada się przez ok. dwa miesiące, a komisja spotyka się raz lub dwa razy w tygodniu na dwie godziny. Wszystkie oceny są jawne, a reklamacje, w pierwszym roku działania tego systemu obejmujące ponad 20% ocen, obecnie spadły poniżej 5%. Prowadzenie procesu oceniania tak szerokim frontem pozwala wcześnie i wyraźnie dostrzegać ważne wyniki naukowe i prawidłowy bądź nieprawidłowy rozwój wydarzeń w poszczególnych środowiskach twórczych, a także prawidłowe powiązania między badaniami poznawczymi, stosowanymi i ich wdrożeniami. Wyraźnie wówczas widać, że tylko oceny kompleksowe i tylko oceny całych zespołów lub oceny indywidualne przeprowadzane na tle zespołów mają sens. Wyniki wykorzystywane są do podziału przeznaczonych na badania środków, a w perspektywie trzyletniej - do wyróżnień indywidualnych bądź do konsekwencji negatywnych z rozwiązaniem umowy o pracę włącznie.
      Pouczające jest porównanie kryteriów stosowanych do oceny pracowników i zakładów naukowych w instytucie z kryteriami zastosowanymi w bieżącym (2001) roku przez odpowiedni zespół KBN (T11) do oceny instytucji naukowych działających w obszarze elektroniki, automatyki, telekomunikacji i informatyki. Podstawowe różnice występują w trzech grupach kryteriów:

- w ocenie publikacji, monografii, wystąpień konferencyjnych, patentów itp;
- w ocenie efektów gospodarczych działalności badawczo-rozwojowej;
- w ocenianiu (lub nie) działalności badawczo-organizacyjnej i rozwojowej.

     W pierwszej grupie kryteriów Zespół KBN zastosował "sztywną" punktację związaną z rodzajem czasopisma, konferencji bądź kraju. Np. za publikację w czasopiśmie o współczynniku przebicia (IF) większym lub równym jedności instytucja oceniana otrzymuje 24 punkty, za monografię wydaną w PWN, WNT lub WKiŁ - 18 punktów, za patent uzyskany w Japonii - 16 punktów itp. Natomiast w omawianym instytucie stosowano widełki ocen, np. za publikację jak wyżej - od 30 do 50 punktów. Różnica w podejściu wynika tu z możliwości komisji instytutowej, która, w przeciwieństwie do zespołu KBN, rozważa także jakość artykułów i ustala wewnętrzny ranking wszystkiego, co w danym roku (lub w odpowiednio większym przedziale czasu) z danego instytutu zostało opublikowane np. w czasopismach o IF   1.
     W ocenie osiągnięć efektów gospodarczych działalności badawczo-rozwojowej sama zasada postępowania jest i w KBN i w instytucie niemal taka sama, ale i w tym przypadku postępowanie komisji instytutowej jest bardziej "drobnoziarniste". Za każdy udokumentowany i wykorzystany - poza ocenianą jednostką - wynik praktyczny, gospodarczy lub społeczny prowadzonych prac badawczo-rozwojowych zespół KBN może przyznać do 30 punktów, a dodatkowo, dla całego ocenianego okresu, w zależności od stosunku uzyskanych (z umów na wykonanie bądź sprzedaż wyników prac badawczo-rozwojowych zrealizowanych bez udziału środków z budżetu) przychodów do dotacji na działalność statutową jednostki - jeszcze 30, 60, 90 lub 120 punktów, gdy ten stosunek S zawiera się odpowiednio w przedziałach: 0,25 <S  0,5,  0,5<S  1, 1<S 2  i  S >2. Natomiast komisja instytutowa za każdy przychód spoza budżetu przyznaje pracownikowi  N punktów zgodnie ze wzorem
 

Wzór

gdzie  Z  oznacza sumę uzyskaną ze sprzedaży, 
         D - sumę dotacji budżetu na całą działalność statutową,
         En   - sumę punktów przyznanych wszystkim pracownikom za działalność statutową objętą dotacją z budżetu.

     W powyższym rozważaniu pominięto często stosowane  współczynniki, uwzględniające poprawki do   wynikające z zyskowności pracy i rodzaju jej odbiorcy (nieco wyżej punktowany jest eksport, sprzedaż patentów itp.).
     Największe różnice występują między kryteriami stosowanymi w zespołach KBN i w omawianym instytucie do oceny osiągnięć uzyskanych w działalności badawczo-organizacyjnej i działalności rozwojowej. KBN przyznaje punkty jedynie za wdrożenia międzynarodowych systemów jakości, za uzyskanie i utrzymanie akredytacji laboratoriów oraz za kontrakty podpisane w ramach programów Unii Europejskiej. Może również przyznać premię w wysokości do 20% punktów uzyskanych z pozostałych ocen za liczbę cytowań, nagrody, utrzymywanie bez danych, działalność normalizacyjną, organizowanie konferencji, przestrzeganie zasad etyki w nauce itp. W instytucie natomiast istnieje ściśle określony system punktowania za nagrody (prezydenta, premiera, wystaw, konferencji, konkursów itp.), za pozyskiwanie krajowych i międzynarodowych grantów, organizację konferencji, seminariów, udział w organizacjach naukowych,  a prócz tego za liczbę cytowań, za opracowanie modelu, prototypu oraz wdrożenie do produkcji nowych wyrobów.
Dotychczasowe doświadczenia wskazują na konieczność bardzo ostrożnego podchodzenia do powszechnie stosowanych kryteriów naukometrycznych i na konieczność (opartej na wielu kryteriach) wszechstronności przy dokonywaniu ocen indywidualnych. Typowym przykładem takich problemów może być obserwowana zawodność kryterium liczby cytowań (najliczniejsze bywają cytowania publikacji zawierających błędne wyniki, a także cytowania publikacji niekoniecznie najwartościowszych, ale pisanych jednocześnie przez wielu autorów z różnych środowisk) lub liczby publikacji np. w czasopismach z tzw. listy filadelfijskiej, gdyż często jedno ważne doniesienie ma znacznie większą wartość od kilkunastu "przyczynków". Już na poziomie instytutu ogromne, a zarazem mocno niesprawiedliwe perturbacje mogą wywołać takie czynniki, jak pojawienie się nowej metody, nowego urządzenia czy sformowanie się wieloosobowego, często międzynarodowego zespołu badaczy, działającego przez krótki okres czasu. Można przytoczyć przykłady, gdy wymienione wyżej zjawiska spowodowały prawdziwą lawinę cytowań "znajomych przez znajomych", gdy naukowiec piszący normalnie kilka publikacji rocznie zaczyna uczestniczyć w takim samym czasie w kilkudziesięciu (rekordzista nawet do stu) naukowych doniesieniach. Przy porównywaniu niewielkich zespołów może to doprowadzić do chwilowego "przeinwestowania" jednego zakładu, a jednocześnie do upadku innych. Po trzech, czterech latach sytuacja się odwraca, ale niektóre szkody (zwolnieni pracownicy, zdekapitalizowane urządzenia) mogą już być nie do odrobienia. Na szczeblu instytutu łatwiej tego uniknąć, gdyż spoza systemu liczb widać jeszcze ludzi i istotę problemu. Ze szczebla KBN o takie błędy znacznie łatwiej, zwłaszcza gdy oceniane jednostki nie są na tyle duże, aby w pełni działały prawa wielkich liczb.
     Kończąc można pokusić się jeszcze o diagnozę [9], że choroba polskiej nauki polega przede wszystkim na braku zdrowej, uczciwej konkurencji. O konkurencji nie można mówić bez jasnych, jednoznacznych ocen. Oceny, pomiary wymagają ustalonych wzorców, a w przypadku ich braku - dobrze sprecyzowanych kryteriów porównywania ocenianych wielkości. Oceniający powinien ściśle określić, co z czym porównuje i pod jakim względem. Organizujący proces oceniania powinien zapewnić możliwość porównywania (w tym uniknąć ocen jednostkowych oderwanych od wzorców i niemożliwych do ustawienia w rankingu) i pełną jawność kryteriów, jakimi posługują się oceniający, wraz z napisanymi przez nich uzasadnieniami. Nawet bardzo "zgrubny", a obiektywny pomiar jest lepszy od finezyjnych dywagacji nad jednostkowymi ocenami, z jakimi teraz wciąż jeszcze mamy często do czynienia.

Wykorzystane publikacje:

1. Henryk Samsonowicz, Janusz Sławiński, Lech Szczucki (rada wydawnicza): Krytyka i krytycyzm w nauce. Warszawa 1998.
2. Henryk Samsonowicz, Janusz Sławiński, Lech Szczucki (rada wydawnicza): Lepsze w nauce. Wrocław 2000.
3. Andrzej Hulanicki: Problemy oceny wyników naukowych ibid, s. 15-21.
4. Marian Grabowski: Istotne i nieistotne w nauce, Rolewski, Toruń 1998.
5. Jerzy Pelc: Uwagi na temat oceniania kwalifikacji pracownika nauki oraz instytucji naukowej. Zagadnienia Naukoznawstwa, 1995, nr 3-4, s. 1-9.
6. Jerzy Szacki: O potędze banału, Sprawy Nauki, 1998, nr 5, s. 12.
7. Maria Małgosiewicz rozmawia z Andrzejem Wiszniewskim: Ubóstwo nie wyklucza rozrzutności. Sprawy Nauki, 1999, nr 7-8, s. 5-8.
8. Jarosław Świderski: Ocena wyników naukowych na przykładzie elektroniki. Lepsze w nauce. Wrocław 2000, s. 91-93.
9. Jarosław Świderski: Krytyka jako rodzaj pomiaru. Krytyka i krytycyzm w nauce. Warszawa 1998, s. 82-83.  

Góra
kato.jpg

Zapytaj bibliotekarza

Telewizja UŚ

Więc Jestem. Studencki serwis rozwoju