Parametryczny system oceny jednostek naukowych przez KBN: prognozy i postulaty w kontekście analiz naukometrycznych


Prof. dr hab. Grzegorz Racki
Biblioteka Uniwersytetu Śląskiego
Katowice


     Parametryczny system oceny (i finansowania) działalności jednostek badawczych przez Komitet Badań Naukowych stał się trzech lat podstawowym narzędziem polityki naukowej państwa. Nietrudno przewidzieć jego dalsze modyfikacje, ale należy też wskazywać pożądany kierunek zmian. W artykule poruszone zostaną – w kontekście przykładowych analiz naukometrycznych - dwie podstawowe kwestie dla przyszłości systemu parametrycznego: (1) możliwość jego zasadniczego uproszczenia, oraz (2) celowość i zakres wykorzystania wskaźnika wpływu (“siły przebicia”) czasopism (Impact Factor; IF) jako miary a priori jakości prac naukowych. Skrócona wersja artykułu będzie opublikowana w “Sprawach Nauki”.

Jak zwiększyć stymulująca rolę systemu parametrycznego?

     Relatywnie mało skomplikowany system oceny merytorycznej przez KBN preferuje publikacje w renomowanych czasopismach i wydawnictwach, wyniki kształcenia i rozwoju kadry naukowej oraz wyniki działalności innowacyjnej jednostki. Już w modyfikacjach zasad ramowych i szczegółowych w 2001 r. zauważyć można jednak jego ewolucję przez dodawanie kolejnych elementów aktywności naukowej. Nie trudno też przewidywać dalsze rozszerzanie skali punktowej oraz precyzowanie kryteriów - również w ujęciu ilościowym. W przypadku najbardziej mnie interesującego Zespołu Nauk Biologicznych, Nauk o Ziemi i Ochrony Środowiska (PO4), przejawia się to, między innymi, w:
- dodatkowym podziale czasopism z listy filadelfijskiej na 4 (poprzednio 3) kategorie;
- ilościowym sprecyzowaniu pojęcia wydawnictw o znaczeniu lokalnym;
-uwzględnieniu redakcji monografii i podręczników akademickich, jak też praktycznego wykorzystania wyników  badań naukowych  i  prac rozwojowych, w tym przyznawaniu punktowej premii, sięgającej aż 120 punktów, za zrealizowanie prac bez udziału środków z budżetu nauki.
     Profesor Ł. Turski w wywiadzie dla “Rzeczpospolitej” (nr 295 z 18 grudnia 1999), dopatrując się związku procesu psucia się obyczajów w nauce z przedmiotowym finansowaniem nauki, stwierdza: Jeśli zdarza mi się być w jakiejś komisji oceniającej gdzieś w świecie, dostajemy od kandydatów nie więcej niż pięć najważniejszych prac [podkreślenie moje - GR]  z całego życia (...). I dalej: Dojrzali uczeni powinni mieć możliwość prowadzenia badań bez stawania do wyścigu o pieniądze. Jeżeli kogoś zrobiono profesorem, bo był dobry w jakiejś dziedzinie, powinno mu się płacić za to, że jest dobry, oczekując, iż nadal będzie uzyskiwał znaczące wyniki i kształcił następców.
     Wychodząc z powyższych uwag prof. Turskiego oraz 10-letnich doświadczeń Wydziału Nauk o Ziemi (WNoZ) Uniwersytetu Śląskiego, można sugerować, iż stymulująca rola systemu parametrycznego powinna wrosnąć wtedy gdy będzie on znacznie mniej skomplikowany i ograniczony do oceny tylko najwybitniejszych osiągnięć naukowych. Stosowany od 1992 r. sposób ewaluacji dorobku katedr WNoZ UŚ jako podstawy do podziału funduszy na badania statutowe też ulegał stopniowej rozbudowie i obejmował do niedawna dziewięć składników (Tabela 1), a przydzielana kwota odpowiadała procentowemu udziałowi zespołu w sumarycznym dorobku wydziału (por. też Racki 1995). Był więc absolutnie wszechstronny i “sprawiedliwy”, ale potrzeba jego weryfikacji stawała się ewidentna - choćby ze względu na żmudny proces przygotowania i komisyjnej weryfikacji sprawozdań-wniosków.
     Każde ograniczanie zakresu oceny działalności  naukowej spotyka się z zarzutem o tendencyjność. Te teoretyczne dylematy rozstrzygali już dawno praktycy-menadżerowie (nie tylko) polskiej nauki, mający znaczące osiągnięcia w postaci rozwoju kierowanych przez nich placówek. Na przykład, prof. J. Vetulani (1995) twierdzi że w takich sytuacjach chodzi wyłącznie o arbitralne promowanie wysokiej aktywności naukowej przez odpowiednią politykę rozdziału środków na badania ponieważ uzyskanie zgody na to, co oznacza system sprawiedliwy okazało się niemożliwe. Z kolei prof. L. Piela (1995), pisząc o dziesiątkach możliwych wskaźników oceny, stwierdza: (...) chęć wykorzystania tych parametrów rodzi (...) naturalną tendencję do wykorzystania ich wszystkich, gdyż inaczej byłoby to “niesprawiedliwe". Pojawiają się przykłady jawnej niesprawiedliwości i niezliczone propozycje włączania coraz to nowych parametrów do coraz bardziej skomplikowanych formuł. Ów syndrom ewaluacji sprawiedliwej prowadzi w końcu do bezradności przy próbie obiektywnej oceny. Statystycznie udowadniono natomiast że mierniki aktywności naukowej są od siebie na ogół liniowo współzależne, a zatem wystarczy brać pod uwagę jeden możliwie kumulatywny wskaźnik udziału w międzynarodowym obiegu informacji (np. sumaryczny IF). Rzeczywiście: czy ktoś, kto nie jest znany w świecie z wartościowych publikacji, może być często cytowany, zapraszany na konferencje i wykłady, wybierany do międzynarodowych komitetów redakcyjnych i towarzystw czy wreszcie otrzymywać granty?
     Zastosowanie wskaźnika IF, sprawdzające się - zdaniem prof. Pieli - w chemii, w realiach WNoZ UŚ skazałoby na finansowy niebyt 3 zespoły. Należy bowiem pamietać, że profil badań w naukach o Ziemi jest rozległy i charakter aktywności publikacyjnej jest różny. W ogóle, porównywanie wartości IF czasopism z kręgu różnych subdyscyplin, np. geofizyki z geografią społeczną, wymagałoby dodatkowej standaryzacji. W tej sytuacjii przeprowadziłem symulację w oparciu o istniejący schemat oceny, ale stopniowo ograniczając liczbę składników branych pod uwagę (Tabela 1). Okazuje się, zgodnie z oczekiwaniami, że nawet ocena na podstawie dwóch najbardziej znaczących elementów (z grupy A - rozwoju kadrowego i recenzowanych publikacji) dla większości katedr jest w zasadzie bez znaczenia, a tylko w dwóch skrajnych przypadkch zmienia wielkość przydzielanych środków o maksymalnie 14,5%. W roku 2001, zgodnie z preferencjami systemu KBN-owskiego, oceniany zestaw elementów ograniczono zatem do dwóch nierównoważnych kategorii, a na podstawie awansów i recenzowanych publikacji, a więc kryteriów ściśle mieszczących się w ocenie szczegółowej przez KBN, rozdziela się 75 % środków. 
Postanowiłem jednak jeszcze sprawdzić skutki maksymalnie uproszczonego, trójskładnikowego systemu parametryzacji, który hasłowo nazywam “wizytówkowym”. Dla każdego zespołu badawczego taką wizytówką jego aktywności są (1) rozwój kadrowy oraz najbardziej wybitne publikacje, zarówno te dowodzące (2) aktualnej aktywności badawczej, jak i te, których wartość pozytywnie zweryfikowała społeczność światowa poprzez (3) wskaźniki cytowań; za wadę KBN-owskiego systemu finansowania uważam to iż ogranicza się do gratyfikacji bieżących wyników, a zupełnie pomija ten kompleksowy aspekt międzynarodowej renomy dorobku badawczego. Wynik symulacji, nawiązującej do zasad ustalania kategorii efektywności naukowej KBN (liczba punktów parametrycznych na 1 pracownika), wskazuje że dla siedmiu z dziesięciu katedr WNoZ UŚ oba sposoby ewaluacji dają identyczne wyniki (Tabela 2). Tylko dla jednego zespołu różnica ta ma podstawowe znaczenie (awans z III do I kategorii).

Prognostyczny walor wskaźnika IF

     Zasadniczą rolę w dyskusji nad ocenami z zakresu nauk przyrodniczych odgrywa kontrowersyjny bibliometryczny wskaźnik IF (patrz np. Seglen 1994, Piela 1995, Jędrzejczak 1997, Żylicz 1999, Amin i Mabe 2000, Garfield 2000, Wróblewski 2001), wykorzystywany w różny sposób przez 5 zespołów KBN (P04 do P06, T09 i T11). Warto w tym kontekście przytoczyć obecny pogląd E. Garfielda (2000), twórcy indeksów cytowań ISI (patrz: www.garfield.library.upenn.edu/pub.html): Użycie IF do wyznaczenia wpływu pracy jest równoznaczne z przepowiadaniem (prediction); i dalej: nie jest to doskonałe narzędzie do pomiaru jakości artykułów ale nie ma nic lepszego (...). Doświadczenie pokazało, że w każdej specjalności najlepsze czasopisma to te w których artykuł jest najtrudniej akceptowany i te czasopisma mają wysoki IF. Czasopisma takie powstały długo przed tym nim IF został wymyślony. Stosowanie IF jako miary jakości jest dlatego powszechne gdyż zgadza się ono dobrze z opinią (...) które czasopisma są najlepsze w naszej specjalności.
     Postanowiłem sprawdzić jego prognostyczny walor w praktyce KBN-owskiej. Wykonałem zatem statystyczny test hipotetycznych decyzji Zespołu P04 z 1994 r., porównując rzeczywiste liczby cytowań publikacji (wraz samocytowaniami) z IF czasopism z okresu opublikowania pracy. Przedmiotem analizy był zbiór polskich artykułów z zakresu nauk o Ziemi za lata 1989-1994. Aktualne liczby powołań dla 378 artykułów porównywano nie tylko z IF z lat 1992 i 1994, ale i z parametrycznym wymiarem czterech kategorii czasopism, wyróżnianych przez Zespół P04 na podstawie kwartylowego podziału list rankingowych według IF (odpowiednio 6, 11, 16 i 21 pkt.; dla Science i Nature – 24 pkt.). W zbiorze tych prac, tylko 79 zostało szerzej wykorzystane w innych publikacjach (ponad 10 cytowań, maksymalnie 92), a z kolei 67 z nich pozostało zupełnie niezauważonych (= nie zacytowanych) mimo iż ukazały się średnio 10 lat temu (Rys. 1). Należy dodać, że literatura w naukach o Ziemi cytowana jest ze znacznym opóźnieniem, nierzadko w skali dziesięcioleci (por. Racki 2000).
     Współczynniki korelacji liczby cytowań z wartościami IF, jak też kategorii czasopism i umownych kategorii cytowań (na podstawie mediany) nie są zbyt duże - nie przekraczają 0,5 dla okresów 4-letnich, jakie przyjął KBN w systemie parametrycznym (Tabela 3). Zgadza się to z wynikami podobnych badań dla psychologii (Amin i Mabe 2000) i biomedycyny (Seglen 1994), choć z kolei taką liniową współzależność na poziomie instytucji z kręgu biologii molekularnej wykazał prof. M. Żylicz (1999). Korelacja wzrasta jednak z długością okresu oceny. Co ciekawe, dotyczy to nawet skali 6-lecia 1989-1994: na przykład, współczynnik korelacji IF1994 z cytowaniami prac z 1994 i 1993 r. wynosi odpowiednio 0,24 i 0,21, a z pracami z 1990 i 1989 r. - 0,66 i 0,58.
     Ważniejsze jednak z praktycznego punktu widzenia jest to iż statystycznie istotne różnice wykazują rozkłady cytowań dla czasopism różnych kategorii. Wskaźniki korelacji w obrębie tego podzbioru dla kategorii czasopism i cytowań pozostają wciąż na poziomie 0,5-0,6 (maksymalnie 0,73), ale wartość mediany dla periodyków I kategorii wynosi 5,5, a dla IV - tylko 1 (Rys. 2). Potwierdza się zatem stara prawda, że dużo łatwiej o sukces w ostrej konkurencji w “zauważaniu” przez innych badaczy (competition for attention w rozumieniu G. Francka 1999) wtedy gdy publikujemy w najbardziej klasowych czasopismach o najwyższych IF. Nie stwierdzono natomiast sensu wyróżniania dwóch kategorii pośrednich, gdyż w analizowanym przypadku publikacje z czasopism III kategorii plasowały się wyżej niż te z kategorii wyższej.
     Tak więc prognostyczna wartość bezwzględnego wymiaru IF nie jest duża, choć takie założenie przyjmują inne zespoły KBN, a szczególnie Zespół Nauk Medycznych P05 (19 kategorii wg IF: 6 pkt. za publikacje w czasopismie o zerowym IF, 7 za IF = 0,001-0,5, itd). Nie przeczy to jednak wykorzystaniu IF poprzez jakościowe pogrupowanie czasopism w obrębie poszczególnych subdyscyplin i pól badawczych, co oddaje ich specyfikę uwidocznioną w zakresie zmienności tego wspólczynnika. Dla przykładu: gdyby zespół P04 podejmował decyzje w 1994 r. w oparciu o obecne zasady, to w przypadku 12,5% ewidentnie przeceniłby rangę publikacji w periodykach I kategorii (dotąd nie cytowanych). Tej samej klasy błąd dotyczy zaledwie 5,7% artykułów z czasopism IV kategorii, których wysoki poziom potwierdza ponad 10 cytowań. W ogólniejszym ujęciu: 2/3 publikacji w najwyżej punktowanych periodykach to prace wybijące się ponad przeciętność (4 i więcej cytowania), a prawie 72 % artykułów z czasopism najniżej ocenianych to prace w zasadzie niezauważone w świecie (najwyżej 2 cytowania). Tak więc poziom nietrafnych decyzji nie byłby znaczący w kontekście późniejszych sukcesów i porażek publikacji w międzynarodowym obiegu informacji, choć łatwiej przewidywać te pierwsze (Rys. 2).

Wnioski końcowe

     Parametryczny system oceny i finansowania działalności jednostek badawczych przez KBN staje się coraz bardziej skomplikowany wskutek uwzględniania kolejnych elementów aktywności naukowej, dalszego rozszerzania skali punktowej oraz ustawicznego precyzowania kryteriów. Jak wykazano jednak na przykładzie dorobku Wydziału Nauk o Ziemi UŚ, jego nawet skrajne upraszczanie nie ma większego wpływu na końcowe wyniki. Potwierdza to doświadczenia z innych instytucji i dziedzin nauki w Polsce (Piela 1995, Żylicz 1999). Pożądany kierunek ewolucji systemu parametrycznego to coraz bardziej syntetyczna wycena wybranych, jednoznacznie zdefiniowanych elementów aktywności naukowej, dokumentujących pozycję dorobku jednostki badawczej na tle nauki polskiej i światowej: awanse naukowe, wybitne prace z punktu widzenia ewaluacji a priori i a posteriori. Powinno to wybitnie podnieść stymulującą rolę systemu parametrycznego pod warunkiem jego wieloletniego i konsekwentnego stosowania (por. Piela 1995). Jak podkreśłał prof. J. Vetulani (1995), system oceny i roździału środków powinien być na tyle jawny, prosty i stabilny, by skutecznie promować zwiększenie aktywności naukowej. Wprowadzenie listy 10 najlepszych prac jednostki do oceny ogólnej przez zespół P04 jest właśnie małym krokiem w tym kierunku.
Statystyczny test prognostycznego waloru wskaźnika wpływu czasopism IF na podstawie zbioru polskich publikacji z zakresu nauk o Ziemi z lat 1989-1993 potwierdził, że jego ostrożne stosowanie w ocenie a priori publikacji naukowych jest w dużej mierze uzasadnione. Wskaźnik ten - po generalizacji w postaci kategorii czasopism na podstawie IF dla poszczególnych dyscyplin - może zatem być ważnym elementem syntetycznej oceny parametrycznej bieżącej wydajności publikacyjnej.

Bibliografia

1. Amin M., Mabe M. [2000]: Impact factors: use and abuse. “Perspectives in Publishing” nr 1, s. 1-6.
2. Fava G.A., Ottolini F. [2000]: Impact Factors versus actual citations. “Psychotherapy and Psychosomatics” t. 69, s. 285-286.
3. Franck G. [1999]: Scientific communication - a vanity fair? “Science” nr 286, s. 53, 55.
 4. Garfield E. [2000]: Use of Journal Citation Reports and Journal Performance Indicators in measuring short and long term journal impact. “Croatian Medical Journal” t. 4, nr 4, s. 368-374.
5. Jędrzejczak W.W. [1997]: Nauka i pieniądze. “Gazeta Lekarska” nr 5, s. 1-7.
6. Piela L. [1995]: Jak mierzyć osiągnięcia placówek naukowych? “Zagadnienia Naukoznawstwa” t. 31, nr 3-4, s. 147-157.
7. Racki G. [1995]: Z doświadczeń ilościowej oceny zespołów badawczych w naukach o Ziemi. “Zagadnienia Naukoznawstwa” t. 31, nr 3-4, s. 171-178.
8. Racki G. [1997]: Ranking polskich periodyków geologicznych. “Przeglad Geologiczny” nr 2, s. 161-166.
8. Seglen P.O. [1994]:  Causal relationship between article citedness and journal impact. “Journal of the American  Information Science” t. 45, nr 1, s. 1-11
10. Vetulani J. [1995]: System rozdziału środków na działalność statutową w Instytucie Farmakologii PAN w Krakowie: próba promowania wysokiej aktywności naukowej. “Zagadnienia Naukoznawstwa” t. 31, nr 3-4, s. 193-195.
11. Wróblewski A.K. [2001]: Bibliometryczne nieporozumienia. “Forum Akademickie” nr 9 (97), s. 40-44.
12. Żylicz M. [1999]: Biologia molekularna w Polsce. “Sprawy Nauki” nr 2 (46), s. 15-18.
 

 

KATEDRA

0,7A

+ 0,2B

+ 0,1C

 

0,75A + 0,25B

 

A

A

5,6

5,9

7,3

B

12,9

11,1 (- 13,8%)*

12,8

C

3,4

3,5

3,3

D

16,7

16,8

17,7

E

3,5

3,8

2,2

F

20,3

21,5

20,1

G

14,0

14,8

15,0

H

6,9

6,6

6,5

I

6,9

5,9 (-14,5%)*

6,4

J

9,8

10,4

8,7


Tabela 1. Symulacja róźnych algorytmów podziału dotacji na działalność statutową (w %) dla jednostek Wydziału Nauk o Ziemi UŚ w 2000 r.
*Przypadki największych różnic między rozbudowanym systemem z 2000 r. a uproszczonym systemem zastosowanym od 2001 r.

A: awanse na stopnie i tytuł naukowy (I), publikacje recenzowane, punktowane przez KBN (II);
B: pozostałe publikacje, skrypty i prace popularnonaukowe (III), udział w międzynarodowym obiegu informacji (cytowania w SCI i SSCI oraz indeksowania w międzynarodowych bazach danych; IV), granty (V);
C: organizacja  konferencji (VI), prace redakcyjne (VII), funkcje z wyboru (VIII) i promotorstwo prac doktorskich (IX).
[I i IV - ocena za ostatnie 5 lat, pozostałe - za 3 lata]

 

KATEDRA

EFEKTYWNOŚĆ

System System

obecny | W

KATEGORIA

System System

obecny | W

A

0,37

0,50

IV

IV

B

0,65

0,64

III

III

C

1,70

2,25

I

I

D

1,39

1,04

I

II

E

0,58

1,43

III

I

F

1,02

0,85

II

II

G

0,74

0,67

III

III

H

0,46

0,53

IV

IV

I

0,99

0,70

II

III

J

0,98

1,15

II

II


 Tabela 2. Porównanie - w kategoriach efektywności badawczej- skrajnie różnych systemów podziału dotacji na działalność statutową dla jednostek Wydziału Nauk o Ziemi UŚ w 2000 r.

SYSTEM OBECNY: 0,7A + 0,2B + 0,1C
SYSTEM W (“wizytówki” dorobku katedry): 0,4AI + 0,4AIIW+ 0,2BIVW
AI: awanse na stopnie i tytuł; AIIW: 10 najważniejszych publikacji; BIVW: cytowania 3 najbardziej znanych publikacji.

 

 

Zbiór prac

(n - liczba artykułów)

 

Współczynnik relacji r między cytowaniami

a IF 1992

Współczynnik korelacji r między kategoriami: cytowań* i czasopism

wg IF 1992

 

Współczynnik korelacji r między cytowaniami

a IF 1994

Współczynnik korelacji r między między kategoriami: cytowań* i czasopism

wg IF 1994

Wszystkie prace
1989-1992
(n = 213)

 

0,48

 

0,48

 

0,47

 

0,44

Wszystkie prace
1991-1994
(n = 261)

 

0,34

 

0,39

 

0,29

 

0,31

Prace z czasopism I i IV kategorii
1989-1992
(n = 90)

 

0,63

 

0,73

 

0,62

 

0,56

Prace z czasopism I i IV kategorii
1991-1994
(n = 115)

 

0,40

 

0,55

 

0,40

 

0,49

*Kategorie cytowań w odniesieniu do wartości mediany (m =3): I* - 24 pkt. (>50 cytowań), I - 21 pkt.(10-49), II - 16 pkt. ( <3m; 4-9), III - 11 pkt. (m), IV - 6 pkt. (<m).

Rys. 1. Cytowania (do końca X. 2001) polskich prac z dziedziny nauk o Ziemi z lat 1989-1994 (na podstawie National Citation Report - Poland 1999 i SCI Expanded; n - liczba arykułów, m – mediana.)

Rys. 2. Cytowania polskich prac z dziedziny nauk o Ziemi, opublikowanch w czasopismach skrajnie różnych kategorii według definicji KBN w latach 1989-1994 (por. Rys. 1).

Streszczenie

     Parametryczny system oceny i finansowania działalności jednostek badawczych przez Komitet Badań Naukowych staje się coraz bardziej skomplikowany wskutek uwzględniania kolejnych elementów aktywności naukowej, dalszego rozszerzania skali punktowej oraz ustawicznego precyzowania kryteriów - również w ujęciu ilościowym. Jak wykazano na przykładzie dorobku Wydziału Nauk o Ziemi UŚ, jego upraszczanie nie ma większego wpływu na końcowe wyniki. Pożądany kierunek ewolucji systemu parametrycznego to coraz bardziej syntetyczna wycena wybranych elementów aktywności naukowej, dokumentujących pozycję dorobku w nauce polskiej i światowej. Statystyczny test prognostycznego waloru wskaźnika wpływu czasopism IF na podstawie cytowań zbioru polskich publikacji z zakresu nauk o Ziemi z lat 1989-1993 wykazał, że jego ostrożne wykorzystanie w ocenie a priori publikacji naukowych jest uzasadnione. Ten kumulatywny wskaźnik - po generalizacji w postaci kategorii czasopism na podstawie IF dla poszczególnych dyscyplin - może zatem być ważnym elementem bieżącej oceny syntetycznej.

Summary

     The State Committee for Scientific Research (KBN) introduced an objective critical evaluation of the scientific status of Polish research institutions (mostly based on number and quality of papers published, and number of awarded scientific degrees) that determined level of their financial support. This parameter point system becomes more and more complicated due to incorporation of additional elements of scientific activity, expanding point scale and more detailed accuracy of the criteria, also their quantitative definitions. However, as exemplified by recent scientific production of Department of Earth Sciences, Silesian University, even far more simplified, selective approach resulted in very similar ranking of research groups. Thus, an appropriate evolution of the KBN’s system should be toward more synoptic determination limited to the most significant research out-put effects in the context of the World and Polish science. The relationship between article citedness and journal impact factor was investigated on the basis of Polish publication set (378 articles) in Earth Sciences from 1989-1994. This statistical test revealed that a careful use of the journal impact as a predictive tool in a priori qualification of publications is reasonable. This cumulative parameter, especially when generalised in terms of journal categories for particular scientific fields, may be therefore meaningfully applied to the integrated current evaluation.

Góra
varia 26.jpg

Zapytaj bibliotekarza

Telewizja UŚ

Więc Jestem. Studencki serwis rozwoju