Wpływ sposobu gromadzenia danych na analizę cytowań


Władysław Kraus
Instytut Katalizy i Fizykochemii Powierzchni PAN, Kraków
Adres poczty elektronicznej jest chroniony przed robotami spamującymi. W przeglądarce musi być włączona obsługa JavaScript, żeby go zobaczyć.
 
 
     Ocena rozwoju i stanu nauki absorbuje grona podejmujących decyzje o prawnych, a przede wszystkim materialnych warunkach jej działania. Poszukuje się wskaźników pozwalających eliminować z procesu oceny miary subiektywne. Próbuje się w tym celu wykorzystać metody i wyniki badań bibliometrycznych. Pojawiają się jednak obawy czy coraz częstszym próbom tego rodzaju towarzyszy rozumienie uwarunkowań i ograniczeń badań bibliometrycznych [1].
     Wybór odpowiedniego zbioru danych i technik bibliometrycznych zależy od rodzaju, zakresu i szczegółowości zamierzonych badań. Podstawą wyboru są opisy bibliograficzne źródeł informacji, które zyskują wartość bibliometryczną o ile spełnią co najmniej dwa warunki: (i) dostarczają dane o strukturze źródeł pisanych oraz (ii) tworzą zbiór zapewniający badaniu reprezentatywność. Odpowiada to założeniu, że podstawę obiegu informacji w nauce stanowią źródła pisane. Jednakże (jak pisał Władysław Tatarkiewicz [2] o wieku XX w Historii filozofii wydanej po raz pierwszy w roku 1931) nowy okres cechowało także odejście od pisemnych form porozumiewania się w nauce, przejście do ustnych, częściowe przesunięcie ciężaru z książek na zjazdy. Była niesłychana ilość zjazdów, międzynarodowych i narodowych, ogólnych i specjalnych. Wszystko to mimo dalszemu wzmożeniu ilości publikacji oraz obraniu kierunku rozwoju ku upodobnieniu sposobu myślenia we wszystkich krajach. Obecnie coraz większe znaczenie zyskuje wymiana informacji za pośrednictwem sieci komputerowych. W tym kontekście wyłania się problem czy względna niewidzialność niektórych rodzajów badań w piśmiennictwie naukowym (powodowana ewentualnie przez ograniczenie zakresu badanych opisów bibliograficznych) stanowi bezpośrednią przeszkodę naukowego postępu (szczególnie jeśli generowane na tej podstawie wskaźniki zostaną użyte do allokacji środków budżetowych przeznaczonych na badania) [1].
     Badania bibliometryczne były zawsze uzależnione od rozwoju narzędzi informatycznych, przede wszystkim systemów rozproszonych baz danych, tworzenia indeksów gromadzonej w nich informacji oraz możliwości dostępu do tzw. pełnotekstowych wersji źródel informacji. Postęp w tym zakresie pozwala na stopniowe uniezależnienie badań bibliometrycznych od ograniczeń narzucanych strukturą dotychczasowych baz danych. Produkowane przez ISI(R) indeksy cytowań są dobrym narzędziem badań bibliometrycznych w odniesieniu do krajów, których piśmiennictwo jest w nich najliczniej reprezentowane; posługiwanie się wyłącznie nimi dla pozostałych krajów może prowadzić do znacznego zniekształcenia wyników.
Najczęstszy błąd stanowi pogląd, iż przyjęcie za podstawę konstrukcji wskaźników oceny np. liczby cytowań lub współczynników wpływu (impact factor IF) jest tożsame z koniecznością mechanicznego korzystania dla ich ustalenia wyłącznie z baz wytwarzanych przez ISI. Wynika to niewątpliwie z faktu, że twórcą wielu takich wskaźników bibliometrycznych był dr Eugene Garfield, który zapoczątkował tworzenie tych baz (od wielu lat przedsiębiorstwo to nie jest jednak jego własnością). Warto przypominać, że z powodu różnych artefaktów mogących wpływać na wartości tych wskaźników zalecał on zawsze korzystanie z nich ze szczególną ostrożnością, a nawet uznawał używanie wskaźników do niektórych celów (np. IF czasopism do ocen pracowników) za nieodpowiednie. Jednocześnie sugerował, że bardziej odpowiednie może być wyznaczanie IF na podstawie dłuższych, pięcioletnich okresów zliczania cytowań oraz ukazywał wiele innych możliwości korzystania z informacji zawartej w systemie baz ISI [3]. W zasadzie nie uznawał mechanicznego korzystania z danych zebranych tak w indeksach cytowań, jak i w raportach JCR(R). Sprawia to, że idee Garfielda nadal zachowują swą wartość i stanowią podstawę wielu ważnych, w tym również polskich badań bibliometrycznych (niezależnie od niedostatków i ograniczeń baz ISI). Z badań nad bibliografiami (których odmianą są indeksy cytowań) wiadomo, że są one zwykle niekompletne, a nawet pomiędzy odnoszącymi się do jednej dyscypliny istnieje duże zróżnicowanie w wyborze źródeł. Poza zawartością rzeczową podstawowe znaczenie dla wyznaczenia odpowiednich wskaźników ma wewnętrzna struktura bibliografii i jej zasięg czasowy (w tym zmienność w czasie zespołu wykorzystywanych źródeł), a zwłaszcza sposoby grupowania materiału i klasyfikacji typów publikacji. W odniesieniu do źródeł polskich można spotkać się z opinią, że nikła reprezentacja polskiego czasopiśmiennictwa naukowego w SCI nie pozwala na szerokie wykorzystanie go przy ocenie rodzimej literatury naukowej. Z drugiej strony, skoro informacja tylko wtedy spełnia swoje zadania, kiedy jest dostępna, wolno dokonać wyróżnienia tych publikacji, którym dano szansę najszerszego zasięgu, w skali krajowej i globalnej, a pozostałe całkowicie lub częściowo szans tych pozbawione - tworzą drugi poziom (tzw. szarej literatury obejmującej m.in. sprawozdania i materiały z kongresów, sympozjów, raporty badawcze, wydawnictwa uczelniane). Nie oznacza to, że kwestionowana czy umniejszana jest ich wartość merytoryczna. Stwierdza się jedynie ich mniejszą (trudniejszą) dostępność, a więc również - ograniczone wykorzystanie. Tym niemniej, podział ten opiera się również na założeniu, iż wydawcy i redaktorzy do rozpowszechniania w najszerszym zasięgu przeznaczają te pozycje, których jakość naukową i znaczenie szacują najwyżej [4]. Problem w tym, że z założenia istotą baz ISI jest [5]: (i) objęcie nimi wszystkich rodzajów źródeł, a nie tylko oryginalnych prac naukowych, artykułów przeglądowych i technicznych notatek lecz również listów, korekt i odwołań publikacji, materiałów redakcyjnych, wiadomości i innych oraz (ii) oparcie powiązań między źródłami (indeksacji) na cytowaniach podanych przez autorów analizowanych źródeł (citing sources). Odmiennie zatem niż w bazach tradycyjnych gdzie indeksacja oparta jest na opisie dokonywanym (często subiektywnie) przez twórców bazy. Ponadto, jak utrzymuje producent baz [6], najbardziej aktualne informacje pojawiają się w czasie konferencji naukowych, których materiały nie są rzeczywiście rozpowszechniane tak jak życzyliby sobie tego naukowcy, a na przekór wszystkiemu żaden przegląd nie będzie wyczerpujący bez objęcia nim materiałów konferencyjnych. Mają temu częściowo zaradzić tworzone przez ISI bazy ISTP(R) i ISSHP(R) (obejmujące około 980 000 prac z 19 100 konferencji) oraz włączenie materiałów niektórych konferencji do indeksów cytowań, a tym samym traktowanie ich w taki sam sposób jak czasopism. Inaczej jest w przypadku JCR podających dane statystyczne na temat materiału objętego indeksami. Obejmują one znacznie mniej źródłowych wydawnictw niż indeksy cytowań, z których się wywodzą; przykładowo, JCR odpowiadający obejmującemu około 8500 citing sources SCI EXPANDED(R) zawiera dane na temat tylko około połowy z nich (4500). Ponadto, jak pisze Garfield [3], o ile ISI koduje manualnie wszystkie materiały źródłowe, to niemożliwe jest odrębne kodowanie 12 milionów cytowań przetwarzanych przez nas corocznie. Stąd, zliczenia cytowań w JCR nie rozróżniają listów do redakcji, przeglądów literatury i prac oryginalnych. Tak więc, jeżeli czasopismo publikuje znaczną liczbę listów, może zwykle dochodzić do okresowego wzrostu liczby cytowań tych listów ... lecz odnotowana łączna liczba cytowań nie brałaby tego artefaktu pod uwagę.
     Ustalenie takich artefaktów jest możliwe po szczegółowej analizie artykuł-po-artykule zawartości samego indeksu. Rodzi to pytanie o rzeczywiste znaczenie sformułowania, że impact factor stanowi miarę częstości, z którą przeciętny artykuł w czasopiśmie był cytowany w określonym roku lub okresie czasu. Podane przez Garfielda [3] wzory sugerują, że w grę wchodzą liczby opublikowanych artykułów i uzyskanych przez nie cytowań. Towarzyszący im opis mówi jednak co innego: impact factor czasopisma oblicza się dzieląc liczbę cytowań w danym roku otrzymanych przez materiały źródłowe opublikowane w czasopiśmie w okresie poprzednich dwu lat (używa się zamiennie określeń materiały >>źródłowe<< lub >>cytowalne<<). Ponadto, w JCR podaje się również dane statystyczne dla tzw. cited-only czasopism, czyli takich, których ISI aktualnie nie indeksuje. W odróżnieniu od citing sources nie obejmują one samocytowań czasopism (bo publikowane w nich artykuły nie są analizowane); tym samym aby porównywać wartości IF czasopism obu grup trzeba pomniejszyć liczby cytowań citing sources. Problem jest tym bardziej istotny jako, że bezpośredni dostęp do indeksów ISI umożliwia ustalenie liczb cytowań wielokrotnie większej liczby czasopism niż obejmują JCR (dotyczy to zwłaszcza krajów, których piśmiennictwo jest w niewielkim stopniu objęte citing sources), a tym samym obliczenie ich IF - tzw. cited IF bezpośrednio z takich zliczeń, a total IF po ustaleniu liczby materiałów >>cytowalnych<< opublikowanych w czasopiśmie, które będzie miało status źródła cited-only. Prowadzenie porównań różnych grup czasopism jest jednak utrudnione ze względu na znaczne zróżnicowanie stopnia samocytowań oraz właściwości miar intensywnych, do których należą IF. Problem ten komplikuje się jeszcze bardziej przy próbach porównań grup autorów na różnych poziomach; w tym przypadku bowiem samocytowania przynależą do różnych czasopism i w zasadzie jedyną metodą ich eliminacji jest analiza artykuł-po-artykule wchodzących w grę zespołów źródeł.
     W przedstawianej pracy zebrano przykłady takich analiz podjętych w celu ustalenia stopnia realizacji podawanych założeń o strukturze informacji w dostępnych wersjach baz ISI, możliwej skali wymienianych zjawisk oraz możliwości znacznie szerszego wykorzystania zawartości tych baz w ocenie powiązań polskiego piśmiennictwa z globalnym obiegiem informacji. Praca obejmuje również przykład analizy jak przyjęte sposoby zliczeń mogą wpływać na wyniki lub zostać wykorzystane do analizy zachowań indywidualnych autorów.
     Analizie poddano m.in. cytowania w roku 2000 materiałów opublikowanych w Nature w latach 1998 i 1999; kręgu cytowań po roku 1989 podstawowych doniesień o tzw. zimnej fuzji; cytowań wybranych polskich czasopism spoza citing sources od roku 1996 (w tym oszacowanie ich IF); zmiany zespołu citing sources i wartości IF czasopism chemicznych po roku 1992; rozkłady wartości IF innych grup dyscyplin oraz analizę cytowań w roku 2000 prac klas cited-only oraz citing sources (opublikowanych od roku 1962 i odnotowanych w SCI EXPANDED(R)) dla wybranej instytucji. Analizy ogólne przeprowadzono w celu wyboru sposobów gromadzenia i oceny wyników ostatniej z wymienionych.
Najbardziej istotne są wnioski z analizy cytowań Nature, traktowanego często jako jedno z kluczowych czasopism (innym jest Science) - reagujących szybko na wszystkie wydarzenia w nauce. Okazało się przede wszystkim, że przypisywanie źródeł do określonych lat odbywa się w zależności od czasu ich wprowadzania do bazy, a nie podanej daty ich publikacji; w efekcie około 10% cytowań przypisano do innych lat, dalszych 5,5% nie można było przypisać do prac opublikowanych w danym okresie. Drukowane w Nature materiały kwalifikowane przez wytwórcę bazy jako >>artykuły<< (~63%) przyniosły około 74% cytowań do opublikowanych wcześniej prac; pozostałe 26% (w liczbie blisko 17 000) pochodziło od materiałów, które nie są brane pod uwagę przy szacowaniu IF. Z kolei te same >>artykuły<< ( cytowano ponad 91% z nich) uzyskały ponad 86% cytowań, które w badanym okresie odnotowano do Nature. Poziom IF przypisywanych Nature w poprzednich latach wskazuje, że oblicza się go na podstawie liczby wszystkich odnotowanych cytowań i tylko liczby >>artykułów<<. Bliższa analiza pokazała jednak, że wytwórca bazy kwalifikuje jako >>artykuły<< nieco inne materiały niż się ogólnie sądzi (dość powiedzieć, że według niego pisma drukujące niemal wyłącznie listy do redakcji, takie jak Tetrahedron Letters, zawierają praktycznie tylko >>artykuły<<).
     Oczywiste stało się, że podstawą analiz powinna być informacja dotycząca wybranych zespołów materiałów (z pominięciem ich kwalifikacji proponowanej przez wytwórcę baz) ustalona na podstawie SCI EXPANDED(R). Pozwoliło to na precyzyjne przypisanie tak czasu publikacji jak i okresów ich cytowania z jednoczesną minimalizacją wpływu błędów cytowań oraz sprawdzenie różnych procedur zliczeń, a zwłaszcza eliminacji samocytowań. Odpowiada to wnioskom z doświadczeń belgijskich (Flandria) [7] i holenderskich [8], gdzie próby konstrukcji odpowiednich wskaźników trwają od kilkunastu lat. Jak oceniono [7] konstrukcja takich instrumentów okazała się być złożonym problemem. Jednakże, trzeba nadmienić, że dane bibliograficzne brane z SCI nie zawsze nadawały się do badań bibliometrycznych i dotychczas wymagały znaczącego "czyszczenia". Ponadto, baza danych powinna być stale odnawiana na podstawie najnowszych wersji indeksów cytowań i poszerzana o dane z innych bibliograficznych baz danych aby stała się odpowiednia do badań ilościowych. Podobny sposób postępowania do wybranej jednostki dał rozkład cytowań prac (współ)autorstwa jej pracowników zadziwiająco zgodny z prezentowanym w pracy o fraktalnym zróżnicowaniu nauki [9] (także w innych wymienionych analizach obserwowano zależności typowe dla praw potęgowych). Przemawia to za postrzeganiem nauki jako złożonego, samoorganizującego się systemu, o rozwoju którego decydują bardzo liczne pod-systemy zapoczątkowane względnie małymi odkryciami. W modelu takim, w zasadzie przeczącym poglądowi T.S. Kuhna o uzależnieniu rozwoju nauki od zmiany panującego paradygmatu wymuszonej narastaniem zasobu informacji, a bliższym wizji epicykli J. Lederberga, trudno zakładać istnienie uniwersalnego wskaźnika, który byłby w stanie rozwój ten ocenić lub prognozować, zwłaszcza w krótkim okresie czasu. W przypadku wybranej jednostki, dla której rolę takich pod-systemów spełniają jej kolejni pracownicy, okazało się ponadto, że zmiany sposobu zliczania lub zaliczania cytowań (z tego samego ich zbioru) prowadzą do przewidywanego teoretycznie, dowolnego uszeregowania autorów, zależnego jedynie od wybranej procedury.
Trudno się zatem nie zgodzić z autorką jednej z polskich prac [4], że traktowanie analizy cytowań dokonywanej na podstawie indeksów cytowań jako głównej, a niekiedy jedynej metody badawczej (w dodatku bez stosownego "oczyszczenia" przejmowanych z nich danych) stanowi ujęcie ograniczone, bez możliwości uzyskania kompleksowego i integralnego obrazu. Powinno się zatem nieprzerwanie wskazywać na korzyści i niedostatki takich metod oraz warunki ich prawidłowego stosowania. Ponadto, w sytuacji budżetowego niedostatku kiedy politycy i administratorzy muszą dokonać wyboru wskaźniki bibliometryczne są łatwo dostępne i wydają się być równie łatwe w stosowaniu. Ostrzega się zatem, że biurokracja i decydenci z zakresu R&D (badań i rozwoju) mogą przedkładać bibliometrię nad ocenami naukowych gremiów, co może naruszyć de facto autonomię nauki [10]. Póki co, mówi się [1], że pewne niepożądane efekty wykorzystywania takich wskaźników są w większości anegdotyczne ...ale liczba przypadków, w których donosi się o negatywnych efektach stale rośnie, ...co samo przez się wymaga uwagi. Na dłuższą metę bowiem może to zaszkodzić nie tylko pewnym naukom (głównie technicznym) ale także naruszyć reputację naukometrii.

Literatura:
[1] Jansz M.C.N. (2000). Some thoughts on the interaction between scientometrics and science and technology policy. Scientometrics 47, 253-264.
[2] Tatarkiewicz W. (1958). Historia filozofii, t. III, wyd. V. PWN Warszawa, s. 259.
[3] Garfield E. (1994). The impact factor. Current Contents, nr datowany 20 czerwca.
[4] Skalska-Zlat M. (1993). Bibliometryczne badania rozwoju dyscypliny naukowej. Acta Universitas Wratislaviensis No 1485 (Bibliotekoznawstwo XVII), s. 25-35.
[5] Garfield E. (1994). The concept of citation indexing: a unique and innovative tool for navigating the research literature. Current Contents, nr datowany 03 stycznia.
[6] Atkins H. i Gillock M.R. (1995). Proceedings literature: your link to current research. Current Contents, nr datowany 22 maja.
[7] Luwel M. (2000). A bibliometric profile of Flemish research in natural, life and technical sciences. Scientometrics 47, 281-302.
[8] Rinia E.J. (2000). Scientometric studies and their role in research policy of two research councils in the Netherlands. Scientometrics 47, 363-378.
[9] van Raan A.F.J. (2000). On growth, ageing and fractal differentiation of science. Scientometrics 47, 347-362.
[10] Skoie H. (1999). Bibliometrics - some warnings from the north. Scientometrics 45, 433-437
Góra
s2.jpg

Zapytaj bibliotekarza

Telewizja UŚ

Więc Jestem. Studencki serwis rozwoju