|
W 1992 roku Komitet Badań Naukowych wprowadził nowy system oceny dorobku naukowego jednostek naukowych. W parametrycznej ocenie poza ilością liczy się "jakość."
Największą liczbę punktów przyznaje się za prace opublikowane w czasopismach posiadających najwyższy wskaźnik impact factor. Wysoko punktowane są publikacje w czasopismach recenzowanych oraz rejestrowanych w światowych bazach danych. Ważne są także monografie i rozdziały w książkach naukowych. Punkty przyznawane są również za artykuły w czasopismach polskich, które są objęte listą KBN.
Większość bibliotek akademii medycznych jest angażowana do sporządzania "Oceny parametrycznej jednostki naukowej" oraz "Ankiety jednostki naukowej." Uważam, że bibliotekarze są przygotowani merytorycznie do opracowywania zestawień bibliometrycznych. Wszak bibliometria jest traktowana jako subdyscyplina informacji naukowej. Z pewnością w stosunku do pracowników działu nauki czy dziekanatów posiadamy większą wiedzę na temat wskaźnika impact factor, światowych baz danych, odróżniamy powołania od cytowań itp.
Sprawozdanie do KBN jest jednak utrapieniem dla bibliotek. Powodów jest wiele:
- kryteria przedstawione w "Szczegółowych zasadach oceny parametrycznej jednostek naukowych" opracowane przez Zespół P05 były kilkakrotnie zmieniane w trakcie sporządzania sprawozdania
- dodawano nowe punkty do opracowania
- z niejasnych powodów żądano podania wskaźnika IF z 1999 dla publikacji z lat 1997-2000
- pola w zestawieniach tabelarycznych "Oceny parametrycznej" i "Ankiety jednostki" są inaczej zdefiniowane, co uniemożliwia wykorzystanie modułu KBN w programie Expertus do obu sprawozdań
Poważnym problemem jest niezrozumienie władz uczelni, że profesjonalne przygotowanie takich sprawozdań wymaga wiele czasu.
Uważam, że tworzenie bibliometrycznych zestawień do KBN może być pewną szansą dla bibliotek, pod warunkiem umiejętnej promocji pracowników i ich wkładu w osiągniętą kategorię.
Wszak, aby otrzymać I kategorię w KBN nie wystarczy opublikować wiele dobrych prac, ktoś jeszcze musi je zarejestrować, opracować i odpowiednio zestawić.
Mimo istnienia wielu różnorodnych sposobów oceniania naukowców i zespołów badawczych, nieprzerwanie trwają poszukiwania nowych metod ich oceny. Tradycyjne metody oceny dorobku naukowego opierały się na jakościowych, opisowych opiniach specjalistów- uczonych pracujących w tej samej dziedzinie, co oceniany. Budziło to wiele kontrowersji. Ocenie jakościowej zarzucano brak jasnych zasad, zaś oceniającym subiektywizm, nierzetelność, a często i niekompetencję.
Nie będzie oczywiście odkrywcze, jeżeli stwierdzę, że nauka, uprawianie nauki, że tak się nieładnie wyrażę, wymagają potężnych nakładów finansowych. Wysokie koszty badań naukowych, pochłaniające znaczną część budżetów państw, spowodowały, że agencje rządowe zaczęły szukać jak najlepszych sposobów wykorzystania pieniędzy. Prekursorami nowych rozwiązań, w latach siedemdziesiątych- osiemdziesiątych, były oczywiście Stany Zjednoczone i kraje Europy Zachodniej. Nie wymaga to chyba uzasadnienia.
Działalność naukowa, poziom i wyniki badań uczonych, zostały poddane ocenie metodą ilościową. Metoda ta polega na wykorzystaniu jednego, podstawowego wskaźnika liczbowego lub zbioru wskaźników sumowanych z odpowiednimi wagami statystycznymi. Rolę wskaźników dorobku badawczego, może spełnić np. liczba publikacji (oddzielnie prac oryginalnych, opublikowanych w światowych czasopismach o wysokiej renomie, prac o zasięgu lokalnym, artykułów przeglądowych itp.) Dorobek dydaktyczny charakteryzuje liczba wydanych podręczników, skryptów, odbytych wykładów, wypromowanych dyplomantów itp. O reputacji naukowej świadczą nagrody naukowe, stopnie honorowe, udział w komitetach i władzach organizacji naukowych, liczba cytowań, a także zaproszenia do wygłaszania referatów i wykładów plenarnych na prestiżowych konferencjach naukowych.
Metodę tą także poddano weryfikacji. Zaczęto mawiać, że jest co prawda obiektywna, ale i bezwzględna. Może i dlatego, ten sposób oceny wiedzy i dorobku kadry naukowej nie przyjął się przed rokiem dziewięćdziesiątym w naszym kraju. Dopiero po tym okresie, wraz z dopływem nowych myśli, Komitet do Spraw Nauki i Postępu Technicznego przy Radzie Ministrów, przeprowadził wstępną ocenę placówek naukowych w Polsce. Nastąpiło ich zaszeregowanie do odpowiednich kategorii. Rok później, powołany w 1991 roku Komitet Badań Naukowych wprowadził nową koncepcję organizacji i finansowania badań naukowych, następnie w 1992 roku opracował nowe zasady kategoryzacji. Kolejnych zmian dokonywano w latach 1998 i 2001.
Należy wspomnieć o tym, że w wyniku przeprowadzonej w 1992 roku kategoryzacji, przez zespoły KBN, najniżej ocenione placówki nie otrzymały środków na działalność statutową. Były to przede wszystkim jednostki badawczo rozwojowe, które nie prowadziły działalności naukowej i wobec tego musiały ulec likwidacji lub znaleźć inne źródła finansowania.
Kategoria placówki jest uważana za podstawowy parametr, decydujący o wysokości dotacji KBN na działalność statutową. Nie bez znaczenia są względy prestiżowe. Na stronach domowych, jednostki często odnotowują fakt posiadania pierwszej kategorii KBN. Kategoria placówki może mieć, bowiem, wpływ na ubieganie się o zatrudnienie w danej placówce młodych adeptów nauki, a w przypadku szkół wyższych- na nabór studentów danego kierunku studiów.
Wprowadzenie nowych zasad oceniania jednostek naukowych przez KBN, spowodowało ożywioną dyskusję, wręcz burzę, na łamach Forum Akademickiego, Spraw Nauki i Szkolnictwa Wyższego, Zagadnień Naukoznawstwa. Nastąpił wyraźny podział na zwolenników i przeciwników stosowania metod ilościowych, opartych na metodach ISI. Najwięcej emocji wzbudza stosowanie wskaźnika imact factor.
Problemy oceny naukowców były również podnoszone na kilku konferencjach: w roku 1993 w Pułtusku- " Ocena uczonych i nauki" w 1995 r w Warszawie " Ocenianie uczonych, instytucji i projektów badawczych", w 2001 r w Cieszynie " Statystyczno- porównawcze metody oceny działalności naukowej".
W dyskusji toczącej się wokół pomiarów nauki, zwolennicy metod ilościowych dowodzą, że ich stosowanie przyczynia się do:
" precyzyjnego ustalenia prawidłowości rządzących nauką
" podniesienia skuteczności prognozowania rozwoju nauki
" zweryfikowania i usprawnienia systemów oceniania nauki i jej składników
" sprawniejszego prowadzenia polityki naukowej.
Najważniejszym argumentem przeciwników metod ilościowych jest twierdzenie, że nie można zmierzyć poziomu i wartości pracy naukowej, bo każda ocena z konieczności musi mieć charakter subiektywny i jakościowy. Zarzuca się też nieodpowiedni dobór miar, wag, ich porównań i przeciwstawień.
Dyskusje, podobne do obecnie prowadzonych u nas, toczyły się i w innych krajach. W dyskusjach tych można wyróżnić dwa etapy. W czasie pierwszego, zajmowano się przede wszystkim wyznaczaniem wskaźników pomiaru nauki oraz porównywaniem rezultatów otrzymanych w wyniku ich zastosowania, z wynikami uzyskanymi przy pomocy sposobów tradycyjnych - najczęściej opinii ekspertów. Drugi etap przyniósł doskonalenie i opracowywanie nowych technik badawczych oraz - co wydaje się najistotniejsze - dokonano rozróżnień i hierarchizacji wskaźników, wskazując te, które w najwyższym stopniu korelują z ostatecznymi wynikami badań.
Przeprowadzono wiele analiz porównawczych instytucji naukowych m.in. porównano 125 uniwersytetów amerykańskich, 169 uniwersytetów brytyjskich, kanadyjskich, i amerykańskich, oceniono także 120 amerykańskich szkół medycznych oraz 19 największych firm farmaceutycznych. W badaniach zastosowano od kilku do kilkudziesięciu różnych wskaźników pomiaru, a osiągnięte wyniki porównywano z opiniami ekspertów. Stwierdzono bardzo wysoką zgodność ocen. Okazało się także, że spośród wszystkich stosowanych wskaźników ilościowych, wskaźniki bibliometryczne (liczba publikacji i ich cytowań) w najwyższym stopniu korelują z ostatecznymi wynikami.
Aby pokusić się o ocenę uczonego, trzeba przede wszystkim sprecyzować, co ma podlegać ocenie. To powinno doprowadzić do określenia jasnych kryteriów oceny. Ocena ma bowiem, tylko wtedy jakąś wartość, gdy można ją porównać z ocenami innych uczonych lub zespołów.
Według profesora Ziabickiego, ocena jednowskaźnikowa nie daje wiarygodnej informacji o dorobku naukowym uczonego. Wybór decydującego wskaźnika jest w znacznym stopniu dowolny, a uzyskany obraz jest powierzchowny i jednostronny. Zdecydowanie lepsze są systemy wielowskaźnikowe. Zbiór dużej liczby dobrze określonych wskaźników daje stosunkowo obiektywny obraz dorobku i reputacji. Obraz taki sugeruje profil działalności uczonego (zespołu), uwidacznia jego silne i słabe strony.
Niektórzy naukowcy postulują uproszczenie obowiązującego systemu ocen. Grzegorz Racki w "Sprawach Nauki" napisał "można prognozować dalszą rozbudowę systemu oceny parametrycznej - nic dziwnego, że opracowanie wniosku o dotację na działalność statutową oraz sama dokumentacja osiągnięć, np. 400 publikacji, jest i będzie zajęciem bardzo czasochłonnym". Według Rackiego, system ten powinien być znacznie mniej skomplikowany i winien preferować tylko jednoznacznie wybitne osiągnięcia naukowe. Ten sam autor uważa, że system parametryczny stosowany przez KBN, powinien zmierzać do bardziej syntetycznej wyceny wybranych, jednoznacznie sprecyzowanych elementów aktywności naukowej, dokumentujących poziom badań na tle nauki światowej. Znacznie ułatwiłoby to, nie tylko przygotowanie wniosków o dotację (o rozmiarach monografii w przypadku dużych jednostek), ale też ich rzetelne sprawdzenie.
Podobne poglądy reprezentuje prof. Turski. Uważa on, że system parametryczny powinien ograniczyć się do oceny najwybitniejszych osiągnięć naukowych.
Na podstawie toczącej się dyskusji, trudno wyrokować czy sprawozdania do KBN będą coraz bardziej rozbudowane, czy też upraszczane. Należy przypuszczać, że punkty oceny będą ulegały zmianom.
W 1993 roku Medycyna. Dydaktyka. Wychowanie opublikowała artykuł "Analiza bibliometryczna w ocenie naukowców i instytucji naukowych nową funkcją bibliotek lekarskich". Z perspektywy czasu można stwierdzić, że autorzy Wojciech Maria Kuś i Dariusz Kuźmiński przewidzieli, że przed bibliotekami medycznymi stoją nowe zadania - sprawozdawczość oparta na bibliometrii. Wprawdzie ówczesny dyrektor biblioteki AM w Poznaniu, Bolesław Howorka ostro oponował przeciwko obciążaniu pracowników bibliotek akademii medycznych sporządzaniem zestawień bibliometrycznych, wykazując, że biblioteki ze względu na szczupłość kadry nie są w stanie realizować takich zadań w ramach obowiązków służbowych. Postulował o dodatkowe wynagradzanie osób zaangażowanych w sprawozdawczość bibliometryczną do KBN. Szkoda, że wypowiedzi dyrektora Howorki opublikowane w piśmie Medycyna. Dydaktyka. Wychowanie pozostały bez echa. Być może podjęcie szerszej dyskusji doprowadziłoby do wypracowania rozwiązań satysfakcjonujących bibliotekarzy (przynajmniej w zakresie dodatkowego wynagrodzenia). Z przeprowadzonej przeze mnie ankiety wynika, że tylko w dwóch ośrodkach pracownicy otrzymują dodatkowe pieniądze.
Większość bibliotek akademii medycznych jest angażowana do sporządzania "Oceny parametrycznej jednostki naukowej" oraz "Ankiety jednostki naukowej". Uważam, że bibliotekarze są przygotowani merytorycznie do opracowywania zestawień bibliometrycznych. Wszak bibliometria jest traktowana jako subdyscyplina informacji naukowej. Z pewnością w stosunku do pracowników działu nauki czy dziekanatów posiadamy większą wiedzę na temat wskaźnika impact factor, światowych baz danych, odróżniamy powołania od cytowań itp.
Sprawozdanie do KBN jest jednak utrapieniem dla bibliotek.
Powodów jest wiele:
" kryteria przedstawione w "Szczegółowych zasadach oceny parametrycznej jednostek naukowych" opracowane przez Zespół P05 były kilkakrotnie zmieniane w trakcie sporządzania sprawozdania. W związku z tym, że biblioteki miały bardzo mało czasu na opracowanie danych, śledzenie zmian na stronie domowej KBN powodowało wiele zamieszania. Nieprecyzyjne sformułowania punktów oceny wprowadziły wiele szumu informacyjnego. Konsekwencją tego były "pielgrzymki" do KBN w celu poprawiania danych.
W opublikowanych w Dzienniku Ustaw nr 146 z 2001 r." Kryteriach oceny parametrycznej jednostek naukowych" czytamy: "przez czasopismo lub wydawnictwo recenzowane należy rozumieć czasopismo lub wydawnictwo naukowe, w którym artykuły są przyjmowane do publikacji na podstawie opinii recenzentów;" - to jest jasne; dalej czytamy: "zasięg czasopisma określają miejsca pracy autorów publikacji, cytowania i prenumeraty". I to już jest zupełnie niezrozumiałe.
" dodawano nowe punkty do opracowania. Bardzo dezorganizowało to pracę, zwłaszcza, że był to już okres wakacyjny
" wymagano dołączenia oświadczeń autorów monografii i rozdziałów w książkach w przypadku, gdy wydawca nie zamieszcza informacji o miejscu zatrudnienia autora. W okresie wakacyjnym trudno było pozyskać takie oświadczenia
" z niejasnych powodów żądano podania wskaźnika IF z 1999 dla publikacji z lat 1997-2000. W tej sytuacji, mimo że w komputerowo rejestrowanych bibliografiach dorobku naukowego pracowników uczelni mieliśmy wprowadzone właściwe wskaźniki impact factor przynależne publikacjom z określonych lat, to dla potrzeb tego sprawozdania, musieliśmy zmieniać je na wskaźniki z 1999 roku.
Inny problem polega na tym, że:
" pola w zestawieniach tabelarycznych "Oceny parametrycznej" i "Ankiety jednostki" są inaczej zdefiniowane, co uniemożliwia wykorzystanie modułu KBN w programie Expertus do obu sprawozdań. Biblioteki akademii medycznych w większości wypadków do rejestracji publikacji naukowych wykorzystują program Expertus opracowany przez firmę Splendor z Poznania. Do zestawień tabelarycznych zgodnie z wymogami "Oceny parametrycznej jednostki" firma opracowała moduł umożliwiający automatyczne sporządzanie zestawień tabelarycznych. Niestety, ten sam moduł nie może być wykorzystany do "Ankiety jednostki", ponieważ tam zdefiniowano inaczej pola tabel. To bardzo utrudnia tę sprawozdawczość, bo nie sposób do każdego sprawozdania kupować nowych modułów.
" w "Ankiecie jednostki" żąda się podania wskaźnika EPC. Definicja tego wskaźnika podana przez GUS jest na tyle nieprecyzyjna, że uzyskane dane z różnych ośrodków mogą być nieporównywalne
" poważnym problemem jest niezrozumienie władz uczelni, że profesjonalne przygotowanie takich sprawozdań wymaga wiele czasu. Mam wrażenie, że świadomość, iż biblioteki rejestrują w programach komputerowych " Bibliografię pracowników naukowych" rodzi przekonanie, że każde sprawozdanie można zrobić za przyciśnięciem przysłowiowego guzika. Osobiście, musiałam długo przekonywać prorektora ds. nauki, że profesjonalne przygotowanie danych do "Oceny parametrycznej" wymaga dużo czasu i olbrzymiej pracy. W końcu rektor wyasygnował dodatkowe środki na pracę zleconą.
Uważam, że tworzenie bibliometrycznych zestawień do KBN może być pewną szansą dla bibliotek, pod warunkiem umiejętnej promocji pracowników i ich wkładu w osiągniętą kategorię.
Wszak, aby otrzymać I kategorię w KBN nie wystarczy opublikować wiele dobrych prac, ktoś jeszcze musi je zarejestrować, opracować i odpowiednio zestawić. Musi to być zdecydowanie akcentowane przy różnych okazjach.
Bardzo ciekawą inicjatywę podjęto w Śląskiej Akademii Medycznej ogłaszając rok 2002 rokiem bibliografii i cytowań. Na łamach Biuletynu Informacyjnego Śląskiej Akademii Medycznej pojawiają się publikacje, w których wskazuje się, że ścisła współpraca pracowników biblioteki i kadry naukowej może zaowocować lepszymi wskaźnikami bibliometrycznymi, a więc wyższą kategorią KBN. Przy tej okazji można rozwiązać wiele problemów bibliotecznych, a przynajmniej zwrócić na nie uwagę. Inicjatywa Biblioteki Śląskiej Akademii Medycznej jest godna naśladowania.
Pisanie o sprawach bibliometrii na łamach prasy bibliotekarskiej jest oczywiście konieczne, ponieważ jest to tzw. "gorący temat". Jednakże prasę bibliotekarską czytają przede wszystkim bibliotekarze, a nam chodzi o zainteresowanie problemem władz uczelni i środowiska naukowego.
Sądzę, że na tej konferencji musimy jasno sprecyzować:
1. czy publikacje w suplementach do czasopism należy wykazywać w sprawozdaniach
2. jaki wskaźnik impact factor należy przypisywać publikacjom. W tej chwili dostępne są wskaźniki za 2001 r., które przypisujemy również publikacjom z 2002 r. czy z chwilą otrzymania danych za rok 2002 powinniśmy zweryfikować dane za 2002 r. Zdania na ten temat są podzielone. Niektóre biblioteki wprowadzają wskaźniki IF również dla streszczeń. Wprawdzie nie ma to znaczenia przy sprawozdawczości do KBN, ponieważ w tym wypadku nie uwzględnia się streszczeń, ale warto te sprawy unormować.
3. jak traktować wznowienia, monografii i podręczników w przypadku kiedy kolejne wydanie jest uzupełnione, zmienione lub unowocześnione. W szczegółowych zasadach czytamy tylko: "do oceny nie można przedstawiać wznowień".
Reasumując, sprawozdawczość do KBN nie musi być utrapieniem dla bibliotek jeżeli uda się rozwiązać poruszone wyżej problemy.
Bibliografia:
1. Howorka B. : Bibliometria- uwagi po roku. "Medycyna-Dydaktyka- Wychowanie" 1995 R. 27 nr1-2 s.166-170
2. Howorka B. : Czy nowa funkcja biblioteki naukowej?. "Medycyna-Dydaktyka- Wychowanie" 1993 R. 25 nr 3-4 s.112-118
3. Hrynkiewicz A.: Ocena placówek naukowych, "Forum Akademickie" 1995 nr 11 s.18-19
4. Kuś W.M., Kuźmiński D.: Analiza bibliometryczna w ocenie naukowców i instytucji naukowych nową funkcją bibliotek lekarskich. "Medycyna-Dydaktyka- Wychowanie" 1993 nr 1-2 s.108-110
5. Lipkowski J.: Zalety i wady punktowego systemu oceny dorobku publikacyjnego pracowników naukowych, na podstawie doświadczeń Instytutu Chemii Fizycznej PAN. "Zagadnienia Naukoznawstwa" 1995 nr 3-4 s.171-178
6. Łomnicki A.: Ocenianie uczonych i nauki: kilka uwag ogólnych. "Zagadnienia Naukoznawstwa" 1995 nr3-4 s.35-37
7. Marszakowa-Szajkiewicz I.: Bibliometryczna analiza współczesnej nauki. Katowice: Wydawnictwo UŚ, 1996
8. Marszakowa-Szajkiewicz I.: O bibliometrii i bazach danych Instytutu Informacji Naukowej (ISI) w Filadelfii. "Nauka" 2000 nr 3 s.181-189
9. Marszakowa-Szajkiewicz I.: W naukowym klubie. "Forum Akademickie" 2000 nr 6 s.29-31
10. Mukosiej J.: Ocenianie naukowców. "Zagadnienia Naukoznawstwa" 1995 nr3-4 s.45-52
11. Pelc J.: Uwagi na temat oceniania kwalifikacji pracownika nauki oraz instytucji naukowej. "Zagadnienia Naukoznawstwa" 1995 nr3-4 s.7-10
12. Racki G.: O hipotezie Czerwonej Królowej. "Forum Akademickie" 1999 nr 12 s.30-31
13. Racki G.: Ocena parametryczna - prognozy i postulaty. "Sprawy Nauki" 2001 nr 11 s.10-12
14. Racki G.: Parametryczny system oceny jednostek naukowych przez KBN: prognozy i postulaty w kontekście analiz naukometrycznych. (dostęp w wersji elektronicznej http://www.bg.us.edu.pl/Arton_inf/konferencja.htm)
15. Sadowski J. : Porównawcza ocena wagi publikacji w różnych dziedzinach nauki - czyli jak nie skrzywdzić hodowców frezji. "Zagadnienia Naukoznawstwa" 1995 nr3-4 s.59-60
16. Sakalska-Zlat M.: Bibliometria - pojęcia, metody, kierunki badań. "Roczniki Biblioteczne" 1988 R. 32 z.2 s.259-283
17. Sakalska-Zlat M.: Bibliometryczna analiza zbiorów publikacji jako podstawa oceny zespołów i instytucji naukowych. "Zagadnienia Naukoznawstwa" 1995 nr 3-4 s.186-187
18. Sawicki W.: Ocenianie nauki - rzeczywistość i iluzje. "Postępy Medycyny i Higieny Doświadczalnej" 1998 T.52 nr 3 s. 297-305
19. Stefaniak B.: Badania bibliometryczne, naukometryczne, informetryczne, W: Informacja naukowa w Polsce: tradycja i nowoczesność. Olsztyn: Wydawnictwo WSP 1998 s.197-219
20. Stefaniak B.: Ilościowe dane o publikacjach naukowych jako element oceny działalności naukowej, "Zagadnienia Naukoznawstwa" 1995 nr3-4 s.240-242
21. Stefaniak B.: Naukometria i możliwości wykorzystania wyników badań piśmiennictwa naukowego w kreowaniu polityki naukowej. "Nauka i Szkolnictwo Wyższe" 1994 nr 3 s.48-64
22. Wróblewski A.K.: Apeluję o rozsądek! "Forum Akademickie"2002 nr 3 s.28-30
23. Wróblewski A.K.: Bibliometryczna trylogia. (dostęp w wersji elektronicznej http://www.bg.us.edu.pl/Arton_inf/konferencja.htm)
24. Wróblewski A.K: Co należy wiedzieć o cytowaniach prac naukowych. "Sprawy Nauki" 1996 nr 2 s.3-8
25. Ziabicki A. : Ocena dorobku i reputacji naukowej indywidualnych uczonych i zespołów badawczych. (dostęp w wersji elektronicznej http://www.bg.us.edu.pl/Arton_inf/konferencja.htm)
26. Ziabicki A. : Ocena indywidualnych naukowców i zespołów naukowych. "Nauka i Szkolnictwo Wyższe" 1994 nr 3 s.39-48
27. Żmigrodzki Z.: Uroki bibliometrii. "Forum Akademickie" 1999 nr 9 s.36-37
|
