XXI Konferencja Problemowa Bibliotek Medycznych

Streszczenie



Aniela Piotrowicz, Ewa Grządzielewska, Maria Haremza
Biblioteka Główna AM im. K. Marcinkowskiego w Poznaniu

"Bibliometria jako element oceny parametrycznej uczelni - doświadczenia Biblioteki Głównej AM w Poznaniu"

Tekst referatu (Word)


Od 1992 r. ocenie dorobku piśmienniczego przez KBN miała podlegać miała nie tylko ilość ale przede wszystkim jakość publikacji. Nadsyłane do uczelni ankiety nie precyzowały jasnych definicji i kryteriów kwalifikacji poszczególnych rodzajów działalności naukowej. W tej sytuacji o pomoc zwrócono się do Biblioteki, która od lat wspiera działalność naukową Uczelni.
W obliczu rozwoju sprawozdawczości, rankingów i akredytacji BG AM w Poznaniu zautomatyzowała prace dokumentacyjno-bibliograficzne. W 1993 roku wdrożony został opracowany został przez pracowników Biblioteki oryginalny program komputerowy, umożliwiający tworzenie bazy bibliograficznej i statystykę bibliometryczną dorobku naukowego. Od 1996 roku baza dostępna jest w Internecie. Baza Publikacje w systemie Expertus jest bazą rozwojową, otwartą na wszelkie aktualne i przyszłe zapytania. Wyposażona jest także w narzędzia do konwersji danych do bazy OPI.
W niniejszym wystąpieniu skoncentrowano się na krytycznej analizie niektórych punktów ankiety KBN, które utrudniają pełną automatyzację prac związanych z analizą bibliometryczną:
  1. Definicja publikacji
  2. Publikacja recenzowana
  3. Zbiorcze wydawnictwa konferencyjne
  4. Dowolność punktacji dla czasopism z różnych list rankingowych i spoza nich
  5. Dowolność punktacji dla autorów rozdziałów, monografii i podręczników
  6. Afiliacja autora


    W ocenie działalności jednostek naukowych, dokonywanej przez Komitet Badań Naukowych, znaczącą rolę odgrywa parametryczna ocena dorobku naukowego. System oceny wprowadzony przez KBN w 1992 roku zawierał wiele niejasnych definicji i nieprecyzyjnych kryteriów kwalifikacji różnych rodzajów działalności naukowej. Przygotowanie odpowiedzi na pytania zawarte w ankiecie oceny jednostki stwarzało wiele problemów i budziło liczne wątpliwości. Szczególnie trudne okazało się wartościowanie publikacji, zaczęto więc poszukiwać pomocy w bibliotekach, które tradycyjnie zajmują się dokumentacją publikowanego dorobku swoich środowisk naukowych. Od 1993 roku biblioteki akademickie zmuszone były przygotowywać dane bibliometryczne nie tylko do oceny parametrycznej Uczelni prowadzonej przez Komitetu Badań Naukowych, lecz także na zamówienie Głównej Biblioteki Lekarskiej w Warszawie na potrzeby Departamentu Nauki Ministerstwa Zdrowia.
    W obliczu rozwoju zapotrzebowania na analizy bibliometryczne dorobku naukowego do różnego rodzaju ankiet, sprawozdań, rankingów i akredytacji, biblioteki zaczęły rozbudowywać swoje warsztaty i tworzyć różnorodne narzędzia, umożliwiające wykonywanie nowych zadań.
    Biblioteka Główna Akademii Medycznej w Poznaniu już w roku 1992 przystąpiła do automatyzacji prac dokumentacyjno-bibliograficznych. W roku 1993 opracowany został przez pracowników Biblioteki oryginalny program komputerowy, umożliwiający tworzenie bazy bibliograficznej i statystykę bibliometryczną dorobku naukowego. W roku 1994 baza bibliograficzna została udostępniona użytkownikom sieci lokalnej Biblioteki, a od roku 1996 dostępna jest w Internecie z witryny Biblioteki Głównej. W roku 2000 dokonano konwersji bazy do programu Expertus 2000.
    Do bazy komputerowej zostały wprowadzone dane bibliograficzne od roku 1991 i aktualnie rejestracja odbywa się na bieżąco. Aktualnie baza liczy blisko 34.000 rekordów bibliograficznych. Każdy rekord zawiera szczegółowe dane bibliograficzne i indeksowany jest przy użyciu języka haseł przedmiotowych Medical Subject Headings (MeSH). Do opisów prac oryginalnych, opublikowanych w języku polskim, dołączane są angielskie abstrakty. Istnieje również możliwość przejścia od rekordu bibliograficznego do pełnego tekstu publikacji dostępnego w wersji elektronicznej w Internecie. Poza danymi bibliograficznymi rekordy zawierają elementy charakterystyki bibliometrycznej: wartość wskaźnika Impact Factor, punktację rankingową KBN oraz Index Copernicus.
    Baza bibliograficzna PUBLIKACJE dostępna jest zarówno w sieci lokalnej Biblioteki, jak i w Internecie. Program wyszukiwawczy umożliwia uzyskanie z bazy różnorodnych informacji. Możliwe jest przeszukiwanie bazy według wielu kluczy, np. według nazwisk autorów, jednostek organizacyjnych, typów publikacji, haseł przedmiotowych lub dowolnych terminów, można też wyszukać prace opublikowane w czasopismach posiadających określone wartości rankingowe: Impact Factor, punktację KBN czy Index Copernicus. Z bazy można wykonywać wydruki w kilku formatach: pełnym, skróconym, z hasłami przedmiotowymi lub bez, z pominięciem nazw pól wyszukiwawczych itp. Dołączone do opisów bibliograficznych informacje w języku angielskim umożliwiają popularyzację dorobku naukowego Akademii poza granicami kraju, ułatwiają nawiązywanie kontaktów i wymiany naukowej.
    Dla środowiska naukowego Akademii udostępniony został specjalny formularz internetowy, towarzyszący bazie bibliograficznej, umożliwiający nadsyłanie drogą elektroniczną informacji o publikacjach nie zarejestrowanych w bazie, co znacznie przyspiesza proces kompletowania danych o dorobku naukowym Uczelni.
    Baza bibliograficzna umożliwia analizę zarejestrowanych prac naukowych w aspekcie formalnym i merytorycznym. Wyposażona jest w narzędzia, umożliwiające uzyskanie różnorodnych danych statystycznych do analiz bibliometrycznych i opracowań rankingowych. Umożliwia ona wszechstronną ocenę zarówno indywidualnych autorów, jak i poszczególnych zakładów, wydziałów i całej uczelni.
    W oparciu o dane z bazy Biblioteka przygotowuje na zamówienie Głównej Biblioteki Lekarskiej w Warszawie analizy bibliometryczne na potrzeby Departamentu Nauki Ministerstwa Zdrowia oraz dane do oceny parametrycznej Uczelni dla Komitetu Badań Naukowych. Dotyczą one zarówno danych liczbowych o różnych typach publikacji, o publikacjach zamieszczonych w czasopismach posiadających wskaźnik Impact Factor, jak i o wartości tego wskaźnika uzyskanej w poszczególnych latach przez całą Uczelnię i przez poszczególne wydziały. Obliczane są też średnie wskaźniki publikacji i wartości Impact Factor dla pracowników naukowo-dydaktycznych.
    W roku 2000 obliczenia statystyczne i analizy bibliometryczne zostały zautomatyzowane i udostępnione w witrynie internetowej Biblioteki. Dane liczbowe zmieniają się dynamicznie wraz ze zmianami w zawartości bazy bibliograficznej.
    Wydawać by się mogło, że posiadając tak znakomite źródło informacji, Biblioteka nie powinna mieć żadnych problemów z przygotowywaniem corocznych analiz bibliometrycznych do oceny parametrycznej Uczelni. Tak jednak nie jest. Z powodu nieprecyzyjnych kryteriów i dużej dowolności w punktacji publikacji przyjętych w "Szczegółowych zasadach oceny parametrycznej jednostek naukowych wchodzących w zakres działań Zespołu Nauk Medycznych P05" przygotowanie informacji do ankiety oceny jednostki wiąże się z ogromnym nakładem pracy, związanej z przystosowaniem danych uzyskiwanych z bazy komputerowej do zasad oceny parametrycznej.
    Wiele wątpliwości budzą kryteria odpowiedniego kwalifikowania publikacji w czasopismach:

    - Ocena parametryczna obejmuje wyłącznie publikacje recenzowane. Skąd wiadomo, czy dany artykuł był recenzowany, jeśli nie ma o tym informacji w czasopiśmie? Wielokrotnie sami autorzy poszukują takiej informacji w bibliotekach, spodziewając się, że istnieją jakieś wykazy czasopism recenzowanych. Próby uzyskania wiarygodnej informacji u wydawców kończą się zawsze stwierdzeniem, że oczywiście wszystkie publikacje w wydawanych przez nich czasopismach są recenzowane. Niektórzy zniecierpliwieni ciągłymi pytaniami wydawcy zaczęli zamieszczać na pierwszej stronie publikacji informację "Artykuł recenzowany", ale dotyczy to niewielu przypadków. W tej sytuacji uprawiana jest fikcja i kwalifikowane są do oceny parametrycznej wszystkie publikacje.

    - Pomimo dokonanej przez Zespół P05 korekty definicji "publikacji" nadal pozostaje wątpliwość, czy chodzi tylko o publikacje w regularnych zeszytach czasopism? Wychodzą przecież zeszyty specjalne, często monograficzne, prezentujące bardzo wartościowe prace oryginalne. Wiele suplementów zawiera pełne teksty prac prezentowanych na konferencjach i zjazdach, które nie są drukowane w żadnych innych źródłach. A są to często publikacje przedstawiające najświeższe wyniki badań. Czy takie prace są bezwartościowe?
    W pkt 17 "Kryteriów oceny parametrycznej jednostek naukowych" w Rozporządzeniu Przewodniczącego Komitetu Badań Naukowych z dnia 30 listopada 2001 r. mowa jest o tym, że nie przyznaje się punktów za publikacje umieszczone "w wydawnictwach konferencyjnych, z wyjątkiem wskazanych na ogłoszonej przez zespół liście cyklicznych, recenzowanych wydawnictw najpoważniejszych konferencji międzynarodowych". Czy istnieje taka lista?

    - Punkt 14 przywołanych wyżej "Kryteriów" brzmi:
    "Czasopisma oraz liczby punktów za umieszczone w nich publikacje muszą być jednoznacznie zdefiniowane. Lista czasopism (polskich - obligatoryjnie, zagranicznych - fakultatywnie), z liczbą przyznanych punktów jest umieszczona i aktualizowana przez zespoły na stronie internetowej Komitetu (http://www.kbn.gov.pl)".
    Na stronie KBN rzeczywiście dostępna jest "Zbiorcza lista czasopism i wydawnictw konferencyjnych sporządzona na podstawie list poszczególnych zespołów Komitetu", ale wartości punktów, przyporządkowane czasopismom medycznym często różnią się od wartości podanych na listach Zespołu P05 i w Index Copernicus. Które dane są obowiązujące?
    Wspomniana lista nie zawiera medycznych czasopism zagranicznych, natomiast "Szczegółowe zasady... Zespołu Nauk Medycznych 05" podają, że publikacjom w czasopismach zagranicznych spoza Listy Filadelfijskiej należy przydzielać punkty w zakresie od 1 do 6, a przecież liczba punktów powinna być "jednoznacznie zdefiniowana". Kto ma zadecydować, ile punktów przydzielić takim publikacjom? Na ogół wszyscy podają maksymalną ilość punktów, więc po co ten zakres? Można przecież przydzielić określoną liczbę punktów tytułom czasopism indeksowanych w światowych bazach bibliograficznych, np. w Medline i Chemical Abstracts - 6, w EMBASE i Analytical Abstracts - 5, które to bazy zostały nawet wymienione w pkt. 1B "Zasad". Bo związanie pubktów rankingowych z krajem pochodzenia czasopisma nie jest uzasadnione. W każdym kraju wychodzą przecież czasopisma bardziej i mniej wartościowe i tylko te lepsze kwalifikowane są przez zespoły specjalistów do indeksowania w światowych systemach informacyjnych.
    Podobnie jest w przypadku monografii i podręczników, gdzie pozostawiono (komu?) swobodny wybór punktacji w zakresie od 12 do 24 pkt w przypadku monografii w języku angielskim, w zakresie od 5 do 12 pkt w przypadku rozdziału itp. Szczegółowe zasady powinny sprecyzować, jakimi kryteriami należy się kierować w przydziale odpowiedniej punktacji: objętością (tu pytanie: kto ma przeliczać liczbę stron na arkusze wydawnicze)? renomą wydawcy (któremu wydawcy ile punktów)? wartością merytoryczną (kto by to miał oceniać)?

    - Nadal, pomimo korekt, występuje niezgodność w zakresie kwalifikowania publikacji do pkt. 1B i 1C pomiędzy "Zasadami Zespołu P05" i wzorem tabeli nr 1 oraz oprogramowaniem bazy Ośrodka Przetwarzania Informacji (OPI). W "Zasadach" w pkt 1B mowa tylko o publikacjach zagranicznych, a w tabeli 1b należy umieścić "Publikacje w innym czasopiśmie recenzowanym zagranicznym lub czasopiśmie polskim o zasięgu co najmniej krajowym". Podobnie pkt 1C "Zasad" dotyczy wszystkich publikacji recenzowanych zawartych w czasopismach polskich punktowanych zgodnie z listą czasopism Zespołu P05, a tabela 1c - publikacji w recenzowanym czasopiśmie krajowym o zasięgu lokalnym. Ponieważ wymienione tabele 1b i 1c odwołują się do "Kryteriów oceny parametrycznej..." pkt. 20.3 i 20.4, w kwalifikacji prac do poszczególnych tabel należałoby dokonywać odstępstwa od szczegółowych zasad opracowanych przez Zespół P05, pomimo że w uwadze do tabeli 1 zawarta jest informacja "Nazwy tabel i ich zawartość powinny być zgodne ze 'Szczegółowymi zasadami i definicjami oceny parametrycznej' przyjętymi przez właściwy zespół KBN".
    W przygotowaniu tabel 1b i 1c zgodnie ze szczegółowymi zasadami i definicjami przyjętymi przez Zespół P05 nie można się posłużyć wydrukiem z bazy OPI. Trzeba wykonać podwójną pracę: zarejestrować publikacje w bazie OPI zgodnie z pkt. 20.3 i 20.4 "Kryteriów oceny parametrycznej...", a tabele 1b i 1c sporządzić ręcznie zgodnie ze szczegółowymi zasadami Zespołu P05.

    - Rejestracja publikowanego dorobku naukowego w bazie OPI też stwarza problemy. Kryteria oceny parametrycznej KBN bardzo "mgliście" definiują zasięg czasopisma, uzależniając go od miejsca pracy autora i nakładu czasopisma. Pozostawia to ośrodkom przygotowującym dane dla KBN dużą dowolność w kwalifikowaniu czasopism do poszczególnych podbaz OPI i w efekcie materiał zgromadzony w tej bazie jest zupełnie nieporównywalny.

    - Ani w "Kryteriach..." ani w "Szczegółowych zasadach Zespołu P05" nie ma komentarza, w jaki sposób podawać afiliację autora. W tabeli 1 istnieje rubryka "Afiliacja autora podana w publikacji". Jest to bardzo wieloznaczne sformułowanie. Czy należy tu podać pełną nazwę zakładu, z którego pochodzi autor, w języku polskim, czy w formie oryginalnej, wydrukowanej w publikacji? Czy w ogóle należy podawać nazwę jednostki, czy tylko wpisać "tak"?

    Jak widać na przykładach kilku zgłoszonych wątpliwości, nie można spodziewać się, że uda się zautomatyzować proces przygotowywania danych bibliometrycznych do oceny parametrycznej prowadzonej przez KBN bez wcześniejszego dopracowania szczegółowych zasad oceny.
    Oprogramowanie Expertus firmy Splendor Systemy Informatyczne, które powstało we współpracy z bibliotekami medycznymi i w którym tworzone są bazy bibliograficzne tych bibliotek, już dziś pozwala na rejestrację i prezentację danych oczekiwanych przez KBN. Zawiera również narzędzia umożliwiające konwersję danych z baz bibliograficznych do obowiązujących wzorów tabel oraz do bazy OPI. Aby jednak narzędzia te mogły spełnić swoją funkcję, bibliotekarze muszą dysponować dokładną informacją o właściwej kwalifikacji każdej publikacji już na etapie jej rejestracji w bazie bibliograficznej.

    Wnioski



    1. Biblioteka AM w Poznaniu jest przygotowana do oceny dorobku naukowego Uczelni w oparciu o bazę bibliograficzną PUBLIKACJE tworzoną w programie Expertus.

    2. W "Ankiecie oceny jednostki naukowej" przygotowanej przez Zespół Nauk Medycznych P05 KBN oczekuje się jasnych i precyzyjnych sformułowań, dotyczących następujących kwestii:
    a) objęcia terminem "publikacje" nie tylko tych prac, które ukazują się w regularnych zeszytach czasopism, ale również w suplementach i zeszytach specjalnych,
    b) ujednolicenia punktacji rankingowej w Index Copernicus i na "Zbiorczej liście czasopism i wydawnictw konferencyjnych sporządzonej na podstawie list poszczególnych Zespołów Komitetu",
    c) precyzyjnego określenia punktacji w odniesieniu do monografii i podręczników, z uwzględnieniem np. prestiżu wydawcy, objętości tekstu czy jego wartości merytorycznej,
    d) objaśnienia, w jakiej formie należy podawać afiliację autora w publikacji.

    3. System Expertus, w którym tworzone są bazy bibliograficzne bibliotek medycznych, dysponuje narzędziami, umożliwiającymi konwersję danych do bazy OPI. Wcześniej jednak należy uściślić zasady kwalifikacji publikacji naukowych do poszczególnych grup dokumentów.