Opublikowana przed świętami nowa lista czasopism punktowanych wywołała sporo kontrowersji. W porównaniu z zeszłym rokiem zmiany dotknęły przede wszystkim listę B, czyli wykaz czasopism krajowych. Mogły one liczyć na dodatkowe 0-5 punktów, które w tej edycji dodawali eksperci z poszczególnych dziedzin (opinia środowiskowa). Zwiększył się w ten sposób zakres ocen tych czasopism – o ile poprzednio punktacja wynosiła tu od 1 do 10 punktów, to obecnie – od 1 do 15 punktów.
Bezpośredniego porównania rozkładu punktacji z roku 2014 i 2015 dokonaliśmy nakładając na siebie dwa histogramy (wykres poniżej). Porównujemy tylko te tytuły, które wystąpiły na liście B zarówno w roku 2014, jak 2015 (co oznacza pełną porównywalność, ale także pominięcie prawie jednej czwartej journali zgłoszonych w bieżącej edycji). W oczy rzuca się przede wszystkim to, że rozkład z 2015 roku ma większy „ogon” po prawej stronie (co zilustrował już Emanuel Kulczycki). Widać, że rozkład z 2014 był w miarę symetryczny wokół średniej, z tym zastrzeżeniem, że czasopism za 9 i 10 było nieco mniej niż tych za 2 i 3 punkty. W 2015 roku pojawiła się wyraźna asymetria o odwrotnym charakterze – mamy wyraźną przewagę liczbową czasopism z wynikiem wyższym niż średni. Takie rozkłady przypominają nieco sytuację, gdy studentom przygotuje się trochę zbyt łatwy test. Mogło się tak stać m.in. dlatego, że eksperci oceniając czasopisma w obrębie własnej dziedziny mieli powody, by przyznawać raczej wysokie noty – trzeba przecież pamiętać, że w parametryzacji konkurują nie tylko same jednostki naukowe, ale całe dyscypliny – zwłaszcza w ramach łączonych GWO (ta dyscyplina, która ma niżej punktowane journale przegrywa w przedbiegach).
O ile w roku 2014 wypadało redakcji cieszyć się z uzyskania 6 lub 7 punktów, ponieważ był to wynik ponadprzeciętny, to te same wartości w 2015 roku oznaczały już znalezienie się poniżej średniej. Ta ostatnia w grupie analizowanych czasopism wzrosła bowiem z 5,1 do 8,2. Gdyby wziąć pod uwagę wszystkie pozycje na liście B z roku 2015, w tym nowe, średnia wynosiłaby niewiele mniej – 7,8.
Charakter generalnego kierunku zmiany punktacji pokazuje dokładniej poniższy wykres. Przedstawiony jest na nim rozkład różnicy punktów między 2015 i 2014 rokiem (ponownie – tylko tych czasopism, które były oceniane w ramach listy B w obu latach). Widać tu wyraźnie, że spadków było stosunkowo mało i były one niewielkie. Tytuły straciły od jednego do 4 czterech punktów. Wzrosty wyraźnie przeważały nad spadkami i wyniosły do 11 punktów. Aż 67 czasopism awansowało o 8 lub więcej punktów, wliczając w to spektakularne skoki o 800% (z 1 do 9) czy na drugą stronę skali (z 3 do 14).
Co oznaczają te zmiany w szerszej perspektywie?
(1) Wyraźny wzrost punktacji czasopism krajowych jest tożsamy z relatywnym obniżeniem wagi punktów zdobywanych za publikacje na liście A (gdzie średnia jest bez zmian), czyli w czasopismach zagranicznych posiadających impact factor (wysoką cytowalność). Warto przypomnieć, że w parametryzacji wszystkie artykuły rozpatruje się łącznie (sumując), a w przypadku większości jednostek zdecydowanie dominują publikacje z listy B.
(2) Najwyżej punktowane czasopisma z listy B premiują autorów w tym samym stopniu co te najsłabsze z listy A. Oznacza to, że dobre opinie krajowych badaczy stały się funkcjonalnym ekwiwalentem niższych wartości impact factora.
(3) Jeśli weźmiemy pod uwagę różnicę w trudności publikacji w czasopismach indeksowanych w JCR i krajowych (nawet z powodów translatorskich), to osłabione zostały bodźce do pracy nad tymi pierwszymi.
Jako post scriptum warto zamieścić link do rozkładu wyników ankiety, która posłużyła jako narzędzie oceny eksperckiej. Wykres zamieścił Emanuel Kulczycki jako zapowiedź artykułu, który ma się wkrótce ukazać w „Nauce”: http://a.disquscdn.com/uploads/mediaembed/images/3001/6518/original.jpg.
Wykres ten doskonale pokazuje, że eksperci byli w swoich ocenach dość instrumentalni, przyznając głównie wartości skrajne. W przypadku obiektywnej oceny eksperckiej należałoby się raczej spodziewać rozkładu zbliżonego do normalnego (mało słabych czasopism, mało najwybitniejszych, dużo przeciętnych).
Pingback: Listy czasopism punktowanych 2015, czyli 15 pkt na liście B i falstart SCOPUSa | PAN naukowiec
Bardzo ciekawe zestawienia, zwłaszcza to nałożenie histogramów i komentarz do rozkładów. Ze swojej strony dodam jedynie, że za ten ogon z prawej strony w histogramie 2015 odpowiedzialne są czasopisma które przesżły z listy C (minimum 58 z punktacją 10 i więcej) – ale nie tłumaczy to całości asymetrii. Więcej o zmianach na liście C (gdzie też się 'działo) można poczytać w tym wpisie.
Drobna korekta odnośnie do listy A – nie są to wyłącznie 'czasopisma zagraniczne’ – sporo tam też krajowych, czasem wydawanych po polsku. Sporo jest głosów zwracających uwagę na bardzo słaby poziom czasopism z dolnych rejestrów JCR. Tym samym dobrze, że lista B punktowo urosła, źle, że ocena ekspercka miała taki rozkład …
W naszym zestawieniu wzięliśmy pod uwagę tylko czasopisma z listy B z 2014 i 2015 roku, które pojawiły się w ocenie w obu latach. Chodziło o porównanie różnic działania algorytmu oceny krajowych czasopism. Wszystkie z listy C w 2014 dostawały 10 puntów, więc nie działał tu żaden algorytm.