"Jak oceniać pracę naukowców? Dylematy z rynku amerykańskiego"

Czy łatwo jest oceniać pracę naukowców? Niekoniecznie. Ocena wartości wkładu naukowego w informatyce – dziedzinie prężnej, nowej i często podlegającej zmianom – jest trudna, a ograniczanie się do liczby publikacji może być mylące. Istnieje przecież wiele innych rodzajów wartościowego wkładu, takich jak: innowacyjne aplikacje, wdrożenia, wpływ na gospodarkę i rzeczywistość oraz regulację i kształtowanie polityki [policy-making].

Obecnie w USA trwa dyskusja nad zmianą akcentów w ocenie naukowców w dziedzinie informatyki. Oczywistym jest, że w informatyce najwartościowsze prace publikowane są w topowych (tzw. top-tier) konferencjach. Przy czym na poddziedzinę (takie jak np. „sztuczna inteligencja”, AI) przypada zwykle jedynie kilka takich miejsc. Publikacje w czasopismach często niekoniecznie są traktowane jako wartościowy dorobek.

Jednakże badania i ośrodki naukowe w informatyce (naukach obliczeniowych i inżynierii; ang. computer science and computer engineering) rozwinęły się na tyle, że potrzebne są zmiany. Staje się trudno zauważyć wartościowy wkład przy obecnej skali — ilości naukowców i prac naukowych. Można wymienić choćby dwa problemy:

• Coraz więcej ludzi konkuruje o miejsce na konferencjach; tzw. stopa przyjęć przesłanych publikacji dla kluczowych konferencji w niektórych dziedzinach wynosi często 10-15%) – powoduje to także problemy przy  recenzjach, które zabierają naukowcom coraz więcej czasu;
• Wiele osób konkuruje również o granty. Jak zidentyfikować naukowców zapewniających kluczowy wkład w badania?

Proponuje się, by wprowadzić drobne zmiany w wymaganiach, które jednak w sposób istotny odwrócą akcenty. W 2013 roku wyłoniony został komitet kilkunastu osób, które będą nadzorowały wypracowywanie zaleceń dla zmian, a wnioski zostaną zaprezentowane zimą przyszłego roku.

Bardzo ciekawe są wyniki wywiadów z poszczególnymi naukowcami z różnych ośrodków w USA. Wyłania się z nich obraz obaw – wiele wyników badawczych jest „inkrementalnych”, czyli są to rozwinięcia już znanych pomysłów i idei, a nie prezentacje nowych, odważnych i przełomowych pomysłów. Problemem pozostaje dzielenie wyników na kilka publikacji, zamiast prezentowanie ich w formie kompletnej, w jednej pracy. Kwestią istotną jest również inflacja (wzrost) publikacji, ale również miejsc do publikowania tychże badań. Powoduje to, że w pracy badawczej działa się „od deadline do deadline’u”, co nie jest optymalne pod względem kreatywności. Jednak jaka jest przyczyna tego faktu?

Anonimowe osoby biorące udział w wywiadach stwierdzają jasno: wymagania co do ilości publikacji ustawione są zdecydowanie zbyt wysoko. Ale też w efekcie wyjątkowo wysokie osiągi niektórych naukowców stają się nowymi standardami. Powstaje więc łańcuch ze sprzężeniem zwrotnym. Coraz lepsze osiągi napędzają wyższe wymagania.

Problemy dotykają również doktorantów. Również i tam zidentyfikowanym problemem są wymogi co do liczby publikacji – i przedkładanie ich nad jakość. Jak zauważył jeden z profesorów, obecnie doktoranci kończą z liczbą publikacji większą, niż on posiadał gdy zaczynał pracę (tenure) – 20 lat temu.

Problem jest jasny. Jak go rozwiązać?

Odwrócić wymogi: więcej jakości, mniej ilości. Wymusi się to wymaganiami przy zatrudnianiu na stanowiska profesorskie oraz awansach. Zamiast skupiać się na ilości, niech kandydat wybierze – jego zdaniem – kilka najlepszych prac, w które miał on kluczowy wkład. I to one poddane zostaną ocenie.

Innym problemem są miejsca dla publikacji, czyli konferencje. Rekomendacje są tu jasne: promować jakość, znieść limity stron przy bibliografii i załącznikach (opis danych i metod, dowody twierdzeń itp) w publikacjach. Jest to istotnie problemem, gdy praca w przygotowaniu ma stron 30, natomiast nieubłaganym limitem jest tychże stron 10 i tylko dwie na bibliografię.

To jednak nie koniec, ponieważ powstaną zachęty aby stworzyć także miejsca dla projektów, nad którymi nadal się pracuje. Pozwoli to uzyskać szybką opinię na temat tych badań, oraz poddać je dyskusji. A same publikacje powinny prezentować wyniki i dane w taki sposób, by możliwe było odtworzenie tej analizy w celu jej weryfikacji. Oczywiście kluczowym nadal będzie odkrywczość wyników. Zauważa się ponadto, że narzędzia, programy, patenty i komercjalizacja są istotnym (lecz nie jedynym) czynnikiem w dorobku naukowym.

Jakie stąd płyną wnioski? Warto skupić się na jakości. Zamiast publikować pięć prac w mniejszych miejscach (konferencjach), być może lepiej skupić się na jednej kierowanej w dobre miejsce. Do tego potrzebni są oczywiście ludzie mający wiedzę i pomysły. Trzeba też pamiętać, że powyższe odnosi się do sytuacji w USA, gdzie badania w informatyce mają długą tradycję oraz inny kontekst. Obecne są tam też  wysokiej klasy instytucje naukowe, o uznanej renomie i tradycjach, a także zespoły badawcze – często o znacznych osiągnięciach. W Polsce być może jeszcze nie występuje zjawisko inflacji publikacji, a kryteria naboru doktorantów i kadry są inne (m.in. często brak otwartych konkursów oraz mobilności); brak też aktywnego uczestnictwa w konferencjach top-tier. Jednak kierunek skupienia na jakości i premiowania publikacji w najlepszych miejscach wydaje się na miejscu.

Łukasz Olejnik

Więcej na ten temat: Cra.org.