Czasopisma drapieżne, fałszywe treści i AI. Nauka szuka mechanizmów obrony

Debata: Sci-AI – jak Akademia odzyskuje mechanizmy samonaprawcze. Moderator: Aleksander Rej
student politologii, Wydział Nauk Politycznych i Studiów Międzynarodowych, Uniwersytet Warszawski
Uczestnicy: prof. dr hab. Magdalena Musiał-Karg (Prezes PTNP, Wiceprezes IPSA, UAM); dr hab. Łukasz Zamęcki, prof. UW (Prodziekan ds. Nauki WNPiSM, UW); Daniel Suszka (student politologii, WNPiSM UW)

Sztuczna inteligencja nie tylko zmienia sposób, w jaki uczymy się, piszemy i wyszukujemy informacje. Coraz mocniej wpływa także na samą naukę: publikacje, recenzje, ocenę dorobku badaczy i zaufanie społeczne do wiedzy eksperckiej.

– Dzięki Panu Profesorowi dzieci odzyskują słuch. Jeśli odzyskały już słuch, to pytanie, czy w świecie, w którym za niedługo się znajdą, będą miały możliwość odróżnienia, czy to, co słyszą, jest prawdą, czy tylko fikcją – postawił fundamentalne pytanie Aleksander Rej, student politologii z Wydziału Nauk Politycznych i Studiów Międzynarodowych Uniwersytetu Warszawskiego. Nawiązał w ten sposób do dylematu, czy sztuczna inteligencja może dziś osłabiać mechanizmy kontroli jakości w nauce, czy pomagać w ich odbudowie, na przykładzie systemu publikacji naukowych. Aktualnie treści opublikowane nawet w punktowanych czasopismach nie zawsze muszą być rzetelną nauką. Szczególne ryzyko pojawia się w epoce sztucznej inteligencji, która może przyspieszać produkcję tekstów, zaburzać proces recenzji i wzmacniać istniejące patologie. Dlatego uczestnicy sesji „Sci-AI – jak akademia odzyskuje mechanizmy samonaprawcze” dyskutowali, jak chronić naukę przed pseudonauką, czasopismami drapieżnymi i nadprodukcją treści generowanych przez AI. Jednym z głównych wątków debaty był problem czasopism drapieżnych. To periodyki o wątpliwych praktykach recenzyjnych, publikacyjnych i jakościowych, które jednak uzyskały wysoką punktację, co skłaniało badaczy do publikowania w nich ze względu na szybki proces i korzyści ewaluacyjne.

Aleksander Rej zaprezentował narzędzie wykorzystujące sztuczną inteligencję do analizy ryzyka drapieżnego charakteru czasopism. Jak wyjaśniał, bazuje ono na metodologii Predation Index, rozwiniętej o dodatkowe kryteria, i pozwala automatycznie sprawdzać m.in. informacje o redakcji, wydawcy, polityce recenzji, archiwizacji treści czy tempie publikacji. Narzędzie nie ma działać intuicyjnie, ale na podstawie dowodów pobieranych ze stron czasopism. Może więc pomagać badaczom, zwłaszcza młodym, w szybszej i bardziej uporządkowanej ocenie, czy dane czasopismo budzi zastrzeżenia. To oznacza, że AI może być nie tylko źródłem zagrożeń, ale także narzędziem do ich neutralizowania.
– Predation Index to jest przede wszystkim narzędzie, które pozwala nam uporządkować proces oceny. Jego wartość polega już nie na tym, że intuicyjnie oceniamy, czy czasopismo ma charakter podejrzany, czy nie, ale mamy przynajmniej konkretne kryteria, które pozwalają nam ocenić ryzyko, czy dane czasopismo ma podejrzane praktyki publikowania, czy nie. Dla mnie najważniejszą wartością tego narzędzia jest pomoc badaczom, którzy mają wątpliwości, czy warto w danym czasopiśmie publikować – oceniła prof. Magdalena Musiał-Karg, prezes PTNP, wiceprezes IPSA, UAM.

Prof. Łukasz Zamęcki, prodziekan ds. nauki WNPiSM UW, zwracał uwagę, że dotychczasowy system oceny nauki był zbudowany na założeniu, że produkcja tekstu naukowego jest kosztowna czasowo i organizacyjnie: – Bardzo wiele czasu zajmuje przygotowanie tekstu, przeprowadzenie badań i tak dalej. AI bardzo skraca ten czas oraz różnego rodzaju koszty, nie tylko finansowe.

AI obniżyła koszt produkcji tekstów, a tym samym zwiększyła skalę zjawisk. Powoduje m.in. nadprodukcję tekstów i szum informacyjny, z którym trudniej sobie poradzić. Jednocześnie AI może pomagać w weryfikowaniu części tej nadprodukcji. Zdaniem prof. Zamęckiego odpowiedzią powinno być odejście od oceny wyłącznie ilościowej na rzecz jakości procesu badawczego: – Ważne stają się dostępność danych, przejrzystość metodologii i audytowanie samego procesu powstawania badań. Potrzebne będą także regulacje państwa i zmiana polityki naukowej, m.in. większy nacisk na jawność danych, wersje procesu badawczego i możliwość reprodukcji wyników – wymieniał.

Ważnym tematem była również rola AI w procesie recenzowania. – Recenzowanie nie polega wyłącznie na wychwytywaniu błędów formalnych, niespójności, błędów technicznych, ale przede wszystkim ocena recenzyjna powinna się koncentrować również na wkładzie danego artykułu do rozwoju danej dyscypliny, do wypełnienia luki badawczej. AI tego nie jest w stanie ocenić. Potrzebujemy wiedzy eksperckiej, doświadczenia badawczego i intelektualnego – mówiła prof. Musiał-Karg.

Prof. Zamęcki dopowiadał, że wykorzystanie AI w nauce będzie narastało, także przy analizach statystycznych, skryptach czy porządkowaniu danych. Kluczowe pozostaje jednak to, kto zadaje pytania badawcze i czy są one rzeczywiście innowacyjne: – Tutaj AI oczywiście może być pomocą, ale pewnie nie zastąpi badacza – podsumował prof. Zamęcki.

Daniel Suszka, student politologii, WNPiSM UW, przedstawił perspektywę młodego pokolenia. Jak mówił, przyszli badacze i przyszłość polskiej edukacji są dziś w szkołach podstawowych i ponadpodstawowych, a uczniowie już teraz żyją w środowisku informacyjnym, którego często nie potrafią zweryfikować:

– Przyszli badacze, a dzisiaj jeszcze uczniowie, na co dzień spotykają się z falą informacji, której nie potrafią ani zapobiec, ani w dużej części nie potrafią odróżnić, czy są to informacje prawdziwe, czy również nieprawdziwe. Oni już nie wyszukują informacji w przeglądarkach internetowych, tak jak Google. Wszystkie swoje decyzje codzienne, jakie ubrania kupić, na kogo zagłosować w wyborach, wszystko czerpią ze sztucznej inteligencji, z czata GPT, z modelu Gemini – opowiadał.