W przełomowym badaniu model sztucznej inteligencji oparty na strukturze GPT-4 wykazał swoją zdolność do dostarczania spostrzeżeń i cennych informacji zwrotnych, które przewyższały ekspertów w ocenie artykułów naukowych, ich przydatności, a w niektórych przypadkach jakości i potencjału badawczego. Model oparty na sztucznej inteligencji skutecznie upraszcza proces wzajemnej oceny, dostarczając dostosowanych rekomendacji, które wielu badaczy uważa za cenne i planuje ponownie wykorzystać.
MEDİMAZİN – Naukowcy opracowali i zweryfikowali model dużego języka (LLM), który konstruuje konstruktywne komentarze w artykułach naukowych, koncentrując się na takich aspektach, jak nowość, znaczenie, przyczyny akceptacji lub odrzucenia oraz sugestie dotyczące ulepszeń. Wykorzystując strukturę GPT-4, model przetwarza surowe artykuły naukowe w formacie PDF, które odzwierciedlają strukturę recenzji interdyscyplinarnych czasopism naukowych.
Analiza porównawcza: sztuczna inteligencja i sędziowie-ludzie
Wyniki zakrojonej na szeroką skalę analizy systematycznej wykazały, że model sztucznej inteligencji zapewnił informacje zwrotne porównywalne z informacjami uzyskanymi od badaczy-ludzi. Późniejsi użytkownicy w środowisku naukowym badaniePonad 50% badaczy było zadowolonych z informacji zwrotnych dotyczących sztucznej inteligencji, a 82,4% uznało, że informacje zwrotne dotyczące sztucznej inteligencji są bardziej przydatne niż recenzenci.
Pokazuje to, że sztuczna inteligencja może uzupełniać opinie ludzi podczas procesu recenzji naukowej, szczególnie na wczesnych etapach przygotowywania manuskryptu.
Historycznie rzecz biorąc, naukowcy-rówieśnicy wnieśli znaczący wkład w postęp w różnych dziedzinach, sprawdzając treść artykułów naukowych pod kątem ważności i dokładności. Jednakże proces recenzji naukowej jest coraz bardziej pracochłonny i wymaga dużych zasobów ze względu na szybkie tempo badań i życia osobistego. Gwałtowny wzrost liczby publikacji i rosnąca specjalizacja dziedzin badań naukowych dodatkowo komplikują tę tendencję.
Odgrywa ważną rolę w korekcie prac naukowych
Ustrukturyzowane ramy matematyczne informacji i komunikacji zwane „entropią informacyjną” zostały opracowane w latach czterdziestych XX wieku przez Claude’a Shannona. Koncepcja ta odgrywa ważną rolę w walidacji treści prac naukowych pod kątem ważności, trafności interpretacji i komunikacji. Jest to ważne przy pojawianiu się nowych interdyscyplinarnych paradygmatów naukowych poprzez wymianę pomysłów i konstruktywne dyskusje.
W ostatnich latach badano metody LLM, szczególnie te wykorzystujące architekturę transformatorową, jako narzędzia do sprawdzania artykułów, weryfikacji list kontrolnych i identyfikacji błędów.
Celem tego badania jest opracowanie i przetestowanie LLM w oparciu o ramy GPT-4, koncentrując się na kluczowych aspektach, takich jak znaczenie badań i innowacyjność, możliwe przyczyny akceptacji lub odrzucenia oraz zalecenia dotyczące ulepszeń.
radzili sobie nieco lepiej niż ludzie
Wyniki oceny retrospektywnej wykazały imponujący wynik dokładności F1 na poziomie 96,8% (usunięcie), co wskazuje, że model GPT-4 był w stanie wykryć i usunąć prawie wszystkie istotne uwagi krytyczne ze strony recenzentów.
Według kilku niezależnych recenzentów model działał nieco lepiej niż ludzie. Ponadto ponad 50% uczestników wyraziło chęć ponownego wykorzystania modelu GPT-4 w przyszłości, podkreślając sukces modelu i potencjalną wartość opracowania podobnych narzędzi automatyzacji w celu poprawy jakości życia badaczy.
Przechytrz naukowców
Chociaż opracowane modele sztucznej inteligencji i podobne narzędzia nie mają na celu całkowitego zastąpienia wkładu ludzkiego, mogą uzupełniać istniejące systemy w procesie naukowym, zwiększać potencjał wyjściowy i demokratyzować dostęp w całej społeczności badawczej.
Model sztucznej inteligencji pokazał, że może dorównać, a nawet przewyższyć ekspertów naukowych w dostarczaniu przyszłym nauczycielom odpowiednich, nieogólnych koncepcji badawczych, zmniejszając obciążenie pracą i presję wywieraną na badaczy.
„Rozrabiaka. Internetowy ćpuna. Telewizyjny znawca. Fanatyk alkoholu. Praktyk piwa. Oddany myśliciel. Rozwiązuje problemy. Pisarz. Znawca kawy”.