Czym różni się polski PLLuM od innych modeli sztucznej inteligencji?

PLLuM czyli Polish Large Language Universal Model to wyszkolony na języku polskim model sztucznej inteligencji, który umożliwia generowanie tekstu oraz przetwarzanie języka naturalnego. Już w tym roku będzie zaimplementowany w administracji publicznej w Polsce.

PLLuM – prawdziwa polska sztuczna inteligencja

.Prace nad PLLuM koordynuje Ośrodek Badań nad Bezpieczeństwem Sztucznej Inteligencji NASK. W odróżnieniu od komercyjnych modeli LLM (takich jak ChatGPT, Claude czy Gemini), modele PLLuM wyspecjalizowane są w języku polskim, choć do ich trenowania używano również tekstów w innych językach słowiańskich, bałtyckich oraz oczywiście w języku angielskim.

„Model jest dostosowany do języka i kultury polskiej. Prace w ramach tego projektu wspierają zaś polskich ekspertów i rozwój kompetencji w dziedzinie sztucznej inteligencji – mówi dyrektor Ośrodka i uczestnik projektu prof. AGH dr hab. Szymon Łukasik.

Tłumaczy, jak ważne były w ramach prac kwestie bezpieczeństwa i etycznego podejścia do budowy AI. „Filozofią przyświecającą budowie tego modelu było to, żeby kwestie zbierania danych były maksymalnie przejrzyste. Żebyśmy mieli pewność, na jakim polu modele zbudowane z ich użyciem można wykorzystać” — powiedział dr hab. Łukasik. Wskazał, że przedstawiciele projektu zawierali np. umowy z redakcjami i pozyskiwali oficjalne zgody na korzystanie z archiwów polskich tekstów.

Ekspert z NASK tłumaczy, że język polski jest językiem o niskich zasobach. A to znaczy, że danych, które można wykorzystać do budowy modeli, nie ma zbyt dużo. Modele PLLuM do użytku komercyjnego są trenowane na ok. 30 miliardach tokenów (token to kawałek przetwarzanego tekstu – np. słowo lub jego fragment); zaś modele do użytku niekomercyjnego – dla takiego celu zasobów jest znacznie więcej – były trenowane na około 150 miliardach.

Modele PLLuM docelowo mają być używane w administracji państwowej, a to oznacza kolejne wyzwania związane z bezpieczeństwem. Twórcy projektu musieli zadbać o to, by model stawiał w swoich odpowiedziach granice i by nie padały tam jakieś nielegalne, nieprawdziwe lub kontrowersyjne treści. 

Do doszkalania modeli wykorzystano największy w Polsce, bo liczący 40 tys. interakcji, zbiór zapytań, w tym około 3,5 tys. dłuższych dialogów między tutejszymi trenerami a maszyną. Dzięki tej mrówczej pracy tzw. anotatorów AI ma sobie lepiej radzić ze specyfiką polskiego języka i polskiej kultury. Bbyło to ogromne wyzwanie dla zespołu programistów.

„Dbaliśmy o to, żeby dane pozyskiwać w sposób etyczny i legalny. Rozpoczęliśmy od gruntownej analizy stanu prawnego, w szczególności przepisów prawa polskiego i unijnego właściwych dla ochrony praw autorskich. Duży nacisk położyliśmy na pozyskiwanie danych bezpośrednio od wydawców na podstawie umów licencyjnych. W przypadku danych ze źródeł publicznie dostępnych weryfikowaliśmy licencje kolejnych zasobów oraz obecność zastrzeżeń względem TDM, czyli dozwolonego użytku w zakresie eksploracji tekstów i danych” – mówi dr Agnieszka Karlińska z NASK.

Modele PLLuM w konsorcjum HIVE

.Modele PLLuM udostępnione są bezpłatnie w formie czatu wszystkim zainteresowanym na stronie internetowej Ponadto na innej stronie Ministerstwo Cyfryzacji opublikowało też 18 otwartych wersji modelu PLLuM dla programistów. Do dyspozycji wszystkich zainteresowanych są więc zarówno lekkie, ale mniej dokładne wersje modeli, które można ściągnąć na laptopa, jak i mocniejsze, ale wymagające wielu kart graficznych modele do bardziej zaawansowanych zastosowań – np. badawczych. W przypadku obu typów istnieje możliwość uruchomienia modeli na własnej infrastrukturze, bez konieczności przekazywania zapytań do podmiotów zewnętrznych. 

W ramach projektu powstały też generatory, czyli wyspecjalizowane modele RAG-owe (ang. Retrieval Augmented Generation). Dzięki takim modelom można np. przeszukiwać i analizować swoje lokalne bazy danych i tworzyć wirtualnych asystentów analizujących zbiory własnych dokumentów. Zespół PLLuM zbudował najmniejszy (8 mld parametrów) ale wiodący w rankingach dla polskiego języka generator tego typu.

„Nasze modele nazywają się PLLuM, a ich rodzina będzie dalej rozwijana w ramach konsorcjum HIVE. Chcieliśmy w ten sposób nawiązać do idea współpracy wielu badaczy, inżynierów i instytucji, działających niczym pszczoły w jednym ekosystemie, wymieniając się wiedzą i zasobami (np. danymi, kodem, modelami). Natomiast być może kiedyś będziemy chcieli wypuścić jakąś nową rodzinę modeli – z nową nazwą. Rozmawiamy o tym z Ministerstwem Cyfryzacji” – mówi dr Łukasik. 

Już wiadomo, że nowym konsorcjum HIVE pokieruje dr Agnieszka Karlińska z NASK. Modele PLLuM będą rozwijane pod kątem zastosowań w urzędach, w postaci tzw. asystentów urzędniczych oraz asystenta w mObywatelu. Inteligentni asystenci mają mieć formę chatbotów i będą się specjalizować w pytaniach zadawanych urzędnikom i przez urzędników oraz udzielaniu odpowiedzi na pytania Polaków w mObywatelu . HIVE już zapowiada, że pilotażowe wdrożenie modeli PLLuM będzie miało miejsce jeszcze tym roku w tym w resorcie cyfryzacji i w wybranym urzędzie.

„Dysponujemy małymi modelami, które jak najbardziej można będzie wdrożyć nawet w mniejszych urzędach. Jest to możliwe, ponieważ część modeli zostało stworzonych w architekturze MoE (ang. Mixture of Experts), która optymalizuje liczbę aktywnych parametrów, co poprawia wydajność i redukuje zużycie zasobów – wyjaśnia dr Agnieszka Karlińska.

Generatywne narzędzia AI zmienią nasze społeczeństwo w dziwny, cudowny i niepokojący sposób. Czy filozofia może pomóc nam nad nimi zapanować? – pyta na łamach „Wszystko co Najważniejsze” prof. Seth LAZAR. Jak zauważa, w odpowiedzi na pojawienie się LLM-ów społeczność odpowiedzialnych badaczy AI podzieliła się na dwa spolaryzowane obozy. Jedni potępiają te systemy jako apoteozę cyfrowego kapitalizmu opartego na eksploatacji i wyzysku, drudzy postrzegają jako zwiastun czegoś nowego: eksplozji inteligencji, która ostatecznie zmiecie ludzkość z powierzchni Ziemi. „Brakuje nam scenariusza przewidującego co znajdzie się pomiędzy konsekwencjami, które już znamy, a katastrofą, której się obawiamy” – zauważa badacz.

Cały jego esej można przeczytać tutaj: https://wszystkoconajwazniejsze.pl/prof-seth-lazar-etyka-przelomu-o-przyszlosci-ai/

PAP/Ludwika Tomala/WszystkocoNajważniejsze/ad