AI Lab działający w Ośrodku Przetwarzania Informacji (OPI) opracował nową rodzinę modeli językowych PolDense dedykowanych do wyszukiwania informacji. To kolejne rozwiązanie rozwijane przez zespół badawczy OPI, którego celem jest tworzenie nowoczesnych technologii sztucznej inteligencji dostosowanych do języka polskiego oraz potrzeb krajowych użytkowników i instytucji. Modele PolDense zostały opracowane z myślą o systemach pracujących z dużymi wolumenami danych nieustrukturyzowanych, w szczególności w wyszukiwarkach, chatbotach, asystentach AI oraz aplikacjach wykorzystujących popularną obecnie architekturę RAG (Retrieval Augmented Generation). Najlepszym potwierdzeniem jakości modeli PolDense są wyniki w Polish Information Retrieval Benchmark (PIRB) – jednym z najważniejszych benchmarków służących do oceny skuteczności modeli wyszukiwania informacji w języku polskim. W publicznym rankingu PIRB model PolDense 1B zajmuje obecnie pierwsze miejsce, osiągając najwyższy średni wynik spośród wszystkich ocenianych modeli.
AI Lab rozwija kluczowe komponenty nowoczesnych systemów AI
Coraz więcej rozwiązań wykorzystujących duże modele językowe opiera się na podejściu RAG, które pozwala generować odpowiedzi nie tylko na podstawie wiedzy zapisanej w modelu, lecz przede wszystkim na podstawie aktualnych i wyszukanych w czasie rzeczywistym dokumentów typowych dla danej domeny czy branży. Skuteczność takich systemów zależy w dużym stopniu od jakości mechanizmu wyszukiwania informacji. Najlepsze rezultaty w tym obszarze osiągają obecnie tzw. dense retrievery – modele oparte na głębokich sieciach neuronowych, które potrafią przekształcać pytania i dokumenty w kompaktowe reprezentacje wektorowe, umożliwiające precyzyjne wyszukiwanie treści na podstawie znaczenia, a nie wyłącznie dopasowania słów kluczowych.
Właśnie nad tego typu technologiami wyszukiwania informacji pracuje obecnie AI Lab OPI. Zespół rozwija rodzinę modeli PolDense, dedykowaną językowi polskiemu oraz rozwija również model EuroDense, który obejmie najważniejsze języki europejskie.
– Udostępnienie modeli PolDense to kolejny krok w budowaniu polskich kompetencji w obszarze sztucznej inteligencji. Tworzymy otwarte technologie, które mogą być wykorzystywane przez naukowców, administrację publiczną i przedsiębiorców do budowy nowoczesnych, efektywnych i bezpiecznych narzędzi AI. Warto podkreślić, że jeden z nowych modeli OPI jest na pierwszym miejscu wg Polish Information Retrieval Benchmark, wyprzedzając wielojęzyczne modele typu llama czy bge – mówi dr hab. inż. Jarosław Protasiewicz, dyrektor Ośrodka Przetwarzania Informacji.
Model OPI liderem rankingu PIRB!
Potwierdzeniem jakości modeli PolDense są wyniki w Polish Information Retrieval Benchmark (PIRB) – jednym z najważniejszych benchmarków służących do oceny skuteczności modeli wyszukiwania informacji w języku polskim. W rankingu PIRB model PolDense 1B zajmuje obecnie pierwsze miejsce, osiągając najwyższy średni wynik spośród wszystkich ocenianych modeli. Wyprzedza przy tym znacznie większe rozwiązania wielojęzyczne, w tym modele liczące nawet blisko 10 miliardów parametrów. Wynik ten potwierdza, że rozwiązania opracowane przez AI Lab OPI należą do światowej czołówki technologii wyszukiwania informacji dla języka polskiego, oferując jednocześnie korzystniejszy stosunek jakości do kosztów wdrożenia.
–Pierwsze miejsce modelu PolDense 1B w rankingu PIRB pokazuje, że wyspecjalizowane modele tworzone z myślą o języku polskim mogą wyznaczać standardy jakości nie tylko na rynku krajowych modeli, ale również skutecznie konkurować z wielokrotnie większymi modelami międzynarodowymi/ multijęzycznymi. To efekt wieloletnich badań prowadzonych w AI Lab OPI nad nowoczesnymi neuronowymi modelami reprezentacyjnymi oraz specjalistycznymi modelami wyszukiwania informacji dla języka polskiego – mówi dr inż. Sławomir Dadas, zastępca kierownika AI Lab w Ośrodku Przetwarzania Informacji.
Sześć modeli OPI dopasowanych do różnych zastosowań
Rodzina PolDense obejmuje sześć modeli opartych na architekturze ModernBERT i technologii ettin-encoders. Modele posiadają od 17 milionów do 1 miliarda parametrów, co pozwala dobrać rozwiązanie zarówno do wdrożeń wymagających najwyższej jakości, jak i do środowisk o ograniczonych zasobach sprzętowych. Modele potrafią analizować teksty o długości nawet 8192 tokenów, dzięki czemu lepiej zachowują kontekst długich dokumentów oraz skuteczniej identyfikują najbardziej trafne informacje.
Największy model z rodziny – PolDense 1B – osiągnął wynik 64,11 punktu w benchmarku PIRB, ustanawiając nowy poziom jakości dla wyszukiwania informacji w języku polskim. Jednocześnie wyprzedził znacznie większe modele wielojęzyczne, takie jak Llama-Embed-Nemotron-8B (63,73) oraz BGE-Multilingual-Gemma2-9B (63,26).
Modele o wielkości 400 mln i 150 mln parametrów oferują bardzo konkurencyjne wyniki względem rozwiązań posiadających kilka miliardów parametrów, natomiast najmniejsze warianty – 68 mln, 32 mln i 17 mln parametrów – zostały zaprojektowane z myślą o wdrożeniach na procesorach CPU, urządzeniach mobilnych oraz środowiskach edge computing.
Otwarte rozwiązania od OPI dla nauki, administracji i biznesu
Modele PolDense zostały udostępnione przez Ośrodek Przetwarzania Informacji jako rozwiązania open source. Dzięki temu mogą być wykorzystywane do budowy własnych mechanizmów wyszukiwania, systemów RAG i narzędzi wspierających pracę z bazami dokumentów. Zastosowanie modeli PolDense pozwala nie tylko poprawić jakość wyszukiwania informacji, lecz także obniżyć koszty wdrożeń poprzez wykorzystanie mniejszych i bardziej efektywnych obliczeniowo modeli bez utraty wysokiej skuteczności działania.
– PolDense pokazuje, że można tworzyć modele wyspecjalizowane dla języka polskiego, które nie tylko konkurują z największymi rozwiązaniami światowymi, ale w wielu specyficznych zadaniach osiągają od nich lepsze wyniki. Naszym celem było opracowanie rodziny modeli odpowiadającej na potrzeby bardzo różnych zastosowań – od dużych systemów korporacyjnych, po lekkie wdrożenia działające lokalnie. Wszystkie modele udostępniamy za darmo na platformie Hugging Face, aby wspierać rozwój polskiego ekosystemu AI – podsumowuje dr inż. Marek Kozłowski, kierownik AI Lab w Ośrodku Przetwarzania Informacji.
– Cieszę się z sukcesów modeli PolDense, jednak nie spoczywamy na laurach. W kolejnych miesiącach AI Lab OPI planuje udostępnienie modelu EuroDense, który wspiera wyszukiwanie informacji w dziewięciu językach europejskich – dodaje kierownik AI Lab w OPI.
Modele PolDense powstały w projekcie LLMs4EU
Modele PolDense zostały opracowane w ramach projektu Large Language Models for the European Union (LLMs4EU) realizowanego przez konsorcjum Alliance for Language Technologies – ALT-EDIC. Celem projektu jest rozwój i udostępnianie modeli, narzędzi oraz usług opartych na sztucznej inteligencji dla pięciu kluczowych sektorów: nauki, usług publicznych, turystyki, telekomunikacji oraz energetyki. Projekt ma zachęcać do wykorzystywania europejskich technologii AI przez instytucje publiczne oraz małe i średnie przedsiębiorstwa. LLMs4EU jest współfinansowany ze środków UE w ramach programu Digital Europe Programme oraz Ministerstwa Cyfryzacji.
Modele PolDense dostępne są za darmo na platformie Hugging Face.
