В Україні запустили національний рейтинг ШІ-моделей за якістю української мови: як це працює
В Україні запустили національний рейтинг ШІ за якістю української мови. Фото: Getty Images
В Україні запустили Ukrainian LLM Leaderboard — перший національний рейтинг, який оцінює, наскільки якісно різні моделі штучного інтелекту працюють саме з українською мовою. Про це повідомляють у Мінцифри.
Проєкт створили Центр компетенцій WINWIN AI при Мінцифри спільно з Українським католицьким університетом та ініціативою lang-uk. Відкрита платформа має допомогти державі, бізнесу й дослідникам обирати ШІ-моделі на основі реальних результатів, а не маркетингових заяв розробників.
Як зазначають у Мінцифри, раніше глобальні рейтинги мовних моделей переважно тестували їх англійською, тоді як якість роботи з українською часто оцінювали через машинний переклад. Через це реальні помилки моделей могли залишатися непомітними.
Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять, де досі є прогалини в якості роботи з українською. Метою створення українського лідерборду було дати відповідь на ці питання, зібравши наявні бенчмарки від спільноти українського NLP та створивши нові. Сподіваюся, наша ініціатива допоможе як бізнесу у виборі найкращих моделей, так і дослідникам у їхній роботі, — зазначив аспірант УКУ та керівник розробки мовної моделі для української мови Lapa Юрій Панів.
Для рейтингу алгоритми перевіряють на завданнях, наближених до реального використання. Зокрема, моделі мають:
- перекладати, переказувати та стисло викладати великі тексти;
- знаходити відповіді в документах;
- розв'язувати логічні завдання;
- складати тести зі шкільної програми на рівні ЗНО;
- виконувати математичні обчислення;
- працювати зі складними інструкціями.
Усі результати тестування, код і дані відкрили для громадськості на платформі Hugging Face. Користувачі можуть самостійно порівнювати моделі та ознайомлюватися з методологією оцінювання.
Правила оцінювання розробили експерти Українського католицького університету та спільноти lang-uk — Юрій Панів і Дмитро Чаплінський. Команда понад 10 років працює над тим, щоб навчати нейромережі краще розуміти українську мову, створює мовні масиви та інструменти для розробників.
Підхід до тестування вже використовували під час навчання української ШІ-моделі Lapa LLM та презентували на міжнародних наукових конференціях.
Неможливо керувати процесами, які ти не вимірюєш. Ми вбудовуємо штучний інтелект у сервіси для мільйонів людей — і маємо ухвалювати рішення виключно на основі доказів, а не обіцянок. Лідерборд робить якість української мови в моделях публічним і доведеним фактом, — розповів Chief AI Officer у WINWIN AI Center of Excellence Роман Кислий.
Надалі платформу планують розширювати. Зокрема, команда хоче додати оцінювання роботи моделей із зображеннями, перевірку етичності та аналіз вартості використання ШІ українською.
Окремий напрям стосуватиметься державного сектору. Там планують перевіряти, як моделі працюють з адміністративними процедурами та нормативними текстами, а також наскільки безпечно вони можуть обробляти персональні дані.
Раніше ми розповідали, що у застосунку "Дія.АI" запрацювала голосова підтримка зі штучним інтелектом. Вона допомагає спростити взаємодію та розуміє голосові запити.
Читай також: У "Київ Цифровий" впроваджують ШІ, а столицю моделюють у цифровому двійнику: як це працює
