Оцінка якості НМТ: особливості та методи оцінки автоматичного перекладу

Штучний інтелект (ІІ) настільки швидко розвивається, що неможливо утриматися від оцінки всіх його сфер застосування. Однією з областей, що найбільш обговорюються, є нейральна машинна трансляція (НМТ). Ця нова технологія перекладу текстів дозволяє компютерам перекладати тексти між різними мовами з високою точністю та якістю. Проте, як визначити якість НМТ та як ця технологія оцінюватиметься?

Оцінка НМТ є складним завданням, що потребує великої кількості інформації та експертної оцінки. Автоматична оцінка якості НМТ може бути здійснена з використанням різних метрик, таких як BLEU (bilingual evaluation understudy), METEOR, TER (translation edit rate) та інших. Ці метрики ґрунтуються на порівнянні перекладу з еталонними перекладами, виконаними професіоналами. Однак вони не є ідеальними і не завжди точно відображають якість перекладу.

Крім автоматичної оцінки, НМТ також можна оцінити за допомогою експертної оцінки. І тут переклади, створені з допомогою НМТ, оцінюються професіоналами-лінгвістами чи фахівцями з конкретної мови. Ця оцінка може бути заснована на різних критеріях, таких як точність перекладу, збереження сенсу оригінального тексту, стилістична правильність і т. д. Експертна оцінка є важливим інструментом визначення якості НМТ, особливо при роботі зі складними і специфічними текстами.

Як оцінюватиметься НМТ

Категорія	Критерії оцінки
Якість перекладу	Правильність перекладу Відповідність перекладу оригіналу Граматична коректність
Швидкість перекладу	Час, витрачений на переклад Кількість перекладених слів за хвилину
Надійність роботи	Відсутність збоїв у роботі Стабільність алгоритму перекладу

Як оцінюватимуться завдання За кожну правильну відповідь учасник отримає по 1 балу. Загалом за виконання блоку завдань з української мови можна отримати до 45 балів. Результати повідомлять одразу після тестування. Після цього результати кожного блоку переведуть до шкали 100-200.

Як оцінюватимуть НМТ?

по 1 тестовому балу будуть нараховуватися за кожну правильну відповідь на завдання з вибором однієї правильної відповіді, по 1 тестовому балу – за кожну правильно визначену логічну пару у завданнях встановлення відповідності, по 2 бали – за кожну правильну коротку відповідь. Збережена копія

Що буде на НМТ 2024 року?

У 2024 році учасники НМТ будуть складати вже чотири предмети: три обовязкові та один – на вибір. Обовязкові – українська мова, математика та історія України. До списку вибіркових додали українську літературу та географію. Тестування буде проходити протягом одного дня.

Які теми будуть на НМТ з українського 2023 року?

Які теми по українській мови будуть на НМТ

• фонетика, графіка,
• орфоепія, орфографія,
• лексикологія, фразеологія,
• будова слова, словотвір,
• морфологія,
• синтаксис,
• стилістика,
• розвиток мовлення.