Штучний інтелект моделі OpenAI o1 демонструє особливості використання різних мов у процесі розв’язання завдань, що викликає дискусії серед експертів щодо причин цього явища.

Модель o1 іноді “мислить” іншими мовами, ніж мовою запиту, попри те що остаточна відповідь завжди збігається з мовою питання. Це означає, що на деяких етапах виконання завдання ШІ переходить, наприклад, на китайську чи перську мову. Згідно з користувачами Reddit, такі переходи відбуваються під час складних логічних міркувань, що може свідчити про зв’язок між асоціаціями, сформованими під час навчання, і використанням певних мов.

Деякі експерти, зокрема Тед Сяо з Google DeepMind, припускають, що явище обумовлене особливостями навчання моделі, де використовувались дані, анотовані китайськими сервісами. Це підтверджує тезу, що “вплив китайської мови на процес мислення” можливий через значний обсяг китайських текстів у навчальних вибірках. Інші фахівці, наприклад Тяньчжень Ван із Hugging Face, вважають, що модель може обирати мову через її зручність для конкретного завдання, а не через специфіку навчальних даних. Як зазначає Ван, “мови мають різну корисність залежно від типу мислення”, тому о1 може вибірково застосовувати різні мовні системи.

Ще одне пояснення пропонує Метью Гуздіал з Університету Альберти. На його думку, для моделі мови є лише “набором символів”, і перехід між ними є результатом алгоритмічного процесу токенізації. У ШІ обробка даних не пов’язана з розумінням мов, а заснована на аналізі токенів — найдрібніших одиниць інформації, які можуть бути словами, складами або літерами. Така система обробки може сприяти випадковому перемиканню мов через схожість у структурі тексту.

Необхідність прозорішого дослідження моделей, як-от o1, є одним із ключових висновків, які роблять експерти. Незалежно від причин цього феномену, поведінка моделі демонструє, наскільки складними є зв’язки між навчальними даними, структурою алгоритмів і їхньою мовною поведінкою. Це викликає нові питання про можливу упередженість ШІ та вплив навчальних методів на функціонування мовних моделей.