48 OpenAI оголосила про появу у чат-бота ChatGPT на базі генеративного інтелекту здатності обробляти відеопотік і говорити з користувачами про те, що він «спостерігає» за допомогою камери смартфона або комп’ютера, або що бачить на екрані пристрою. Нова функція доступна у розширеному голосовому режимі (Advanced Voice Mode).
Про те, що ChatGPT отримає функцію комп’ютерного зору, яка дозволяє йому “бачити” за допомогою камери смартфона користувача або через трансляцію екрану, компанія оголосила у травні цього року. Тепер доступ до функції розширеного голосового режиму ChatGPT із розпізнаванням відео отримали власники платних підписок ChatGPT Plus, Team та Pro. За словами компанії, передплатники ChatGPT Enterprise та Edu не отримають цю функцію до січня, і що поки що немає графіка її запуску в ЄС, Швейцарії, Ісландії, Норвегії та Ліхтенштейні.
У нещодавній демонстрації у програмі CNN «60 хвилин» президент OpenAI Грег Брокман провів тестування розширеного голосового режиму з візуальним розпізнаванням за участю телеведучого Андерсона Купера щодо анатомічних навичок чат-бота. Коли Купер малював частини тіла на дошці, ChatGPT розумів, що той малює. Разом з тим ChatGPT в цьому режимі припустився помилки в задачі геометрії.
Після анонсу у травні компанія кілька разів відкладала запуск розширеного голосового режиму із візуальним розпізнаванням. У квітні OpenAI пообіцяла, що цей режим буде доступний для користувачів протягом кількох тижнів, але через кілька місяців визнала, що на це знадобиться більше часу, ніж планувалося. І коли розширений голосовий режим запустили для деяких користувачів у вересні, він не мав функції комп’ютерного зору.
Компанія Google і Meta також працюють над аналогічними можливостями для своїх чат-ботів. Цього тижня Google зробила функцію ШІ для аналізу відео в реальному часі Project Astra доступною для групи довірених тестувальників на платформі Android.
