Google добавила в смартфоны серии Pixel 11 функцию «Жесты в текст», которая распознаёт жестовый язык с помощью фронтальной камеры и преобразует его в текст в реальном времени. Технологию Google DeepMind представила 12 августа 2026 года.
Новая возможность встроена в клавиатуру Gboard и приложение «Прямая расшифровка» (Live Transcribe). Пользователь может показать жесты перед камерой, чтобы написать сообщение, создать заметку, выполнить поиск или сформулировать запрос для Gemini. В Live Transcribe функция позволяет отвечать жестами во время разговора, не набирая реплики вручную.
Система учитывает не только движения рук, но также положение тела и мимику, которые влияют на смысл высказывания. Поддерживается показ жестов одной рукой — это удобно, когда второй человек держит смартфон.
Google сообщает, что исходное видео не отправляется на сервер и сразу удаляется на устройстве. Телефон выделяет ключевые точки на лице, руках и верхней части тела, после чего передаёт серверу их двумерные координаты. По информации компании, эти данные и результаты перевода не сохраняются и не используются для обучения модели.
К сожалению, пока возможности технологии существенно ограничены: она переводит только американский жестовый язык в английский текст. Русский жестовый язык и другие национальные жестовые языки пока не поддерживаются. Для работы необходимы смартфон Pixel 11, последняя версия Gboard и английская раскладка для США или Канады. Google обещает позднее расширить список устройств и языков, но сроки не называет.
Источник: Google
Константин Белихов
Специально для Агентства Особых Новостей (on24.media)
Иллюстрации автора (реконструкция)
