введение

Язык жестов жизненно важен для общения людей с нарушениями слуха. Однако,Данные о языке жестов очень сложно получить и обработать.,Это ограничивает развитие модели производства языка жестов. Содействовать развитию области создания жестового языка.,Автор статьи предложилМногоязычный набор данных языка жестов Prompt2Sign,и тренировался с этимБольшая модель создания языка жестов: SignLLM.,Модель может генерировать несколько языков жестов параллельно.,Одновременно понимать сложный ввод естественного языка. Результаты экспериментов показывают,SignLLM достигает высочайшей производительности при выполнении задач SLP на 8 языках жестов,Демонстрация своей силы в создании многоязычного языка жестов.

https://arxiv.org/pdf/2405.10718v1

Предыстория

Генерация языка жестов (Sign Language Production,SLP) направлен на создание человекоподобных аватаров на языке жестов (аватаров) из текстового ввода. Методы SLP, основанные на глубоком обучении, обычно включают в себя переход от текста к словарю (т. е. текстовый словарь, представляющий жесты или жесты), от словаря к жестам.,и, в конечном итоге, преобразование жестов в более привлекательные аватары на языке жестов, похожие на человеческие. Эти процессы сложны и их трудно упростить.,делатьПолучение и обработка данных языка жестов становится все труднее, что также серьезно снижает энтузиазм исследователей.。

В то же время в последнее десятилетие или около того исследования в этой области в основном опирались на набор данных немецкого языка жестов (PHOENIX14T) для задач генерации, распознавания и перевода языка жестов (SLP, SLR и SLT). Использование различных стандартных инструментов разными исследователями также увеличило сложность исследования. Хотя основные наборы данных сыграли важную роль в развитии области создания языка жестов, проблемы остаются при столкновении с новыми проблемами, такими как:

• 1.«Сложный формат» Существующий формат файла набора данных сложен и не содержит информации, непосредственно используемой для обучения;
• 2.«Трудоемкий»Ручное аннотирование словаря отнимает много времени.、трудоемкий,Требуется много ручной работы;
• 3.«Трудности в расширении»язык жестоввидеоданные Наборы обычно нужно брать у профессионала и перерабатывать.,Это затрудняет расширение набора данных.

Вышеуказанные проблемы ограничивают развитие жестового языка Модель. с этой целью,Автор статьи предложилодинPrompt2Sign, многоязычный набор данных языка жестов, направлен на устранение ограничений существующих наборов данных языка жестов.,И способствовать прогрессу исследований в задачах создания языка жестов (SLP), распознавания (SLR) и перевода (SLT).,Кроме того, автор также обучил многоязычную Большую модель языка жестов: SignLLM.,Создание скелетных жестов языка жестов на 8 языках.,И все достигли уровня СОТА.

Prompt2Sign

Набор данных Prompt2Sign получен из общедоступного набора данных языка жестов в Интернете и видео.,Охватывает 8 различных языков жестов, включая американский язык жестов (ASL).,Это делает его первым набором данных, объединяющим несколько языков жестов. На рисунке ниже показан обзор набора данных.,он содержит текст、подсказать слово、видеокадры, а также ключевые моменты данных.

Процесс производства этого набора данных выглядит следующим образом:

• Сначала используйте OpenPose для обработки видео,Нормализовать информацию о позе в видеокадрах в наш предопределенный формат.,Это уменьшает избыточность и облегчает обучение Модели с использованием seq2seq и text2text;
• Сократите необходимость в ручных аннотациях и повысьте экономическую эффективность за счет автоматического создания подсказок.
• наконец,Повышен уровень автоматизации обработки инструмента.,Сделайте инструмент эффективным и легким,Увеличение мощности обработки данных без дополнительной загрузки модели,Решены трудности ручной предварительной обработки и сбора данных.

Хотя набор данных Prompt2Sign открывает новые возможности в области создания языка жестов, он также требует улучшения существующих моделей. Потому что предыдущие модели столкнутся с некоторыми новыми проблемами при использовании новых наборов данных:

• Различия жестовых языков в разных странах означают, что разные жестовые языки невозможно обучать одновременно.,Это ограничивает многоязычные возможности Модели.
• Обработка большего количества языков и больших наборов данных приводит к медленному процессу обучения.,Также есть сложности со скачиванием, хранением и загрузкой данных.,Поэтому необходимо изучить методы высокоскоростной тренировки.
• Существующая структура Модель не может освоить больше языков.,Также трудно понять более сложную, естественную человеческую речь.,Необходимо повысить способность Модели к обобщению и способность понимать подсказки.

Чтобы преодолеть вышеуказанные проблемы, автор предложил SignLLM, которая является первой крупномасштабной моделью многоязычной генерации языка жестов (SLP), разработанной на основе набора данных Prompt2Sign, которая может генерировать скелетные жесты языка жестов на 8 языках на основе текстовых подсказок.

SignLLM

SignLLM имеет два разных режима: Multilingual Switching Framework (MLSF) и Prompt2LangGloss, которые предназначены для достижения эффективного многоязычного SLP, избегая при этом семантической путаницы и улучшая способность модели понимать сложный ввод на естественном языке.

На рисунке выше показаны входные и выходные данные модели в этой статье. Текст — это входные данные режима 1, а Prompt — входные данные режима 2. Эти два режима обрабатывают разные варианты использования, а именно:

• «Режим 1»Многоязычная система переключения (MLSF), который параллельно генерирует несколько жестовых языков путем динамического добавления групп кодеков.
• «Режим 2»Prompt2LangGloss,способен сделать SignLLM Поддерживает генерацию статических одногрупповых кодеков, предназначенных для понимания более сложного ввода на естественном языке.

Чтобы сократить затраты времени на обучение и ускорить процесс обучения модели на большем количестве языков и больших наборах данных, автор применяет концепцию RL к процессу обучения модели генерации жестового языка.

В частности, входная последовательность модели считается состояниями, выходная последовательность — действиями, а близость прогноза к фактическому результату определяет значение вознаграждения. За счет максимизации ожидаемого совокупного вознаграждения традиционная проблема минимизации потерь среднеквадратической ошибки (MSE) переформулируется для применения стратегии RL к задаче генерации языка жестов.

Для дальнейшего повышения эффективности обучения в этой статье представлен приоритетный канал обучения (PLC). ПЛК преобразует вознаграждения в вероятности выборки и выбирает более ценные (т. е. с более высоким вознаграждением) образцы данных для обучения. Эта стратегия позволяет модели переключить свое внимание на наиболее ценные образцы на основе постоянно накапливаемых знаний, ускоряя процесс обучения.

Результаты экспериментов

В следующей таблице показаны результаты сравнения SignLLM и базового уровня в задаче Text to Pose для набора данных ASL. Можно обнаружить, что SignLLM лучше, чем базовый метод.

В следующей таблице показана производительность SignLLM в задаче MSLP для различных наборов данных языка жестов. SignLLM также показывает отличную производительность.

В следующей таблице показаны результаты сравнения SignLLM с современными методами в наборе данных немецкого языка жестов (GSL). Можно обнаружить, что SignLLM сопоставим или превосходит производительность текущих моделей SOTA.