тема：ZGaming: Zero-Latency 3D Cloud Gaming by Image Prediction автор：Jiangkai Wu1, Yu Guan1, Qi Mao2, Yong Cui3, Zongming Guo1, Xinggong Чжан и др. источник：SIGCOMM 2023 Бумажная ссылка: https://dl.acm.org/doi/10.1145/3603269.3604819 Организация контента：Ху Юэлинь В облачных играх задержка взаимодействия — один из наиболее важных факторов, влияющих на пользовательский опыт. Хотя задержку взаимодействия можно уменьшить с помощью типичной сетевой инфраструктуры, такой как периферийное кэширование и контроль перегрузки, задержка взаимодействия современных облачных игровых платформ все еще далека от удовлетворения требований пользователей. В этом документе предлагается ZGaming, новая облачная 3D-игровая система, основанная на прогнозировании изображений, позволяющая устранить задержку взаимодействия в традиционных облачных игровых системах.

Введение

Насколько точно методы прогнозирования на основе изображений могут реагировать на действия пользователей в облачных игровых системах? Существуют три основные технические проблемы:

Во-первых, в прогнозируемом изображении присутствуют артефакты (отсутствующие пиксели). Например, что-то не сэмплируется в эталонном представлении из-за перекрытия или отсутствия изображения, и DIBR не может их правильно сгенерировать, что приводит к появлению артефактов. Для простоты в этой статье для обозначения «дырочных» артефактов используется термин «дыра». Чтобы решить эту проблему, были предложены некоторые работы по многоссылочным представлениям, направленные на обогащение ссылочного контента. Однако эти методы требуют внесения изменений в код игры для одновременного рендеринга изображений с нескольких точек обзора.

Во-вторых, DIBR не работает с динамическими объектами в системе отсчета. Прогнозируемое изображение движущегося персонажа значительно отличается от истинного изображения (например, части, обведенной красным). Это связано с тем, что персонаж находится в движении и его истинное положение, поза и внешний вид постоянно меняются, но DIBR может предсказывать изображение только путем проецирования его устаревших и статических пикселей, хранящихся в опорном кадре. Таким образом, предсказанное изображение едва соответствует реальному изображению.

В-третьих, существует компромисс между битрейтом видео и производительностью прогнозирования при потоковой передаче. С одной стороны, увеличение скорости передачи видео может уменьшить искажения изображения, вызванные кодированием, повышая качество опорных кадров и тем самым повышая производительность прогнозирования. С другой стороны, в ситуациях с ограниченной полосой пропускания увеличение скорости передачи данных может привести к увеличению задержки взаимодействия, что приводит к увеличению периодов прогнозирования и, следовательно, к снижению производительности прогнозирования.

Вклад этой статьи заключается в следующем:

• первый,предложил Качественное кэширование 3D-блоков для уменьшения «дырочных» артефактов.
• Во-вторых, исход из модели LSTM улучшает предсказывать качество динамических объектов переднего плана.
• Третий разработал Прогнозируемый адаптивный битрейт, ориентированный на Алгоритм производительности, попробуйте оптимизацию изображения, например, предскажите производительность. Эксперименты над поверхностью показывают, что по сравнению с существующими методами обеспечиваются те же результаты. видеокейс, ZGaming меняет задержку взаимодействия с 23 мс уменьшилось до 0 мс или с нулевой задержкой Воля Качество видео улучшено на 5.4 dB。

исследовательские вопросы

В облачных играх задержка взаимодействия — один из наиболее важных факторов, влияющих на пользовательский опыт. Хотя задержку взаимодействия можно уменьшить с помощью типичной сетевой инфраструктуры, такой как периферийное кэширование и контроль перегрузки, задержка взаимодействия современных облачных игровых платформ все еще далека от удовлетворения требований пользователей.

Методы диссертации

В ZGaming кадр разделен на статический фон и динамический передний план. Для статических фонов клиент сохраняет несколько воспроизведенных кадров и использует эти исторические кадры, а также самые последние полученные кадры в качестве опорных кадров для DIBR. Поскольку исторические кадры предоставляют более адекватную трехмерную информацию, артефакты в прогнозируемых кадрах восстанавливаются. Для динамических перспектив вместо DIBR предлагается модель LSTM (длинная краткосрочная память) для прогнозирования изображений динамических объектов после деформации или движения. Наконец, предлагается алгоритм адаптивного битрейта (ABR), основанный на прогнозировании производительности, который адаптивно выбирает оптимальный битрейт видео на основе текущих пользовательских операций, игрового контента и условий сети.

Модульная конструкция

В статье разработаны три модуля для ZGaming:

Качественное кэширование 3D-блоков

Чтобы эффективно хранить исторические кадры, ZGaming также предлагает стратегию кэширования блоков на основе утилит. Предлагаемая стратегия делит кадры истории на блоки и вычисляет полезность заполнения дыр для каждого блока истории. В облачных играх в реальном времени клиент кэширует только блоки с наибольшей полезностью.

Рисунок 1

Помощь сервера LSTM-предсказаниеперспектива

Помощь сервера LSTM-предсказаниеперспектива。ZGaming предложил LSTM Модель может оценивать тенденции движения и деформации объектов переднего плана на основе исторических кадров, тем самым точно прогнозируя изображения этих динамических объектов после задержек взаимодействия. Чтобы адаптироваться к клиентским устройствам с ограниченной вычислительной мощностью, вычислительные издержки LSTM передаются на сторону сервера, а результаты прогнозирования предварительно загружаются на сторону клиента. Для дальнейшего повышения производительности ZGaming предлагает повысить приоритет объектов переднего плана при передаче пакетов и применить упреждающее исправление ошибок (FEC), чтобы гарантировать их своевременное и полное получение клиентом.

Рисунок 2

Прогнозируемый адаптивный битрейт, ориентированный на производительность

ZGaming впервые проанализировала взаимосвязь между производительностью прогнозирования и задержкой взаимодействия, качеством опорного кадра, пользовательскими операциями и видеоконтентом и предложила модель взаимосвязи. Затем ZGaming проанализировала взаимосвязь между задержкой взаимодействия, скоростью передачи видео и условиями сети и предложила другую модель взаимосвязи. На основе этих моделей ZGaming выбирает битрейт видео, который максимизирует прогнозируемую производительность в конкретных условиях сети.

Архитектура ZGaming

Рисунок 3

Рабочий процесс выглядит следующим образом:

• 1.Помощь Интерфейс сервераLSTMпредсказывать (SL) считывает полные кадры, отображаемые игровым программным обеспечением, и делит каждый кадр на статический фон и динамические объекты переднего плана. Для каждого объекта переднего плана LSTM Модель изображения типа предсказывать на основе его исторического изображения типа предсказывать изображения типа после текущего времени задержки взаимодействия. Эти предсказывать изображения картины переднего плана Воля отправляются клиенту с более высоким приоритетом, чем изображения картины фонового плана.
• 2.Адаптация драйвера предсказыватьпроизводительности (PPA) битрейт от SL перспектива模кусок Читать предысториюкартинакартина,И отправьте эти изображения клиенту с адаптивным битрейтом Воля. Выбор битрейта,Сначала определите текущие условия сети. Затем,Согласно предложенной модели зависимости,Рассчитайте ожидаемое предсказывать качество при разных битрейтах видео. наконец,Выбирайте битрейт, который максимально предсказывает качество.
• 3.качество, ориентированное на качество 3D кусок (Q3B) кэш для DIBR предоставить дополнительные 3D информация для восстановления артефактов. В частности, ДИБР Сначала используйте только что полученное фоновое изображение, чтобы создать изображение с артефактами. Тогда ДИБР от Q3B Получить из кеша 3D кусоквосстановить эти артефакты。восстановленпредсказыватькартинакартина Воля与接收到изперспективакартинакартина组合形成全帧进行播放。наконец,Кэш Q3B Воля обновляется в соответствии с производительностью восстановления для каждого 3Dкусок. также,В кэш Q3B добавляются вновь полученные фоны изображения типа Воля.

Экспериментальная разработка и проверка

Набор данных

Использование бумаги Grand Theft Auto VНабор данных,следующееповерхность Показывать。Должен Набор данные — единственный публичный Набор, отвечающий требованиям диссертации данные: запись длинной игры, глубина изображения, маска изображения и точка обзора. В эксперименте Набор данныхточкадля 57 обучающие видео и 44 тестовое видео. Обучающие видеоролики используются только для обучения модели LSTM, а тестовые видеоролики используются для тестирования моделей LSTM, Cache и ABR и сквозной оценки производительности. чтобы предотвратить LSTM Тренировочные и тестовые видеоролики, подходящие для конкретных сцен, записываются в разных игровых сценах, а внешний вид объектов переднего плана в тестовом видео отличается от объектов переднего плана в обучающем видео. При потоковой передаче бумажное приложение x264 и выше 5 Тестовое видео кодируется с несколькими уровнями качества (QP=18, 24, 30, 36, 42).

Таблица 1

результатповерхностьяркий,По сравнению с существующими методами,существоватьпредоставить то же самое Качество видеослучай,ZGaming меняет задержку взаимодействия с 23 мс уменьшилось до 0 мс или оставьте задержку взаимодействия равной 0 В случае с мс Воля Качество видео улучшено на 5.4 dB。

Осознавая эти преимущества, ZGaming Также сохранитесуществовать Некоторыйограничение,НапримерСлабая реакция на внезапные действия, плохое качество прогнозирования при большой задержке взаимодействия, трудоемкое прогнозирование изображений, повышенное использование полосы пропускания и т. д.

использование полосы пропускания

GamingAnywhere — это облачная игровая платформа с открытым исходным кодом. Использование полосы пропускания ZGaming будет выше, чем у DIBR и GamingAnywhere.

Рисунок 4

Качество видео

Рисунок 5

ZGaming из Качество видеосуществовать 40.0% случай выше, чем 33 д Б, в то время как DIBR_GCC Это соотношение только 9.5%,GameAnyWhere_GCC Доля 4,0%. С другой стороны, ZGaming может значительно уменьшить количество проблем, с которыми пользователи сталкиваются. Вероятность видео Низкий. Например, ZGaming только 3.0% из Качество видео Низкий于 25 dB ситуация, и DIBR_GCC для 14.5%,GameAnyWhere_GCC для 50,5%. Вышеуказанные улучшения являются разумными. ДИБР Вместо использования устаревших изображений он использует прогнозируемые изображения в ответ на ввод пользователя, поэтому может достичь лучших результатов, чем GameAnyWhere 更好изпроизводительность。ZGaming еще больше повышает производительность прогнозирования изображений, обеспечивая тем самым лучшую производительность, чем DIBR.

надежность

ZGaming Содержит некоторые модели, основанные на предсказывать; эти модели могут иметь ошибки предсказывать. для того, чтобы количественно оценить влияние ошибки прогнозирования, в данной статье рассчитывается ZGaming Разница в покадровом качестве по сравнению с базовым показана ниже. Результаты показывают, что ZGaming Достигнуто лучшее качество в подавляющем большинстве кадров. видео. Например, ZGaming из Качество видеосуществовать 85.5% в кадрах лучше, чем DIBR_GCC, существовать 92.0% в кадрах лучше, чемGameAnyWhere_BBR. С другой стороны, даже если произойдет ошибка предсказывать, ухудшение качества изображения очень ограничено. Например, ZGaming из Качество видео比 DIBR_GCC и GameAnyWhere_BBR Низкий 5 д Б, количество кадров соответственно только для 1.3% и 1.4%。это показывает ZGaming 对предсказывать Ошибка имеетнадежность。

Рисунок 6

ограничение

LSTM-предсказание

LSTMМодельжитьсуществовать Следующие триограничение：

• Во-первых, он менее реагирует на резкие движения. ЛСТМ Модель основана на 5 Последовательность последовательных кадров выполняется предсказывать, поэтому сложно точно предсказывать последние менее 5 Резкие движения кадра, например резкие прыжки.
• Во-вторых, когда задержка взаимодействия велика, LSTM Модельизпредсказыватьпроизводительность Бедный。Это потому, чтодля ST-LSTM Стек использует результаты предыдущего кадра в качестве входных данных для следующего кадра, что приводит к накоплению ухудшения размытия до тех пор, пока RefSR Отделение уже не в состоянии с этим справиться. В частности, когда задержка взаимодействия превышает 6 время кадра, LSTM Изображение Моделипредсказывать становится достаточно размытым.
• третий,Эффективность модели LSTM необходимо оптимизировать.,LSTM Модельиз推理时间相当长。Эта статья не Воля Это время вывода включает в себясуществовать第 7.3 раздел 7.4 节из评估中。Однако,Это время рассужденийсуществовать实践中也是交互延迟из一部точка,Иногда задержка, которую уменьшает его предсказывать, может быть меньше, чем задержка, которую вносит его вывод. Поэтому оптимизация его эффективности в будущем неизбежна.

Прогнозирование на стороне сервера

Выгрузка вывода LSTM на сервер накладывает следующие ограничения:

• первый,Прогнозирование на стороне сервер может вызвать дополнительное использование полосы пропускания。Потребности серверасуществоватьнесколько моментов временипредсказыватьего рама Воляэто предварительно загруженоклиент。перспектива帧из倍增会导致传输期间额外изиспользование полосы пропускания. Для некоторых игр, где передний план занимает большую часть кадра, например. Splatoon , что может привести к использованию полосы Количество пропусков резко возросло.
• Во-вторых,Когда ожидаемый кадр переднего плана не получен,Прогнозирование на стороне сервер может вызвать задержку работы клиента. Например, при резком изменении задержки взаимодействия (более ±2 кадров) предсказать текущую задержку взаимодействия - 周围из3帧并不总是能够覆盖实际из交互延迟,из-за чего возникает задержка, когда клиент не получает ожидаемый кадр переднего плана. такой же,如果Некоторыйпредсказыватьизперспектива帧существоватьпотеряно во время передачи,Это также может вызвать задержку.