Пожалуйста, указывайте источник при перепечатке：https://www.cnblogs.com/zhiyong-ITNote

фон

В настоящее время в компании4открытьA10изGPUна сервереразвертывать ПонятноChatGLM3Открытый исходный код Модель；Затемразвертывать Понятно官方默认изweb_demo、api_demoДва режима；重新设计Понятно前端,Поддерживает вызовы клиентов H5 и Android. Но я обнаружил проблему, заключающуюся в том, что к нему невозможно получить доступ одновременно.

Проблемное явление

Когда Android и H5 одновременно вызывают API-интерфейс ChatGLM (интерфейс потоковой передачи),Возврат от одного из клиентов — это нормально.,Но ответ от другого клиента - это искаженный код (пустые данные после декодирования),в то же время Модель Сообщить об ошибке。Сообщить об ошибке内容与问题请看issue。

image.png

image.png

image.png

Официальный ответ следующий:

image.png

Позже я протестировал модель развертывания с несколькими картами, например с 3 картами. На данный момент она может поддерживать менее 3 вызовов пользователей, но не более.

Анализ проблемы

Поскольку я не имею специальности, не связанной с искусственным интеллектом, я не специализируюсь на этом.,Так что это сразу немного сложно；Позже в ЖипуAI开放平台изРуководство по использованию - Руководство по ограничению скорости В статье я обнаружил, что он поддерживает одновременные вызовы, но сказано, что существует ограничение на количество параллелизма. Поэтому, согласно моему анализу, между выпущенной моделью и моделью на открытой платформе должна быть определенная разница, и эта разница заключается в возможности параллелизма модели. В конце концов, когда вызывается внешний API, в конечном итоге вызывается потоковый/непоточный интерфейс внутри модели. Другими словами, интерфейс внутри этой модели не поддерживает параллельные вычисления. Внутри модель представляет собой структуру нейронной сети-трансформера, но ее возможности параллельного выполнения не так просты. В конце концов, объем вычислений, задействованных в модели, огромен. В конечном счете, это возможность параллельных вычислений трансформатора. 后来找到个遇到同样情况из博文,不过和我们изразвертывать方式还是有区别из。Mosec развертывает чатglm2-6B В этой статье я проанализировал возникшие проблемы и решения. К этому моменту я, вероятно, понимаю, почему при одновременном вызове API модели возвращаются искаженные символы (пустые данные).

Причины и решения

При одновременном вызове после того, как модель обработала запрос, возвращаемый тензор распознает eos_token, и модель будет считать, что все запросы обработаны, поэтому возвращаются пустые данные. Итак, стратегия решения, которую я имею в виду на данный момент, заключается в пакетной обработке запросов в рамках модели. Этот код нелегко изменить,Должны быть стратегии реализации и решения с открытым исходным кодом. Позже я подумал о фреймворке тонкой настройки LLaMA-Factory.,У них также есть api_demo,Вы также должны столкнуться с такими проблемами,Поэтому был поднят вопрос,К счастью, в конце концов есть еще одно решение.,Видетьissue。

image.png

image.png

LLaMA-Factory официально реализует параллельную потоковую передачу через vllm. Это еще не проверено. После беглого просмотра кода теоретически существует проблема:

image.png

image.png

image.png

Пожалуйста, указывайте источник при перепечатке：https://www.cnblogs.com/zhiyong-ITNote