Архитектурный проект надежной и безопасной открытой платформы неизбежно налагает ограничения на скорость интерфейсов API, открытых для внешнего мира, чтобы гарантировать доступность внешних API OpenAI в целом. Мы можем просто узнать об использовании API. официальный сайт лимит.

[Ограничения на документ API]

[Ограничение скорости в личном кабинете и текущий уровень]

Метод ограничения

Пределы ставок измеряются пятью способами:

• Запросов в минуту (RPM, запросов в минуту)
• Количество запросов в день (RPD, запросов в день)
• Токенов в минуту (TPM, токенов в минуту)
• Количество токенов в день (TPD, токенов в день)
• Изображений в минуту (IPM, изображений в минуту)

Ограничение скорости может быть активировано в зависимости от того, какое условие достигается первым. Например, вы можете отправлять 20 запросов в конечную точку ChatCompletions, но иметь только 100 токенов, что соответствует вашему лимиту (если ваш RPM равен 20), даже если 150 000 токенов не отправляются в этих 20 запросах (если ваш предел TPM равен 150 000). .

В практических приложениях RPM часто используется вместе с ограничениями API или сервисов, чтобы гарантировать, что система не будет перегружена чрезмерными запросами. Например, если API имеет ограничение RPM, равное 100, общее количество запросов к этому API не может превышать 100 в любую минуту.

Важно отметить, что для более точного расчета оборотов обычно используется фактическое время часов, а не только временной интервал от первого запроса до последнего запроса. Это необходимо для того, чтобы скорость запросов в минуту рассчитывалась точно, даже если запросы распределены неравномерно.

Улучшите удобство использования

При разработке приложений с использованием GPT API OpenAI вы можете рассмотреть следующие методы повышения доступности и производительности системы при возникновении ограничений запросов:

1. Используйте кеширование: кэшда — эффективный способ сократить GPT API из Количество запросов. Для того же или подобного ввода вы можете кэшировать соответствующий вывод и напрямую возвращать результат кэшиз в следующий раз, когда вы встретите тот же ввод, без фактического вызова API。
2. Пакетный запрос: Рассмотрите возможность объединения нескольких пользовательских запросов в пакетный запрос. Это снижает накладные расходы на каждый запрос и повышает эффективность. Однако важно отметить, что объединение запросов может привести к увеличению времени ответа, поэтому существует компромисс.
3. Асинхронный запрос: Объедините запросы пользователей и API Отсоедините вызов, чтобы он происходил асинхронно. Пользовательские запросы могут сначала получить быстрый ответ, а за вызов отвечает фоновая асинхронная задача. GPT API и обработать результаты. Это может сократить время ожидания пользователя.
4. Реализуйте локальное кэширование: Для некоторых общих или статических запросов вы можете рассмотреть возможность реализации локальной реализации в серверной части приложения, чтобы избежать частых вызовов кэша. GPT API. Это может уменьшить API зависимости и улучшить скорость ответа приложения.
5. Оптимизировать входные данные: Обязательно GPT API Отправляемые входные данные минимальны и необходимы. Путем правильной обработки и обрезки входных данных можно уменьшить размер и время обработки запроса.
6. Обработка ошибок и стратегия повторных попыток: Внедрите хорошие стратегии обработки ошибок и повторных попыток для решения проблем, вызванных проблемами сети или API Запрос не выполнен из-за ограничений. Эти ситуации можно эффективно обрабатывать, используя стратегию экспоненциальной отсрочки повторных попыток, упомянутую ранее.
7. Правильное использование нескольких ключей API: Если ваше приложение позволяет это, вы можете использовать несколько OpenAI API Ключ для повышения параллелизма запросов. Обеспечьте правильный опрос с использованием разных ключей, чтобы ограничения одного ключа не влияли на общую производительность.
8. Регулярно контролируйте и корректируйте: Регулярно контролируйте работу системы и OpenAI API из Использование На основе результатов мониторинга гибко корректировать стратегию системы для реагирования на изменения шаблонов запросов и API Использование.

Принимая во внимание эти факторы, вы можете эффективно повысить доступность системы, уменьшить зависимость от GPT API и обеспечить лучший пользовательский опыт.

Правильное использование ключа API

При использовании API OpenAI GPT или аналогичных сервисов пользователям обычно назначаются один или несколько ключей API, каждый из которых имеет свои собственные ограничения на запросы. Умно управляя этими ключами API, вы можете повысить производительность и доступность вашей системы.

Вот некоторые конкретные шаги и предложения:

1. Получение нескольких ключей API: Если ваше приложение поддерживает несколько API Ключ, убедить, что вы получили несколько валидиз API Ключ. ты можешь OpenAI Создайте новый на консоли API Key。
2. При опросе используется другой ключ API: В коде приложения реализуйте механизм опросе используются разные API Ключ. Это гарантирует, что каждый API Key Все они имеют шанс быть использованы, что предотвращает достижение лимита запросов для одного ключа и приводит к общему снижению производительности.
3. Переключить ключ API при ошибке: При использовании API Key При отправке запроса возникла ошибка (например, достигнут лимит запросов), немедленно переключитесь на другой API Key Попробуйте еще раз. Это может быть автоматизированный процесс, гарантирующий, что приложения смогут быстро переключиться на другие доступные ключи в случае ошибки.
4. Мониторинг использования ключа API: Штатный монитор каждый API Key использование, чтобы понять частоту запросов и вероятность успеха для каждого ключа. Это может помочь вам определить, нужно ли вам изменить порядок использования ключей или изменить запрошенную политику распространения.
5. Баланс параллелизма и лимиты запросов: Хотя использование Несколько API Key Параллелизм можно улучшить, но будьте осторожны, чтобы не превысить OpenAI API из Общий лимит запросов. убедить Вы изсистемав Ключ может храниться в пределах разрешенного общего количества запросов.
6. Соображения безопасности: убеждаться API Key безопасность. Избегайте жесткого кодирования конфиденциальной информации в коде приложения и принимайте необходимые меры безопасности, такие как использование переменных среды или выделенного безопасного хранилища для ее хранения. API Key。

С помощью этих методов вы можете максимально эффективно использовать несколько ключей API, улучшить параллелизм и производительность системы, а также гарантировать, что API OpenAI GPT по-прежнему можно эффективно использовать при высоких нагрузках запросов.