Ограничения скорости API ChatGPT

Ограничение скорости ChatGPT относится к ограничению, которое API накладывает на частоту, с которой пользователь или клиент может получить доступ к серверу в течение определенного периода времени.

Какова цель ограничений?

API обычно используют ограничения скорости по нескольким причинам:

1. Защита от злоупотреблений или неправильного использования . Ограничения скорости ChatGPT помогают защитить API от перегрузки или нарушения работы потенциальным злоумышленником, который наводняет его запросами. OpenAI использует ограничения скорости в качестве меры безопасности для предотвращения таких действий.
2. Обеспечение справедливого доступа . Ограничения скорости помогают гарантировать, что все пользователи имеют равноправный доступ к API. Если один пользователь или организация чрезмерно использует ресурсы API, это может снизить производительность API для других. OpenAI использует регулирование для регулирования количества запросов, которые может сделать каждый пользователь, обеспечивая равные возможности для всех пользователей без задержек.
3. Управление общей нагрузкой на инфраструктуру. Ограничения скорости помогают OpenAI справляться с совокупным спросом на свою инфраструктуру. Внезапный всплеск запросов API может вызвать перегрузку серверов и привести к проблемам с производительностью. Внедряя ограничения скорости, OpenAI может поддерживать стабильный и последовательный пользовательский интерфейс.

Каковы ограничения скорости для OpenAI API?

Ограничения скорости устанавливаются OpenAI на уровне организации , а не на уровне пользователя, с учетом конкретной используемой конечной точки и типа учетной записи.

Ограничения скорости оцениваются с использованием двух показателей: RPM (запросов в минуту) и TPM (токенов в минуту). В следующей таблице представлены ограничения скорости по умолчанию для API. Однако эти лимиты могут быть увеличены в соответствии с вашими требованиями после отправки формы запроса на увеличение лимита тарифа .

Единица TPM (токенов в минуту ) зависит от модели:

Ограничения скорости GPT-4

Поскольку недавно был представлен GPT-4 , модель будет реализовывать более строгие ограничения скорости для управления спросом. Ограничения скорости по умолчанию для gpt-4/gpt-4-0314 установлены на уровне 40k TPM и 200 RPM , а ограничения скорости по умолчанию для gpt-4-32k/gpt-4-32k-0314 — 80k TPM и 400 RPM .

Чтобы запросить увеличение лимита скорости или обеспечить выделенную емкость, свяжитесь с OpenAI, полностью заполнив  форму запроса на увеличение лимита скорости.