ChatGPT速率限制是什么

如果您使用过OpenAIAPI，您可能遇到过术语“速率限制”，但不确定它们到底指的是什么。本快速指南将更深入地了解什么是ChatGPT速率限制以及它们为何重要?如果您是新手，速率限制可能会有点难以驾驭。如果您发现自己经常达到限制，您可能需要评估您的使用情况并进行相应调整。您甚至可能需要考虑提交提高速率限制的请求。

OpenAIChatGPTAPI速率限制是多少

ChatGPT速率限制是多少?

速率限制是指用户或客户端在设定的时间内访问服务器的最大次数。本质上，它们是API施加的限制。

速率限制是API中的常见做法，实施速率限制的原因有很多：

防止滥用或误用：这可以方便地阻止恶意行为者通过请求使API过载，这可能会中断服务。

确保公平访问：这可以确保没有任何个人或组织可以通过发出过多的请求来占用服务，从而减慢其他人的API速度。

管理基础设施上的负载：如果请求急剧增加，则可能会对API征税。这可能会导致性能问题。因此，速率限制有助于为所有用户维持流畅且一致的体验。

OpenAI速率限制

OpenAI根据使用的特定端点和您拥有的帐户类型在组织级别强制实施速率限制。您可以在账户管理页面查看您组织的速率限制。速率限制以两种方式衡量：RPM(每分钟请求数)和TPM(每分钟令牌数)。下表显示了默认速率限制：

免费试用用户

文本和嵌入：3RPM，150,000TPM

聊天：3RPM，40,000TPM

编辑：3RPM，150,000TPM

图片：5张图片/分钟

音频：3RPM

即用即付用户(前48小时)

文本和嵌入：60RPM，250,000TPM

聊天：60RPM，60,000TPM

编辑：20RPM，150,000TPM

图片：50张/分钟

音频：50转/分

按量付费用户(48小时后)

文本和嵌入：3,500RPM，350,000TPM

聊天：3,500RPM，90,000TPM

编辑：20RPM，150,000TPM

图片：50张/分钟

音频：50转/分

填写速率限制提高请求表后，可以根据您的使用案例提高速率限制。

TPM(每分钟令牌)单位因型号版本而异：

达芬奇：每分钟1个代币

居里：每分钟25个代币

巴贝奇：每分钟100个代币

Ada：每分钟200个代币

简单来说，这意味着与Davinci模型相比，您每分钟可以向Ada模型发送大约200倍的代币。

GPT-4速率限制

在GPT-4的有限测试版推出期间，该模型具有更严格的速率限制以满足需求。对于即用即付用户，gpt-4/gpt-4-0613的默认速率限制为40kTPM和200RPM。对于gpt-4-32k/gpt-4-32k-0613，限制为150kTPM和1kRPM。由于容量限制，OpenAI目前无法满足提高速率限制的请求。

如果您的速率限制为每分钟60个请求和每分钟150k达芬奇代币，那么您将受到达到请求/分钟上限或耗尽代币的限制-wh

永远先发生。如果您设法达到速率限制，则需要稍微暂停程序以允许下一个请求。例如，如果每分钟最大请求数为60，则相当于每秒发送一个请求。如果您每800毫秒发送一个请求，一旦达到速率限制，您只需将程序暂停200毫秒，然后就可以发送另一个请求。

然而，达到速率限制确实会带来后果。您可能会遇到如下错误：

Ratelimitreachedfordefault-text-davinci-002inorganizationorg-{id}onrequestspermin.Limit:20.000000/min.Current:24.000000/min.

这意味着您在短时间内发出了太多请求，并且API拒绝满足进一步的请求，直到经过足够的时间。

代币和速率限制

提供的每个模型都有一个最大数量的令牌，可以在发出请求时作为输入传入。例如，如果您使用的是text-ada-001，则每个请求可以发送到此模型的最大令牌数为2,048个令牌。您无法增加模型接受的最大令牌数。

虽然速率限制看起来很复杂，但它们对于维持API的平稳运行并确保每个人都能公平访问至关重要。通过了解并在分配的限制内工作，您将能够高效地使用OpenAIAPI，而不会造成中断。请记住，您并不孤单-如果您遇到任何困难，我们随时为您提供支持。有关OpenAI速率限制的更多具体信息，请跳转至官方文档。