openai账号chatgpt3.5与4.0速率限制详解-晓白博客网

以下资料文档来源于官方文档

速率限制

概述

什么是速率限制？

速率限制是 API 对用户或客户端在指定时间段内可以访问服务器的次数施加的限制。

为什么我们有速率限制？

速率限制是 API 的常见做法，实施速率限制有几个不同的原因：

它们有助于防止滥用或误用 API。例如，恶意参与者可能会用请求淹没 API，试图使其过载或导致服务中断。通过设置速率限制，OpenAI可以防止此类活动。
速率限制有助于确保每个人都可以公平访问 API。如果一个人或组织发出过多的请求，则可能会使其他人的API陷入困境。通过限制单个用户可以发出的请求数量，OpenAI 确保最多的人有机会使用 API，而不会遇到速度变慢的情况。
速率限制可以帮助 OpenAI 管理其基础设施上的总负载。如果对 API 的请求急剧增加，则可能会对服务器造成负担并导致性能问题。通过设置速率限制，OpenAI 可以帮助为所有用户保持流畅一致的体验。
请完整阅读本文档，以更好地了解OpenAI的限速系统的工作原理。我们包括代码示例和可能的解决方案来处理常见问题。建议在填写速率限制提高申请表之前遵循本指南，并在上一节中详细说明如何填写该表单。

如果对于账号需要提升速率请求的，openai官方有提供提高速率请求的申请表

下面是官方的gpt3.5与4.0账号速率限制的大概情况

我们会根据所使用的特定终端节点以及您拥有的帐户类型，在组织级别（而不是用户级别）强制实施速率限制。速率限制以两种方式度量：RPM（每分钟请求数）和 TPM（每分钟令牌数）。下表突出显示了我们 API 的默认速率限制，但在填写速率限制提高请求表单后，这些限制可能会根据您的使用案例增加。

	文本和嵌入	聊天	编辑	图像	音频
免费试用用户	3 转/分 150，000 TPM	3 转/分 40，000 TPM	3 转/分 150，000 TPM	5张/分钟	3 转/分
即用即付用户（前 48 小时）	60 转/分 250，000 TPM	60 转/分 60，000 TPM	20 转/分 150，000 TPM	50张/分钟	50 转/分
即用即付用户（48 小时后）	3，500 转/分 350，000 胎压监测系统	3，500 转/分 90，000 胎压监测系统	20 转/分 150，000 TPM	50张/分钟	50 转/分

对于，即用即付用户的 TPM 限制是上面列出的值的 2 倍，使限制分别为 120K TPM 和 180K TPM。gpt-3.5-turbo-16k

对于我们的旧型号，TPM（每分钟令牌数）单位因型号版本而异：

类型	1 TPM 等于
达芬奇	每分钟 1 个代币
居里	每分钟 25 个代币
巴贝奇	每分钟 100 个代币
阿达	每分钟 200 个代币

实际上，这意味着您每分钟可以向模型发送大约 200 倍的令牌。adadavinci

重要的是要注意，任何一种选择都可以达到速率限制，具体取决于首先发生的情况。例如，您可以向 Edit 终端节点发送 20 个仅包含 100 个令牌的请求，即使您在这 150 个请求中未发送 20k 个令牌，这也将填满您的限制。

GPT-4 速率限制

在 GPT-4 的有限测试版推出期间，该模型将具有更严格的速率限制以满足需求。如果你是即用即付用户，则 / 的默认速率限制为 40k TPM 和 200 RPM。/ 的默认速率限制为 150k TPM 和 1k RPM。由于容量限制，我们无法满足提高速率限制的请求。在当前状态下，该模型旨在用于实验和原型设计，而不是大批量生产用例。gpt-4gpt-4-0613gpt-4-32kgpt-4-32k-0613