GroqCloud推出批处理API，支持大规模AI推理工作负载

GroqCloud批处理API是什么？

2025年3月13日，Groq公司发布了GroqCloud的批处理API。GroqCloud是一个提供快速AI推理服务的云平台，这次新增的批处理功能让用户能一次性提交大量任务，比如分析海量数据、给图片加说明、测试新AI程序等。

批处理API面向开发者和企业级用户，可以处理不要求即时响应的任务，提交后24小时内返回结果。就像把作业交给老师，老师批改完再统一发回，不用一直等着。

批处理API能做什么？

批处理API适合处理大规模数据分类、翻译、文档摘要、图像转文字等任务。例如，你可以用它批量翻译整本小说，或者给成千上万张图片生成描述。

它还能用于音频转录，比如把视频或音频批量转成文字，生成字幕。新增的Whisper转录功能支持三种版本，还能精确到每个词的时间戳，方便制作YouTube视频字幕。

价格优惠：最高50%折扣

批处理API的正常价格比按需处理便宜25%，但在2025年4月底前，所有付费GroqCloud客户可以享受50%折扣。这就像超市打折，买得越多省得越多。

如果你还不是开发者级用户，需要升级才能使用批处理API。官方建议查看参考文档开始使用。

新增支持的模型

批处理API新增支持Llama 3.3 70B、DeepSeek-R1-Distill-Llama-70B和Llama 3.2 90B Vision模型。这些模型可以处理文本和图像任务，让批处理功能更强大。

不过，目前不支持将Whisper转录和聊天补全串联在一个批处理任务中，但你可以分别运行两个批处理任务来达到目的。

适用人群和限制

批处理API适合需要处理大量非实时任务的开发者或企业，比如数据标注公司、内容翻译团队、视频字幕制作组。它不适合需要即时响应的场景，比如聊天机器人。

官方未说明批处理API的具体技术细节，比如最大请求量或处理速度，但强调它不会限制速率，适合大规模工作负载。

如何开始使用？

要使用批处理API，你需要升级到Developer Tier或Enterprise Tier。然后参考官方文档，提交批处理请求即可。在4月底前，所有付费客户都能享受50%折扣，是尝试的好时机。

GroqCloud表示，这个功能是根据用户需求开发的，未来还会持续更新。如果你正在从构建AI解决方案转向大规模部署，批处理API能帮你加速工作。