Groq 是什么？它做了什么新事情？
Groq 是一家专门做人工智能推理加速的公司，它有一个叫 LPU 的推理引擎，可以理解成专门为 AI 模型设计的超级快的计算芯片。2024 年 4 月 19 日，Groq 宣布在它的 LPU 推理引擎上运行 Meta 公司开发的 Llama 3 Instruct 模型，包括 8B 和 70B 两个版本，并通过 GroqChat 和 GroqCloud 控制台向开发者开放。这就像一家赛车公司给一辆新车装上了自己最快的引擎，让这辆车在赛道上跑得比别的车快好几倍。
Llama 3 是什么？为什么大家关注它？
Llama 3 是 Meta 在 2024 年 4 月 18 日发布的最新大语言模型，可以理解成一个能和人对话、写文章、回答问题的 AI 大脑。它有两个主要版本：8B 和 70B，数字越大表示模型越聪明但需要的计算资源也越多。Groq 在 Meta 发布后不到一天就把它跑在了自己的 LPU 上，速度非常快。
Groq 的 LPU 引擎有什么特别？
LPU 是 Groq 专门为 AI 推理设计的芯片，和普通显卡不同，它更擅长快速处理语言模型的计算任务。根据独立测试机构 ArtificialAnalysis.ai 的基准测试，Groq 运行 Llama 3 8B 时每秒能输出 877 个 token（可以理解成文字碎片），运行 70B 时每秒 284 个 token，比其他提供商快 2 倍以上。这意味着用户等待回答的时间更短。
开发者怎么使用？价格贵不贵？
开发者可以通过 groq.com 网站和 GroqCloud 控制台直接使用这些模型。价格方面，Groq 对 Llama 3 70B 的收费是每 100 万 token 输入 0.59 美元、输出 0.79 美元，与市场上其他提供商相比有竞争力。对于需要大量交互的应用，比如 AI 智能体，这种速度和价格组合很有吸引力。
速度到底有多快？用数字说话
根据 ArtificialAnalysis.ai 的测试，Groq 运行 Llama 3 70B 时，从发出请求到收到第一个文字碎片只需要 0.3 秒，每秒能输出 282 个 token。生成 100 个 token 的总响应时间大约是 0.6 秒。这就像你问一个问题，几乎立刻就能看到答案开始出现，而不是等好几秒。
这对普通人和开发者意味着什么？
对于开发者来说，Groq 提供了一个快速、相对便宜的运行 Llama 3 的选择，可以用于构建聊天机器人、写作助手、AI 智能体等应用。对于普通用户，虽然不直接接触 LPU，但会享受到更快的 AI 响应体验。Groq 还鼓励开发者社区在 X 和 Discord 上分享使用案例和对比。
有哪些限制和不确定的地方？
目前 Groq 没有详细说明模型的具体开源方式、服务可用区域、以及和 Meta 的合作授权细节。另外，虽然速度很快，但模型本身的能力取决于 Meta 的 Llama 3，Groq 只是提供了更快的运行环境。用户在选择时还需要考虑自己的具体需求和预算。
本文由 AIGCWHY 自动监测系统发现，经结构化处理后发布。重要决策请打开原文核验。