Together AI 推出 Together Post-Training：用 SFT 与 RL 打造自有定制模型

这次发布的是什么

2026年10月19日，Together AI 在官方博客发布 Together Post-Training。它是 Together 平台上的一项后训练服务，让开发者用监督微调（SFT）和强化学习（RL）把开放权重模型改造成自己的定制模型。原文明确说，训练循环由用户定义，底层系统和基础设施由 Together 负责优化。

它属于闭源商业服务，官方未说明是否开源。首发支持的开放权重模型包括 Muse Spark Open、GLM 5.3、Kimi K3 和 Qwen 3.8-27B，官方表示未来几周会扩充模型选择。可以把它理解成“通用教材请家教按你的错题本重讲一遍”，得到一本只适合自己用的练习册。

为什么需要定制模型

原文指出，2026 年训练定制模型已不再是冷门话题。企业希望通过定制降低推理成本、提升特定任务表现，而不是只靠上下文或工具链去修补通用模型的行为。自己训练出的检查点还能部署在任意位置、继续改进，甚至本地使用。

但后训练需要反复迭代数据、算法和评测，RL 基础设施尤其复杂，一个“效率优化”和“悄悄拖慢训练的隐藏 bug”之间往往只差一线。前沿实验室有整支团队解决这些问题，很多公司因此没开始或中途停滞。Together 的切入点是：用户专注训练逻辑，基础设施交给平台。

训练循环怎么跑

原文给出的流程是：用户先分配 Model Resources（专属 GPU 资源），再启动 Training Session。每个会话对应一次使用同一基座模型的实验，内部包含负责前向/反向和更新权重的 Trainer，以及执行策略采样的 Generator。SFT 时可以把 Generator 数量设为 0 以节省成本。

用户决定何时把 Trainer 参数同步给 Generator，也支持异步 RL，让训练和采样同时跑满 GPU。平台支持交叉熵、GRPO、CISPO、DPPO 等标准损失，还允许用户在本地计算自定义训练目标，只把梯度发给 Trainer 更新权重。

质量与效率的取舍

原文把输出模型质量称为“北极星”。它特别提到训练引擎与推理引擎数值不一致会导致策略漂移，整轮训练可能变差甚至崩溃；Together 用 Rollout Routing Replay 等技术减少这类漂移。RL 大部分时间花在生成采样上，平台复用了其推理服务的缓存与路由优化。

计费按 Model Resource 的 GPU 分钟计算，多个 LoRA 实验可以共享同一份 GPU 资源，不必为每个实验单独占卡。官方称随着实验规模扩大，整体训练成本会低于按 token 计价的方案。训练完成后，还可在 Dedicated Model Inference 中用多 LoRA 适配器切换服务，减少部署成本。

适合谁用，不适合谁

适合已有明确任务数据或奖励规则、希望拥有自己模型权重的 AI 团队和领域专家，尤其是需要跑多轮实验、做 LoRA 扫描或全权重微调的组织。Together 还提供前置团队协助端到端流程，对缺少后训练经验的团队更友好。

不适合只想调用现成 API、没有训练数据或评测方案的个人用户；也不适合期待完全免费或完全开源方案的场景，因为原文未说明开源方式与免费额度。若任务只需提示词或工具链就能解决，定制训练未必划算。

上线前要核实的几件事

原文没有给出具体价格数字、各模型全权重训练的支持范围、SLA、可用区域和免费试用信息。训练产物的许可证细节也未说明。动手前应先确认目标模型是否在支持列表内、GPU 资源配额与计费方式，以及自定义损失和异步 RL 的实际限制。

还要评估数据质量与评测协议，因为后训练的效果高度依赖数据与奖励设计。建议先用小规模 LoRA 实验验证流程和成本，再决定是否投入全权重训练。以上未说明事项均需向官方确认，不能凭本文推断。