Replicate 为 SDXL 1.0 推出微调功能：用少量图片训练专属模型

这次发布的是什么？

2023年8月8日，Replicate 官方博客宣布，为 Stability AI 开源的 SDXL 1.0 模型增加微调支持。Replicate 是一个云端 AI 模型托管平台，你可以把它想象成一个“模型超市”，里面摆着各种别人训练好的 AI 模型，你可以在网页上直接用，也可以用代码调用。

这次更新后，你不再只能使用别人做好的 SDXL，而是可以用自己的图片去“教”它，让它学会画你指定的东西或风格。官方未说明这项微调服务的具体价格和商用限制。

微调是什么意思？

微调就像你有一个很会画画的机器人，它已经会画各种东西，但你想让它特别会画你的宠物猫。你给它看几张你猫的照片，它就能专门学会画这只猫。这个过程就叫微调。

官方说，微调可以针对一个特定的人、物体或风格。比如他们用芭比电影的画面和同事 Zeke 的照片做了微调，让模型学会生成类似风格的图片。

怎么操作？需要什么准备？

你需要准备一个压缩包，里面放 5 到 6 张图片。图片可以是自己、宠物、毛绒玩具或任何独特的东西。图片最好只有主体，不要有杂乱的背景。格式可以是 JPEG 或 PNG，尺寸和文件名都不重要。

然后你需要一个 Replicate 的 API 令牌，把压缩包上传到网上可访问的地方，比如 S3 或 GitHub Pages。接着在 Replicate 上创建一个模型作为存放训练结果的地方，可以设为公开或私有。最后用一行 Python 代码启动训练，训练大约需要 10 到 15 分钟。

支持哪些训练方法？

官方支持三种方法：Dreambooth、LoRA 和 Textual Inversion。默认使用 LoRA，如果你想要 Dreambooth，可以把 is_lora 设为 false；如果只想做 Textual Inversion，可以把 lora_lr 设为 0。

对于人脸微调，可以开启 use_face_detection_instead，让训练只关注人脸区域。对于风格微调，官方建议调高学习率，比如用 2e-4 或 4e-4，并修改 caption_prefix 来描述风格。

训练时后台发生了什么？

在你开始训练之前，系统会用几个模型自动处理你的图片：SwinIR 把图片放大到更高分辨率，BLIP 为每张图片生成文字描述，CLIPSeg 去掉图片中不重要的区域。这些步骤都是自动的，你不需要手动操作。

训练完成后，你可以通过网页或 API 运行你的模型。默认情况下，学到的概念叫 TOK，你可以在提示词里用 TOK 来指代它，比如“一张 TOK 骑着彩虹独角兽的照片”。你也可以在训练时修改 token_string 和 caption_prefix 来改变这个名字。

训练完的模型能做什么？

训练完成后，你可以用网页界面或 API 来生成图片。比如输入“一张 TOK 骑着彩虹独角兽的照片”，模型就会画出你教它的那个概念。你还可以把训练好的 LoRA 权重下载下来，用在其他地方，比如配合 diffusers 库搭建自己的生成流程。

官方还提到，你可以把微调后的模型发布成公开或私有模型。公开的话任何人都能运行，但只有你能更新；私有的话只有你自己能用。

有什么限制和注意事项？

官方提醒，不要使用未经他人同意的人像图片。训练图片最好只有主体，背景越干净越好。如果训练对象很复杂或图片差异很大，可能需要更多图片。官方未说明训练数据会被保存多久、是否会被用于其他用途，也没有说明微调服务的具体收费方式。

另外，官方未说明是否支持中文提示词，也未说明微调后模型的版权归属和商用许可。如果你打算商用，需要自行确认相关条款。

适合哪些人使用？

这个功能适合想用 AI 生成特定人物、宠物或风格图片的创作者、设计师和爱好者。如果你只是想随便玩玩，也可以试试用几张自己的照片训练一个专属模型。

对于小学生和初中生来说，可以把它理解成“教 AI 画画”的工具，但需要在大人指导下使用，因为涉及上传图片和调用 API。官方未说明是否有年龄限制或家长控制功能。