Replicate 推出 LoRA：更快微调 Stable Diffusion 的方法

LoRA 是什么？谁发布的？

2023年2月7日，Replicate 在其官方博客发布了一篇文章，宣布与开发者 Simo Ryu 合作，在 Replicate 平台上支持一种叫做 LoRA 的技术，用来微调 Stable Diffusion 模型。LoRA 的全称是 Low-Rank Adaptation，是一种数学方法，由微软的研究人员开发，Simo Ryu 把它应用到了 Stable Diffusion 上。Replicate 是一个云平台，让用户可以通过 API 调用各种 AI 模型。

LoRA 是一种开源技术，它的训练和推理模型都可以在 Replicate 上使用。简单来说，LoRA 就像给一本大画册贴几张便利贴，不用重画整本书就能改变风格。它能让用户用少量图片训练出一个小模型，这个模型只有大约 5MB，而传统的 DreamBooth 方法训练出的模型有好几个 GB。

LoRA 和 DreamBooth 有什么不同？

DreamBooth 是去年发布的一种微调 Stable Diffusion 的方法，它需要大约 20 分钟来训练，并且生成的模型文件很大，有好几个 GB。而 LoRA 训练时间最短只要 8 分钟，生成的模型文件只有大约 5MB，非常小巧，方便分享、存储和重复使用。

另外，LoRA 在生成图片时不需要等待模型启动，因为它是运行在 Replicate 上一直开着的模型，所以预测可以立即进行。DreamBooth 模型只有在使用时才会保持活跃，不用时就会关闭，再次使用需要等待启动。LoRA 还支持把多个训练好的概念组合到一张图片里，不过这个功能还在实验阶段。

LoRA 擅长什么？不擅长什么？

根据 Replicate 的实验，LoRA 在模仿风格方面比 DreamBooth 做得更好，比如模仿某个画家的风格。但是在生成人脸方面，LoRA 的效果不如 DreamBooth，人脸可能会有点不自然，陷入“恐怖谷”，看起来不太像真人。

当然，每个人的训练结果可能不同，Replicate 鼓励用户尝试并反馈。LoRA 适合那些想要快速尝试不同风格、并且希望模型文件小、方便分享的用户。如果你需要非常逼真的人脸，可能需要考虑其他方法。

怎么使用 LoRA 训练自己的概念？

使用 LoRA 训练自己的概念需要几个步骤。首先，准备一个 zip 文件，里面放 5 到 10 张同一张脸、同一个物体或同一种风格的图片。如果是风格，最好有 20 到 100 张图片。图片可以是 JPG 或 PNG 格式。给 zip 文件起一个有意义的名字，因为训练输出的文件名会包含它。

然后，把 zip 文件上传到一个公开的网址，比如 Google Drive、Amazon S3 或 GitHub Pages。接着，在 Replicate 上选择一个 LoRA 训练模型，比如 replicate/lora-training，它有针对人脸、物体和风格的预设选项。你也可以用 replicate/lora-advanced-training 自己设置参数。训练完成后，你会得到一个 .safetensors 文件的网址，这个文件就是训练好的概念。

怎么用训练好的 LoRA 生成图片？

训练好概念后，你可以用 Replicate 上的预测模型 replicate/lora 来生成新图片。这个模型需要两个输入：一个是提示词，里面用 表示你的概念，比如“a painting of dinosaur in the style of ”；另一个是 lora_urls，就是你训练好的概念文件的网址。你可以传一个网址，也可以用竖线 | 分隔多个网址，把多个概念组合到一张图里。

你可以在浏览器里直接运行这个预测模型，也可以用 Python 代码通过 API 调用。比如，用 replicate.run 函数，传入模型版本和输入参数，就能得到生成图片的网址。整个过程不需要自己部署模型，Replicate 会帮你处理。

LoRA 的未来计划和限制

Replicate 在博客中提到，接下来几周会支持在 Stable Diffusion 2.1 和 inpainting 上训练 LoRA，还会增加其他功能。他们鼓励用户在 Discord 的 #lora 频道分享自己的 LoRA 模型和想法。

不过，LoRA 也有一些限制。比如，它生成人脸的效果可能不够好，组合多个概念的功能还是实验性的。另外，训练需要把图片上传到公开网址，可能涉及隐私问题。训练成本、硬件要求等细节在原文中没有说明，用户需要自行探索。

谁适合使用 LoRA？

LoRA 适合想要快速微调 Stable Diffusion 的艺术家、设计师和爱好者。如果你想要用少量图片训练出一个小模型，并且希望模型容易分享和组合，LoRA 是一个很好的选择。它也适合那些想要通过 API 自动化训练和生成流程的开发者。

但如果你需要生成非常逼真的人脸，或者对隐私要求很高，可能需要考虑其他方案。对于小学生和初中生来说，可以把它想象成给画册贴便利贴，但需要在大人的帮助下使用，因为涉及到上传图片和调用 API。