用 AI Toolkit 训练 H3 参考生视频与编辑 LoRA

这篇教程讲 H3 的参考生视频训练：怎样先确定训练目标，再准备参考素材、目标图片或视频，并在 AI Toolkit 里建立任务。视频同时演示了复杂概念数据和“二次元转真人”的编辑数据，它们的准备方式并不相同。

对应 9 月 18 日的视频教程，操作基于视频配套的云端 AI Toolkit 环境。

1. 先决定要让 LoRA 学什么

H3 有不同的条件输入方式。文生视频、首尾帧一类任务与任意参考素材一类任务，要选择相应模型和训练模式。视频中的参考生视频任务使用 Ref2V 方向；不要沿用前一期文生／图生视频任务后，只更换数据集路径。

如果你的目标只是用图片学习番剧画风，可以直接参考用 Musubi Tuner 训练 H3 番剧风格 LoRA。

视频里的复杂概念数据按帧数分组，每条目标视频都有对应的参考图。这样上传之后，可以明确知道当前 bucket 对应哪种视频长度，不必在训练时再猜素材属于哪一组。

H3 视频使用 17k＋5 的帧数规则。视频举过 22、73、141、158 帧等例子；作者分支的 H3 文档也确认了这一网格。素材帧数不匹配时，可能导致训练报错。

AI Toolkit 在本期演示中提供了 auto frame counts，可以向下对齐到支持的帧数。它能处理帧数对齐，但不会替你检查参考图有没有配错，也不会判断视频描述是否准确。

打标时重点检查这三件事：

视频作者建议借助官方提示词规范组织复杂概念的描述，但仍要抽查。训练简单图片概念时，不必照搬复杂视频的整套打标流程。

视频中的另一个例子是把二次元素材转换成真人效果。准备方式是两套对应的数据：

作者把不同目标风格分成了不同组，一组更自然，另一组偏美颜效果。训练结果后来也会越来越倾向于数据里的风格，所以先看清楚目标数据是什么，再判断模型为什么学成那样。

这套图片编辑示例没有逐张单独打标，而是在任务中设置统一的 default caption，描述要做的转换。已有逐张描述的数据则使用自己的描述，不要把“没写旁边的文本文件”理解为“没有文字条件”。

上传完数据，在 AI Toolkit 中建立新任务，或复制教程已有任务后修改。按以下顺序检查：

图片和视频任务的配置也不同。视频演示的纯图片任务没有音频，frame count 使用 1；如果输入的是视频，不要把这一组图片设置原样套过去。参考图与参考视频对应的输入类型也要选择正确。

视频比较了不同适配器及训练方法，也提到了使用教师模型保留原模型能力的方式。这些选项影响训练行为和耗时，不是越多越好。

其中 circlestone-labs 的图片训练适配器有明确限制：使用时不应同时开启 CFG 增强训练或 guidance preservation loss。作者资料的这个限制应优先于“把效果相关选项全部打开”的直觉。

第一次运行时，使用教程中同一套相互匹配的配置，先跑通数据与采样。更换适配器时，重新核对训练方法，而不只是替换一个文件路径。

不要把视频里 H20 的迭代速度当作自己机器的预期。先用自己的素材跑一次缓存、采样和短训练，确认资源够用，再延长任务。

训练开始后观察样片，完成后下载 LoRA。编辑任务重点检查转换是否实现，以及人物、姿势和内容是否保留；复杂视频概念还要看动作与参考约束是否学对。

如果结果逐渐变成了不想要的“美颜感”或其他固定风格，先回看目标素材。视频中已经出现过训练结果受到这类数据倾向影响的情况。

另一套配对编辑训练的具体操作见 Qwen Image 2.1 编辑 LoRA：二次元转真人；两者的数据组织思路可以对照，但模型与训练配置不能直接互换。