Infra/视频与扩散模型

去噪的每一步,都是一次值得重新计算的决定。

扩散模型的大头开销几乎都在去噪这一步:一个数十亿参数的网络,要在同一段视频上反复算上几十轮。多卡部署时,这个网络本身往往已经逼近单卡显存的上限——可选的并行切法因此不多,但哪一种最优,仍要靠实测,不能凭直觉挑。

另一部分空间在去噪算法本身:相邻两轮的计算结果往往很接近,能不能复用、复用到什么程度,是一个需要搜索、且会随硬件而变的阈值——同一个阈值搬到另一块硬件上,最优方向甚至可能反过来。

四个尺度

同一套方法,在四个不同的规模上展开。

单卡优化

去噪步数、采样调度器与复用阈值的组合,在同一块卡上找到速度与画质的平衡点。

多卡优化

模型本身往往已经顶着单卡显存上限,可行的切分方式因此有限,但哪一种最优仍需逐一实测,不能凭直觉挑。

国产卡适配

复用阈值这类参数换一块芯片后,方向可能恰好相反,必须本地重新定,不能原样搬过去。

集群优化

多个生成任务共享集群时,排期与资源分配同样是一组要联合求解的变量,而不是逐任务单独调。

方法

改变输出的手段(比如步间复用)和不改变输出的手段(比如调度优化),我们分开对待:前者必须先过质量校验才能进候选池,后者只看速度。四个尺度上的搜索,都在同一套校验之下进行。

有具体的视频或扩散模型要调?

告诉我们模型、硬件与目标,我们会给出一份可联合验证的方案;数字好不好看,以实测为准。

联系我们

← 返回 Infra