结构重复的地方，方法就能直接搬过去。
这些模型之间差别不小——有的输出一张图，有的输出一段向量，有的要同时处理文字和画面。但拆开看，它们面对的是同一类问题：哪些计算是重复的、可以缓存或省掉；哪些手段会改变输出、因此需要先过质量校验；显存和算力在单卡与多卡之间该怎么分配。
正因为骨架相似，我们不必为每一种模型从零建一套方法——分层拆解和搜索—验证—收敛的流程直接套用，只是每一层里具体要搜的参数，换成这个模型自己的。
四个尺度
同一套方法，在四个不同的规模上展开。
单卡优化
精度、批处理与显存排布，按这个模型自己的结构重新搜索，而非套用其他模型的经验值。
多卡优化
并行切法的选择要权衡显存与通信开销，具体怎么切，仍由模型结构和卡数共同决定。
国产卡适配
方法论可直接复用，但具体数值仍要在目标硬件上重新验证，不借用其他芯片上的结论。
集群优化
多类模型共享集群时，调度与资源分配要把各自的瓶颈都纳入同一个搜索空间，而非各管一段。
方法
覆盖面广，不代表每种模型都要重新发明一套流程——分层、建路径库、搜索—验证—收敛，这套底层方法与模型类型无关，换的只是每一层里具体要搜的参数。
手上的模型不在这三类里？
告诉我们模型、硬件与目标，我们会先如实告诉你这套方法是否适用，再给出可联合验证的方案。
← 返回 Infra