硬件一换，最优配置就要重新找。
一次推理要先把输入处理一遍（prefill），再一个字一个字地吐出来（decode）。两段的瓶颈并不一样：prefill 偏算力密集，decode 更吃显存带宽——同一块加速卡在这两段上的强项，往往不是同一副牌面。中间还有一串要过手的小决定：请求怎么拼批、缓存怎么分层、通信怎么与计算重叠——每一处都有默认值，但默认值很少正好是眼前这块硬件的最优值。
我们不去猜哪个默认值不对，而是把每一层的候选做法列出来，批量搜索、独立验证，收敛成一份配置。模型换了、硬件换了、卡数变了，就重新搜一遍，而不是凭上一次的经验去套。
四个尺度
同一套方法，在四个不同的规模上展开。
单卡优化
精度、批大小、KV 缓存策略——把单张卡的算力和显存用到这块硬件允许的上限，而不是套用某个通用默认值。
多卡优化
给定卡数后，并行方式不止一种切法。我们穷举可行的切分组合，找到通信开销最小、显存又放得下的那一种。
国产卡适配
同一套参数换一块芯片，最优点常常不在原处，有时方向还恰好相反。迁移前先列一份清单：哪些可以直接搬，哪些必须本地重新搜索。
集群优化
多任务、多请求共享一个集群时，调度策略、节点配比与是否拆分计算阶段，都成了要一起解的变量，而不是分开调。
方法
这四个尺度共用同一套底层方法：优化空间先分层，每一层沉淀几条候选路径，再用搜索—验证—收敛的流程批量跑过，而不是靠工程师一个一个手动试。模型或硬件一换，路径库被重新搜索，而不是推倒重来。
有具体的语言模型和硬件要调？
告诉我们模型、硬件与目标，我们会给出一份可联合验证的方案；数字好不好看，以实测为准。
← 返回 Infra