一套方法,覆盖所有模型
一套语言的提速,一套影像的提速,一套贯穿所有模型的方法。

语言
大语言模型
连续批处理、投机解码、KV 分层与复用、并行通信——每一层都有待搜索的参数;模型或硬件一换,就重新收敛一次,而非从头再试。
单卡优化多卡优化国产卡适配集群与 PD 分离

影像
视频与扩散模型
去噪步数、步间残差复用、计算图与算子、显存排布——扩散模型的优化空间与语言模型并不相同,却是同一套搜索方法。
单卡优化多卡优化国产卡适配集群调度

延展
其他主流模型
图像生成、多模态理解、语音与音频、Embedding 与重排序——优化空间的结构相通:哪些手段不改变输出、哪些手段需要质量门禁,方法可以直接迁移。
单卡优化多卡优化国产卡适配集群优化
手上有具体的模型和硬件组合?
告诉我们模型、硬件与目标,我们会给出一份可联合验证的方案;数字好不好看,以实测为准。
