我们所建

一套方法,覆盖所有模型

一套语言的提速,一套影像的提速,一套贯穿所有模型的方法。

语言

大语言模型

连续批处理、投机解码、KV 分层与复用、并行通信——每一层都有待搜索的参数;模型或硬件一换,就重新收敛一次,而非从头再试。

单卡优化多卡优化国产卡适配集群与 PD 分离

影像

视频与扩散模型

去噪步数、步间残差复用、计算图与算子、显存排布——扩散模型的优化空间与语言模型并不相同,却是同一套搜索方法。

单卡优化多卡优化国产卡适配集群调度

延展

其他主流模型

图像生成、多模态理解、语音与音频、Embedding 与重排序——优化空间的结构相通:哪些手段不改变输出、哪些手段需要质量门禁,方法可以直接迁移。

单卡优化多卡优化国产卡适配集群优化

手上有具体的模型和硬件组合?

告诉我们模型、硬件与目标,我们会给出一份可联合验证的方案;数字好不好看,以实测为准。

联系我们