训推框架调优
调优对象:Megatron、DeepSpeed、SGLang 等。调优技术:超参数优化、训推性能分析与调优、KV Cache 调优。
面向大规模智算业务,对训推框架、通信库、网络配置和主机配置等关键环节进行系统化调优。

产品定位
YCOS 联动训推框架、通信库、网络与主机配置,分析跨层性能瓶颈,通过端到端协同调优提升智算集群的有效算力和业务性能。
核心能力
核心能力架构
围绕智算集群的训练与推理链路,对关键软件与硬件配置开展系统化分析。
调优对象:Megatron、DeepSpeed、SGLang 等。调优技术:超参数优化、训推性能分析与调优、KV Cache 调优。
调优对象:NCCL、DeepEP、Mooncake TE 等。调优技术:多设备融合调度优化、集合通信算法调优。
调优对象:RoCE、PFC、ECN、网络调度等。调优技术:PFC+ECN 调优、网络性能深度分析与调优。
调优对象:CPU、NIC、PCIe、NUMA 等。调优技术:计算核心调度、主机网络调优、亲和性调优。
价值与效果
通过端到端调优,提升算力性能和业务效率,并适配多种集群场景。
大模型推理总吞吐提升。
大模型推理 TTFT 降低。
同时支持多种推理框架、模型架构、计算卡。
产品服务
组网、调优、运维与专业服务相互协同,共同覆盖智算网络完整生命周期。
围绕新建集群、存量改造、性能调优或智能运维,与我们一起评估网络如何释放更多有效算力。