IT之家 12 月 23 日音问云开体育，华为数据存储与中科弘云本日发布了 AI 推理加快搭伙处理决策。

该决策以华为 OceanStor A 系列存储为数据底座，谀媚中科弘云智算互联网云作事平台 HyperCN 平台，优化长序列推理体验。

该决策深度交融华为 OceanStor A 系列存储、华为 UCM 推理缅想数据料理时候以及中科弘云 HyperCN 平台智力，通过 KV Cache 多级缓存料理、秒级算力退换、分钟级推理大模子部署及全经过 AI 器具链，将智能算力运送至业务一线。该搭伙决策的中枢上风如下：

异构料理：扶持平台、缠绵与存储的协同联动，适配英伟达、华为昇腾、寒武纪等多元 AI 算力，兼容 MindSpore / vLLM/SGLang 等主流框架，并通过 Kubernetes 与华为 OceanStor A 系列存储已毕无缝对接。

算力退换：对算力资源进行细粒度切分与池化处理，按需活泼退换，已毕资源愚弄率最大化；具备集群功课退换、运维监控、故障规复等功能，扶持分钟级任务规复与系统健康监测。

推理加快：依托华为 UCM 时候，将 KV Cache 捏久化至华为 OceanStor A 系列存储，已毕推理缅想全量保存，减少重叠缠绵；此外，交融 Prefix Cache、GSA 稀少加快等算法，显耀裁汰首 Token 时延（TTFT），使长序列推理隐隐与体验已毕倍数级擢升。

端到端 AI 器具链：脱色数据料理标注、算法迷惑、大小模子老练推理、智能体迷惑等全经过，扶持传统机器学习与深度学习迷惑，已毕 AI 金钱的长入缔造与迫临料理。

经实测，在智能问答的典型推理场景中，该决策已毕首 Token 时延（TTFT）裁汰 57.5%，且序列长度越长，优化着力越显耀；在长文档推理场景中，谀媚 GSA 稀少加快算法，当序列长度为 39K 时，并发智力擢升 86%，推理隐隐擢升 36%，擢升推理着力与体验。

IT之家从相助公告获悉云开体育，该搭伙决策当今已在动力电力、智能制造、国度本质室等要道行业起头试点应用。

告白声明：文内含有的对外跳转聚拢（包括不限于超聚拢、二维码、口令等形态），用于传递更多信息，节俭甄选时辰，章程仅供参考，IT之家系数著述均包含本声明。

]article_adlist--> 　　声明：新浪网独家稿件，未经授权辞谢转载。 -->