Supermicro携手IBM和NVIDIA推出KV缓存解决方案，展示显著的推理性能优势

发生了什么

Supermicro宣布与IBM和NVIDIA联合推出KV缓存存储解决方案。该方案结合了Supermicro Petascale全闪存存储服务器、IBM Storage Scale软件、NVIDIA Dynamo推理软件和Spectrum-X网络。测试发现，与不使用KV缓存的系统相比，该方案能缩短AI模型开始响应长提示词前的等待时间。

已确认

全球影响 / 市场背景

如果客户采用该系统，在GPU内存之外存储更多KV缓存，可能使现有GPU处理更多AI请求并更快生成响应。这或许能在不增加那么多GPU的情况下提升服务提供商的服务能力，同时为合作伙伴的存储和网络产品创造需求。

分析师推断

这项公告介绍的是产品和测试结果，而非客户订单、收入或财务指引。任何业务收益都取决于买家是否部署该产品并在自身工作负载中取得类似提升；所提供的信息没有量化成本、销售额或节省金额。

分析师推断

下一步关注

1. 关注客户部署和采购承诺；这些信息将表明该系统是否会超越测试阶段，并为Supermicro存储、IBM软件或NVIDIA产品带来可衡量的需求。 分析师推断
2. 针对不同长提示词工作负载的更多性能结果，或可说明与不使用KV缓存的系统相比，该系统缩短响应前等待时间并提高GPU利用率的效果是否稳定。 分析师推断
3. 关注部署成本及额外吞吐量的具体数据，因为买家需要这些数据来判断该系统是否能改善服务经济效益。 分析师推断

证据

• 原始来源链接不可用