资讯

公开 · 已发布

英伟达股价大跌。IBM与Supermicro的AI合作实现56倍速度提升

尽管英伟达、IBM和Super Micro Computer宣布合作开发AI推理存储系统,英伟达股价仍在周四早盘交易中下跌6%。在使用一个120-billion-parameter模型和130,000-token提示词进行的测试中,该系统生成首个响应的速度最高快了56倍。

发布时间:

更新时间:

发生了什么

尽管英伟达、IBM和Super Micro Computer宣布合作开发AI推理存储系统,英伟达股价仍在周四早盘交易中下跌6%。在使用一个120-billion-parameter模型和130,000-token提示词进行的测试中,该系统生成首个响应的速度最高快了56倍。

已确认

全球影响 / 市场背景

该系统会存储此前处理过的信息,使AI应用能够重复利用这些信息,而不必重新计算。如果得到采用,这可能缩短处理长提示词和复杂工作负载时的延迟,同时改变服务提供商在其AI系统中分配存储和计算需求的方式。

分析师推断

这项公告凸显了加快AI推理(即从经过训练的AI模型生成答案的过程)的努力。尽管如此,英伟达股价在早盘交易中下跌6%;文章没有解释股价下跌的原因,也没有证据表明该测试系统已得到广泛部署。

分析师推断

下一步关注

  1. 关注测试中的速度提升是否能在其他模型、提示词长度和实际工作负载中保持;所报告的结果来自特定模型和提示词大小。 分析师推断
  2. 关注客户是否采用该存储系统,以及它如何部署在GPU集群中;公司介绍了该系统的设计和测试,并未说明销售情况。 分析师推断
  3. 关注公司是否报告重复利用已存储信息降低了计算需求或成本;文章描述了工作负载方面的潜在收益,但未提供成本或财务数据。 分析师推断

证据