资讯
公开 · 已发布
Visa发布首个此类行业基准,评测AI购物;近半数测试运行未通过
Visa推出了其Visa Agentic Commerce Benchmark,对AI模型执行真实的购物任务进行测试,这些任务要求模型澄清客户需求,并在要求未满足时避免购买。在第一轮测试中,来自12个实验室的22个模型完成了15项挑战,总体通过率为57.2%。
发布时间:
更新时间:
发生了什么
Visa推出了其Visa Agentic Commerce Benchmark,对AI模型执行真实的购物任务进行测试,这些任务要求模型澄清客户需求,并在要求未满足时避免购买。在第一轮测试中,来自12个实验室的22个模型完成了15项挑战,总体通过率为57.2%。
已确认
全球影响 / 市场背景
结果表明,AI购物工具在推荐或进行购买之前,可能需要更好地询问问题。如果它们误解需求,零售商可能会失去销售机会,或收到不合适的订单;表现更强则可能帮助企业将更多购物对话转化为已完成的购买。
分析师推断
Visa的测试表明,AI购物表现差异很大:排名最高的模型通过了82.2%的尝试,而排名最低的模型通过率为28.9%。发现更多隐藏购买需求的模型,其平均通过率也更高,这说明有效对话与更好的任务完成表现相关。
已确认
下一步关注
- 后续基准测试结果可能显示AI模型在识别客户需求方面是否有所改进;这一能力可能影响购物工具推荐商品或完成购买的可靠程度。 分析师推断
- 文章报告称,平均每次运行成本最高的五个模型通过了67.1%的运行,而成本最低的一组通过率为50.2%。 已确认
- 零售商和支付企业可以评估,表现更好的AI购物工具能否带来足够多的已完成订单,从而证明使用更昂贵模型的成本合理。 分析师推断
证据
- 原始来源链接不可用