首页 / 人工智能 / AI模型与技术

昇腾适配dots3-note preview:开源模型部署多了一条国产算力路径

小红书发布dots3-note preview后,华为宣布昇腾Atlas 800 A3和Atlas 900 A3 SuperPoD完成适配,并提供vLLM Ascend部署支持。

今日科技圈头条C编辑部已完成来源核验
查看行业与公司影响↓

小红书于8月14日发布dots3-note preview开源模型。随后,华为宣布昇腾Atlas 800 A3与Atlas 900 A3 SuperPoD已完成对该模型的适配,并提供基于vLLM Ascend的部署和推理支持。此次信息涉及模型、推理框架与昇腾算力平台之间的组合,开发者可据此在上述产品组合上部署并运行该模型。

开源模型从发布到实际使用,通常还要经过推理引擎、算子、性能配置和服务接口等环节的衔接。此次公布的适配,将dots3-note preview纳入昇腾平台支持的部署路径。公开材料未披露吞吐量、时延、客户数量、采购情况或商业订单,因此本次进展应限定为模型适配与部署支持的发布。

小红书提供开源模型版本,华为则给出对应算力平台上的部署入口,二者在同一软硬件组合中形成连接。对开发者而言,这意味着在选择该模型与昇腾平台组合时,多了一套已公布的推理方案。现有信息能够确认的是适配与推理支持已经发布,并不涉及特定行业客户的采购或上线情况。

上述内容仅整理已公开披露的时间、主体、动作与尚未披露的边界。对尚未出现在公开材料中的规模、价格、合同和交付安排,本文不另行推断。

模型适配影响部署选择与芯片软件生态

模型与推理平台的兼容程度,会直接影响开发团队搭建、测试和迁移服务时的工作量。dots3-note preview获得昇腾产品组合的部署支持后,使用该开源模型的团队可在既有模型选择之外,增加面向昇腾平台的运行路径;这对AI模型服务环节构成利好,因为可部署组合扩大有助于降低前期接入的阻力。对半导体环节而言,推理框架和模型适配补充了AI芯片平台承接模型工作负载的软件条件。影响首先体现在开发与测试环节,而非可直接对应为硬件收入;公开材料未提供订单或使用规模数据,这也限定了对商业化进度的判断范围。

涉及行业行业影响分析简要理由
应用软件利好开源模型增加面向昇腾平台的部署入口,开发者可选择的运行环境扩展。
半导体利好对昇腾平台的推理支持补充了AI芯片软件生态的可用场景。

新闻热点内容来源于媒体公开报道。文章分析仅代表个人观点,不构成投资建议。

专题:AI模型与技术

#昇腾#开源模型#大模型部署#vLLM Ascend