首页 / 大模型动态

DeepSeek开源DeepInfer推理框架:V4.1 Flash的离线部署补齐一段生产链路

DeepSeek于10月20日开源DeepInfer,面向V4.1 Flash提供离线推理核心能力;缓存、在线拆分与负载均衡仍需部署方自行补齐。

今日科技圈头条C编辑部已完成多源核验
查看行业与公司影响↓

DeepSeek于10月20日开源DeepInfer。该项目被定义为用于大规模生产服务的高性能推理框架;本次开源版本提供离线推理核心能力,明确支持DeepSeek-V4.1-Flash,并采用Apache-2.0许可证。

项目说明同时划定了开源范围:KV缓存系统、视觉编码与预填充及解码的在线拆分、跨数据并行副本的负载均衡均未包含在此次发布中。因此,DeepInfer并不是对官方在线服务的完整复刻,而是向外部提供了与V4.1 Flash配套的一部分推理基础能力。

DeepSeek的部署问答显示,其面向V4.1 Flash的大规模云服务会将预填充和解码分离配置;KV缓存对智能体流量保留3天,对聊天流量保留7天。API文档则将deepseek-flash对应至DeepSeek-V4.1-Flash-1017,列明其支持1M上下文、视觉和工具调用,并公布输入、缓存命中输入及输出的峰谷价格。上述服务架构、缓存策略和价格均为DeepSeek公开信息,不代表本站对外部部署性能或成本的验证。

开源推理内核如何改变部署分工

对模型服务商及具备稳定高并发需求的企业而言,DeepInfer公开了部分离线推理能力,可能让部署方更直接地围绕V4.1 Flash建设本地或自有云端服务。但模型推理的实际交付并不止于推理内核:KV缓存、预填充与解码协同、负载均衡以及后续运行保障,仍需要部署方自行完成。若使用方拥有持续请求量、可获得相应算力并具备运维能力,自建方案可能带来更细的服务控制空间;如果需求波动较大,或缺少缓存和流量调度等配套能力,采用官方API仍可能更便于控制运行复杂度。此次开源的意义在于扩大了部署选择,而非替代完整在线服务。

涉及行业行业影响分析简要理由
应用软件利好离线推理核心能力公开,为具备集群与运维能力的服务商提供了V4.1 Flash部署基础。
互联网服务与基础设施中性KV缓存、在线拆分和负载均衡未随代码完整提供,相关投入取决于部署方的业务规模与技术路线。
系统软件利好自建推理服务仍需完成调度、运行保障及与缓存、流量系统的协同,带来适配需求。

新闻热点内容来源于媒体公开报道。文章分析仅代表个人观点,不构成投资建议。

进一步了解

从报道到选型

相关报道

专题:AI模型与技术

#DeepSeek#DeepInfer#V4.1 Flash#开源推理#模型部署