DeepSeek于10月20日开源DeepInfer。该项目被定义为用于大规模生产服务的高性能推理框架;本次开源版本提供离线推理核心能力,明确支持DeepSeek-V4.1-Flash,并采用Apache-2.0许可证。
项目说明同时划定了开源范围:KV缓存系统、视觉编码与预填充及解码的在线拆分、跨数据并行副本的负载均衡均未包含在此次发布中。因此,DeepInfer并不是对官方在线服务的完整复刻,而是向外部提供了与V4.1 Flash配套的一部分推理基础能力。
DeepSeek的部署问答显示,其面向V4.1 Flash的大规模云服务会将预填充和解码分离配置;KV缓存对智能体流量保留3天,对聊天流量保留7天。API文档则将deepseek-flash对应至DeepSeek-V4.1-Flash-1017,列明其支持1M上下文、视觉和工具调用,并公布输入、缓存命中输入及输出的峰谷价格。上述服务架构、缓存策略和价格均为DeepSeek公开信息,不代表本站对外部部署性能或成本的验证。
开源推理内核如何改变部署分工
对模型服务商及具备稳定高并发需求的企业而言,DeepInfer公开了部分离线推理能力,可能让部署方更直接地围绕V4.1 Flash建设本地或自有云端服务。但模型推理的实际交付并不止于推理内核:KV缓存、预填充与解码协同、负载均衡以及后续运行保障,仍需要部署方自行完成。若使用方拥有持续请求量、可获得相应算力并具备运维能力,自建方案可能带来更细的服务控制空间;如果需求波动较大,或缺少缓存和流量调度等配套能力,采用官方API仍可能更便于控制运行复杂度。此次开源的意义在于扩大了部署选择,而非替代完整在线服务。
| 涉及行业 | 行业影响分析 | 简要理由 |
|---|---|---|
| 应用软件 | 利好 | 离线推理核心能力公开,为具备集群与运维能力的服务商提供了V4.1 Flash部署基础。 |
| 互联网服务与基础设施 | 中性 | KV缓存、在线拆分和负载均衡未随代码完整提供,相关投入取决于部署方的业务规模与技术路线。 |
| 系统软件 | 利好 | 自建推理服务仍需完成调度、运行保障及与缓存、流量系统的协同,带来适配需求。 |
新闻热点内容来源于媒体公开报道。文章分析仅代表个人观点,不构成投资建议。
