Netflix 技术团队披露了其内部大模型推理服务的设计。团队没有为大模型另建一套隔离平台,而是将模型部署和推理接入既有模型服务体系。这套体系同时服务传统机器学习模型和大模型:较小的 CPU 模型可在统一服务中运行,较大的 GPU 模型则由 Model Scoring Service 承接。
在推理引擎选择上,Netflix 介绍其早期使用过 TensorRT-LLM,随后针对嵌入生成、仅预填充、连续生成以及包含自定义约束的模型等工作负载重新评估,选择 vLLM 作为主要推理路径。NVIDIA Triton Inference Server 位于模型加载、批处理和 GPU 调度的服务层;上层控制平面负责部署、版本、健康检查、自动扩缩及分阶段发布。团队保留既有 gRPC 调用入口,同时增加兼容 OpenAI 的 HTTP 接口,供不同应用接入。
此次披露并非面向消费者的新功能发布,而是说明大模型如何进入已运行多类机器学习业务的生产系统。Netflix 还描述了模型版本兼容、约束式输出和发布策略等工程安排。为处理结构化输出需求,团队调整了接口实现,使请求中的输出格式约束能够传递到推理引擎;在 vLLM 从 V0 迁至 V1 后,团队也针对批处理中的约束式解码改写了关键路径。
从公开架构可见,Netflix 将模型推理、部署和服务治理纳入同一条生产链路。这一案例展示了大型互联网公司组织内部推理服务的方式,但未披露具体 GPU 数量、云资源采购金额或由此产生的单项财务结果。双接口设计则使既有内部服务与采用通用 HTTP 规范的新应用能够接入同一基础设施。