DeepSeek 宣佈全面開源內部推理框架 DeepInfer
DeepSeek 表示，將全面開源內部推理框架 DeepInfer，並同步開放生產級 Token 編解碼組件 deepseek-recipe，以幫助開發者和企業優化大規模模型推理的吞吐、延遲與部署成本。DeepInfer 集成高性能算子和經過深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，併兼容英偉達與華爲昇騰平臺。DeepSeek 稱，目前已基於 DeepInfer 實現 DeepSeek V4.1 Flash 的高吞吐、低延遲大規模推理服務，未來新模型的推理代碼及後續優化也將持續在該框架中更新。
