antirez/ds4

它是什么

ds4 是一个小型、原生、完全自包含的本地推理引擎，目标不是做通用 GGUF 运行器，也不是包一层其他运行时。它主要解决 DeepSeek 模型在本地正确且快速运行的问题，同时把 DeepSeek 特定的加载、提示渲染、工具调用、KV 状态管理等能力一起做进去。它面向需要本地跑 DeepSeek V4 Flash/PRO 的开发者，以及会接入编码代理或 CLI 的使用者。

为什么值得关注

这个项目不是泛化推理框架，而是把“DeepSeek 专用本地推理”做成完整工具链，README 直接强调了自包含、编码代理、服务 API 和测试工具。榜单侧又显示它近期热度上升，说明这类面向特定模型的本地引擎有明确关注度。

核心能力

• 本地运行 DeepSeek V4 Flash，兼顾 V4 PRO
• 支持 Metal、CUDA 和 ROCm 后端
• 提供 DeepSeek 专用加载与提示渲染
• 支持工具调用和 KV 状态管理

适合谁用

• 需要在本机跑 DeepSeek 模型的开发者
• 要把模型接入编码代理流程的用户
• 想做本地推理服务和 CLI 工作流的人
• 需要测试速度、质量或生成 GGUF 工具的人

使用前注意

• README 明确说它只针对 DeepSeek，不是通用 GGUF 运行器
• DeepSeek V4 PRO 只适合非常高内存机器
• Metal 是主要目标，NVIDIA CUDA 和 ROCm 也受支持
• 项目许可为 MIT，仓库未归档

README 证据

• “optimized first for DeepSeek V4 Flash”
• “support for DeepSeek V4 PRO on very high-memory machines”
• “not a generic GGUF runner, not a wrapper around another runtime”
• “DeepSeek specific loading, prompt rendering, tool calling”