ggml-org/llama.cpp

项目解读

LLM inference in C/C++。 主题标签包括 ggml。 README 重点章节包括：llama.cpp、Recent API changes、Hot topics、Quick start、Description。

README / GitHub 亮点

• GitHub 描述：LLM inference in C/C++。
• Manifesto / ggml / ops。
• Changelog for libllama API。
• Hugging Face cache migration: models downloaded with -hf are now stored in the standard Hugging Face cache directory, enabling sharing with other HF tools.

适用场景

适合评估 AI 应用、智能体工作流、模型工具链、RAG/提示词工程或 AI 辅助开发场景。

采用前核查

Open Issues 数量较高，需评估维护压力和问题响应速度。

README 摘要

Manifesto / ggml / ops LLM inference in C/C++ Changelog for libllama API Changelog for llama-server REST API Hugging Face cache migration: models downloaded with -hf are now stored in the standard Hugging Face cache directory, enabling sharing with other HF tools. guide : using the new WebUI of llama.cpp