一行命令在本机运行 Llama、Qwen、DeepSeek 等大模型。
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- 分类
- 🤖 AI 与搜索
- 仓库
- defilantech/LLMKube
- Stars
- ★ 235
- Forks
- 37
- 语言
- Go
- 许可证
- Apache-2.0
- 最近更新
- 2026-10-16
- 访问次数
- 0
DockerGo
同类项目
一体化的 AI 应用：把任何文档喂给大模型并聊天，支持本地模型与多种向量库。
快速、易用的开源搜索引擎，开箱即用的容错与相关性排序。
OpenAI 兼容的本地推理服务，无需 GPU 也可运行多种模型。
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。