Ejecuta Llama, Qwen, DeepSeek y otros modelos grandes en tu equipo con un solo comando.
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- Categoría
- 🤖 IA y búsqueda
- Repositorio
- defilantech/LLMKube
- Estrellas
- ★ 234
- Forks
- 41
- Lenguaje
- Go
- Licencia
- Apache-2.0
- Última actualización
- 2026-10-16
- Visitas
- 0
DockerGo
Proyectos similares
Aplicación de IA todo en uno: entrega cualquier documento a un LLM y conversa con él, con soporte para modelos locales y muchas bases de datos vectoriales.
Motor de búsqueda de código abierto rápido y fácil de usar, con tolerancia a errores tipográficos y ordenación por relevancia listas para usar.
Servicio de inferencia local compatible con OpenAI que ejecuta muchos tipos de modelos incluso sin GPU.
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。