llama.cpp: inferencia de modelos con C y C++

Proyecto para ejecutar modelos de lenguaje y visión con distintos backends de hardware.

Cuándo elegirlo · Requisitos · Primeros pasos · Vídeo · Alternativas

¿Para qué usar llama.cpp?

Una primera aplicación práctica: Probar un modelo compatible desde terminal o servir una API.

Qué necesitas antes de empezar

Binario o compilación apropiada y un modelo compatible que quepa en memoria.

Cómo empezar con llama.cpp

Usa los binarios o instalación oficial y ejecuta el ejemplo de un modelo pequeño. Prueba después el servidor si necesitas conectar otra aplicación.

Abrir las instrucciones oficiales de llama.cpp. Elige la instalación correspondiente a tu sistema y a la versión que vayas a utilizar.

Limitaciones y puntos a revisar

Formato, cuantización y backend influyen en calidad y velocidad. La licencia del motor no determina la del modelo.

Vídeo de llama.cpp

Vídeo próximamente. Mientras tanto, puedes empezar con la documentación enlazada en esta ficha.

Ver el canal Repositorios que deberías conocer en YouTube

Alternativas y proyectos relacionados

  • Ollama: ejecución y gestión de modelos.
  • LocalAI: API local para modelos de IA.

Repositorio y fuentes oficiales

Ver llama.cpp en GitHub · Documentación y guía de inicio

Información del proyecto contrastada el 6 de octubre de 2026. Revisa las notas de la versión y las licencias de sus componentes antes de instalar.

Tú decides

¿Quieres ver llama.cpp funcionando paso a paso?

Lo instalamos, lo probamos con un caso real y preparamos una guía para que puedas replicarlo. Dinos qué formato prefieres: haremos primero los repositorios que más se pidan.

Un clic basta. Sin registro.