Ejecución de modelos de lenguaje en hardware propio en lugar de APIs en la nube, con herramientas como Ollama, llama.cpp o vLLM. Habilitada por la cuantización y los modelos de pesos abiertos; relevante cuando importan privacidad, coste o control de datos.
Términos cercanos
Para leer más: ollama.com