Desplegando Agentes Autónomos con Ollama

Correr modelos de lenguaje en local se ha vuelto una necesidad para mantener la privacidad y reducir costos en el desarrollo de agentes autónomos.

La Arquitectura

Para este setup, utilizo un contenedor LXC en Proxmox dedicado exclusivamente a inferencia. Esto me permite aislar los recursos de GPU y CPU.

Pasos de instalación

1. Levantar el servicio de Ollama.
2. Configurar LiteLLM como proxy para estandarizar las llamadas.
3. Conectar nuestro framework de agentes (como OpenClaw o Hermes).

# Instalación rápida de Ollama
curl -fsSL [https://ollama.com/install.sh](https://ollama.com/install.sh) | sh

# Descargar el modelo base
ollama run llama3

En próximos artículos detallaré cómo estructurar los prompts del sistema para optimizar el razonamiento del agente.