← Volver al PortafolioInfraestructura

Ollama Rotator

TypeScriptNode.jsOllama CloudProxyPostgreSQLDashboard
[ Ver Código ]

QUOTA_GUARD_ACTIVE // MULTI_ACCOUNT_PROXY // OLLAMA_CLOUD

Ollama Rotator es un proxy de rotacion multi-cuenta para Ollama Cloud. Distribuye requests entre varias API keys ollama-... para que la carga y las cuotas se compartan de forma transparente en vez de quemar una sola cuenta.

Cada modelo mantiene su propia cuenta activa. El proxy consulta /api/usage cada 5 minutos, puntua la salud de cada cuenta con un indice compuesto 0.0–1.0 (cuota, errores, cooldowns, disponibilidad) y rota solo cuando hay una razon real — no a ciegas.

Lo que resuelve

  • Routing por modelo: cada modelo mantiene su cuenta activa de forma independiente.
  • Rotacion por cuota: consulta el uso y rota ante caidas de cuota o umbrales de requests.
  • Cuatro politicas de routing: timer-first, tier-first, quota-first, hybrid.
  • Prediccion de agotamiento: presupuestos de tokens calibrados por modelo predicen cuando se acaba la cuota.
  • Seguridad: circuit breakers, presupuestos diarios, pausa protectora, flagging de cuentas.
  • Adaptadores de protocolo: Ollama nativo, OpenAI, Anthropic y Responses API detras de un solo endpoint.
  • Virtual API keys: claves rk-... con restricciones de modelo por key (PostgreSQL).
  • Spend logging: auditoria por request con tokens, costo y latencia (PostgreSQL).
  • Compresion de prompt: modos lite y rtk.
  • Dependencias minimas: solo 2 deps en runtime (pg, tsx).

Diferencia con otros rotators

Donde el rotator de Antigravity pelea contra una cuota tecnica, este maneja el gating por tier de suscripcion: cuentas free-tier reciben HTTP 403 "this model requires a subscription" para modelos restringidos. El modal Attention Needed del dashboard muestra la matriz modelo-a-tier cuando hay cuentas free configuradas, para que el operador sepa exactamente que alcanza cada key.