Carga el modelo

1. Ve a la pestaña Chat (💬) en LM Studio.
2. Arriba, en Select a model to load, elige el GGUF descargado (ej. qwen2.5-14b-instruct-q4_k_m).
3. Ajusta parámetros de carga:
   • Context Length (n_ctx): 4096 para pruebas, 8192 si tu prompt es largo. No subas a 32k si tu PC es modesta — consume RAM.
   • GPU Offload: ponlo al máximo que permita tu VRAM (ej. 35/35 layers si tienes 24 GB).
4. Haz clic en Load Model. Espera a que diga Model loaded.

Inicia el servidor

1. Ve a la pestaña Local Server (↔️) en el lateral izquierdo.
2. Arriba verás Server Status: Stopped y el modelo cargado.
3. Configura:
   • Port: 1234 (por defecto).
   • CORS: habilita Enable CORS si probarás desde el navegador.
4. Haz clic en Start Server.

Verás:

Server running on http://localhost:1234
Endpoints:
  GET  http://localhost:1234/v1/models
  POST http://localhost:1234/v1/chat/completions
  POST http://localhost:1234/v1/completions
  POST http://localhost:1234/v1/embeddings (si el modelo lo soporta)

Prueba el servidor con curl (verificación obligatoria)

Abre una terminal y ejecuta:

# 1. Lista modelos (debe devolver el GGUF cargado)
curl http://localhost:1234/v1/models | jq .
 
# 2. Chat completion — el mismo que usará ChatCielo
curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-14b-instruct-q4_k_m",
    "messages": [
      {"role": "system", "content": "Eres asistente de DemoShop. Responde en máximo 3 líneas, español neutro. Si no sabes un dato, di que derivas a asesor."},
      {"role": "user", "content": "Hola, ¿hacen envíos a Bogotá?"}
    ],
    "temperature": 0.3,
    "max_tokens": 350
  }' | jq -r '.choices[0].message.content'

Si responde coherentemente en español, el servidor está listo para ChatCielo.

Prueba también con llama o mistral cambiando el campo model por el nombre exacto que muestra GET /v1/models.

Configura el canal

Ve a Canales > Tu canal > Integración IA > OpenAI / ChatGPT.

Si ChatCielo no está en localhost — cómo exponer LM Studio

LM Studio por defecto solo escucha en 127.0.0.1. Si tu ChatCielo está en otro equipo o en la nube:

Opción A — Misma red Wi-Fi / LAN (pruebas oficina):

# En LM Studio > Local Server > Settings, cambia Host a 0.0.0.0
# o inicia con flag si usas CLI:
# LM Studio aún no expone CLI para host; usa un túnel:
 
# Túnel rápido con cloudflared (sin abrir puertos del router)
cloudflared tunnel --url http://localhost:1234
# copia la URL https://xxxx.trycloudflare.com y usa https://xxxx.trycloudflare.com/v1 como Base URL

Opción B — Tailscale / ngrok (recomendado para demos con cliente):

ngrok http 1234
# Base URL: https://xxxx.ngrok-free.app/v1

Pruebas en local y validación

1. En ChatCielo haz clic en Probar / Enviar mensaje de prueba con: "Hola, ¿cuánto tarda el envío a Lima?"
2. Verifica que la respuesta llegue en <2 s (en GPU) o 3–6 s (en CPU) y en español neutro.
3. Haz pruebas cruzadas cambiando el modelo:
   • Carga mistral-7b en LM Studio → cambia Modelo en ChatCielo a mistral-7b... → prueba de nuevo.
   • Carga qwen2.5-14b → cambia y compara calidad.
4. Desde tu PC prueba el webhook que usará ChatCielo:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-14b-instruct-q4_k_m",
    "messages": [
      {"role":"system","content":"Eres asistente de DemoShop. Máximo 3 líneas, español neutro. Variable protocolo {{protocol}}."},
      {"role":"user","content":"Mi pedido 12345 no llegó, ¿qué hago?"}
    ],
    "temperature": 0.3
  }' | jq .

5. Con un número de WhatsApp de prueba, escribe al canal conectado y confirma que el flujo completo (cliente → ChatCielo → LM Studio → ChatCielo → WhatsApp) funciona.