LLMs privados vs ChatGPT: por qué tu empresa no debería usar la API de OpenAI para datos sensibles

Cada vez que tu equipo copia un contrato, un correo interno o datos de cliente en ChatGPT, esa información entra en la infraestructura de OpenAI. El debate sobre qué hace exactamente OpenAI con esos datos es largo, pero la pregunta relevante para cualquier empresa es más simple: ¿necesitas arriesgarte?

La respuesta casi siempre es no. Y el motivo por el que muchas empresas todavía lo hacen es que nadie les ha explicado que existe una alternativa viable.

Qué pasa realmente con tus datos en OpenAI

Usar la API de OpenAI con los términos estándar no es lo mismo que usar el interfaz web. OpenAI indica que los datos enviados via API no se usan para entrenar modelos por defecto — pero eso puede cambiar, y en cualquier caso los datos salen de tu perímetro y pasan por infraestructura de un tercero estadounidense, con todo lo que eso implica bajo RGPD, NIS2 o el EU AI Act.

Para muchas industrias — legal, sanitaria, fintech, administración pública — esto no es solo un problema teórico. Es un incumplimiento potencial.

La alternativa: modelos locales fine-tuned

Para muchas tareas de negocio concretas basta un modelo open-weight bien configurado en tu propio hardware. No hace falta un modelo de frontera como los GPT-6 y GPT-6.1 de OpenAI.

Los modelos que uso habitualmente en despliegues cliente:

• Qwen3.6 y Qwen3.8 de 27B (Alibaba), en versiones ajustadas: razonan bien, son multilingües y, cuantizados, caben en una GPU de 16 GB.
• Qwen3.5 de 4B y 9B, para tareas rápidas: clasificar, extraer y resumir.

Todos pueden ejecutarse en hardware local — desde una workstation con GPU RTX hasta un servidor dedicado — sin enviar ningún dato a internet.

El coste real de la inferencia local

El argumento más común contra los modelos locales es el coste del hardware. Es un argumento válido si haces los cálculos mal.

Nuestro servidor de inferencia tiene dos RTX 5080 de 16 GB: un modelo de 27B cuantizado ocupa una y la otra queda para imagen, vídeo y voz. La API cobra por token y la GPU es un coste fijo, así que con volumen alto y estable el hardware acaba pagado. Cuándo pasa depende de tu volumen y de los precios vigentes: haz la cuenta con tus datos reales.

Además, al ejecutar localmente puedes hacer fine-tuning con tus propios datos — lo que da resultados significativamente mejores en tareas específicas del negocio que un modelo genérico de propósito general.

Cuándo tiene sentido la API de OpenAI

No todo es blanco o negro. Hay casos en los que la API externa tiene sentido:

• Prototipado rápido donde los datos son públicos o anónimos
• Volúmenes muy bajos sin datos sensibles
• Equipos sin infraestructura técnica para gestionar modelos locales

Pero si tu empresa maneja datos de clientes, datos financieros, propiedad intelectual o información regulada — y quieres cumplir con RGPD y EU AI Act — la conversación sobre infraestructura IA privada debería haberse tenido hace tiempo.

Por dónde empezar

Un despliegue básico de LLM privado no requiere meses de trabajo. Con el stack correcto (Ollama o vLLM, Rocky Linux, acceso SSH controlado) se puede tener un modelo funcionando en días. La parte que tarda más es el fine-tuning y la integración con los sistemas existentes.

Si quieres explorar qué tiene sentido para tu caso concreto, escríbeme.

Angel Sulev es arquitecto de seguridad e IA con 30+ años de experiencia. Fundador de PROTISEC, especializado en MLSecOps y despliegues LLM privados para empresas B2B.