LLMs privados vs ChatGPT: por qué tu empresa no debería usar la API de OpenAI para datos sensibles

Cada vez que tu equipo copia un contrato, un correo interno o datos de cliente en ChatGPT, esa información entra en la infraestructura de OpenAI. El debate sobre qué hace exactamente OpenAI con esos datos es largo, pero la pregunta relevante para cualquier empresa es más simple: ¿necesitas arriesgarte?

La respuesta casi siempre es no. Y el motivo por el que muchas empresas todavía lo hacen es que nadie les ha explicado que existe una alternativa viable.

Qué pasa realmente con tus datos en OpenAI

Usar la API de OpenAI con los términos estándar no es lo mismo que usar el interfaz web. OpenAI indica que los datos enviados via API no se usan para entrenar modelos por defecto — pero eso puede cambiar, y en cualquier caso los datos salen de tu perímetro y pasan por infraestructura de un tercero estadounidense, con todo lo que eso implica bajo RGPD, NIS2 o el EU AI Act.

Para muchas industrias — legal, sanitaria, fintech, administración pública — esto no es solo un problema teórico. Es un incumplimiento potencial.

La alternativa: modelos locales fine-tuned

En los últimos dos años la calidad de los modelos open-weight ha alcanzado un nivel en el que la diferencia con GPT-4 en tareas específicas de negocio es marginal o inexistente, siempre que el modelo esté bien configurado.

Los modelos que uso habitualmente en despliegues cliente:

• Qwen3.5 (Alibaba) — excelente razonamiento, multilingüe nativo, muy eficiente
• DeepSeek-R1 — rendimiento cercano a GPT-4 en tareas analíticas
• Llama3.2 (Meta) — versátil, amplia comunidad, buena base para fine-tuning
• Mistral — rápido, eficiente en hardware modesto

Todos pueden ejecutarse en hardware local — desde una workstation con GPU RTX hasta un servidor dedicado — sin enviar ningún dato a internet.

El coste real de la inferencia local

El argumento más común contra los modelos locales es el coste del hardware. Es un argumento válido si haces los cálculos mal.

Una RTX 4090 o 5080 puede ejecutar modelos de 30B parámetros cuantizados con latencia de 2-5 segundos por respuesta. El coste de la GPU (amortizada en 3 años) equivale aproximadamente a 3-4 meses de API de OpenAI a uso medio empresarial. A partir del quinto mes, la inferencia es gratuita.

Además, al ejecutar localmente puedes hacer fine-tuning con tus propios datos — lo que da resultados significativamente mejores en tareas específicas del negocio que un modelo genérico de propósito general.

Cuándo tiene sentido la API de OpenAI

No todo es blanco o negro. Hay casos en los que la API externa tiene sentido:

• Prototipado rápido donde los datos son públicos o anónimos
• Volúmenes muy bajos sin datos sensibles
• Equipos sin infraestructura técnica para gestionar modelos locales

Pero si tu empresa maneja datos de clientes, datos financieros, propiedad intelectual o información regulada — y quieres cumplir con RGPD y EU AI Act — la conversación sobre infraestructura IA privada debería haberse tenido hace tiempo.

Por dónde empezar

Un despliegue básico de LLM privado no requiere meses de trabajo. Con el stack correcto (Ollama o vLLM, Rocky Linux, acceso SSH controlado) se puede tener un modelo funcionando en días. La parte que tarda más es el fine-tuning y la integración con los sistemas existentes.

Si quieres explorar qué tiene sentido para tu caso concreto, escríbeme.

Angel Sulev es arquitecto de seguridad e IA con 30+ años de experiencia. Fundador de PROTISEC, especializado en MLSecOps y despliegues LLM privados para empresas B2B.