LLMs privats vs ChatGPT: per què la teva empresa no hauria d'usar l'API d'OpenAI per a dades sensibles

Cada vegada que el teu equip enganxa un contracte, un correu intern o dades de clients al ChatGPT, aquesta informació entra a la infraestructura d’OpenAI. El debat sobre exactament què fa OpenAI amb aquestes dades és llarg, però la pregunta rellevant per a qualsevol empresa és més senzilla: necessites assumir aquest risc?

La resposta gairebé sempre és no. La raó per la qual moltes empreses segueixen fent-ho és que ningú els ha explicat que existeix una alternativa viable.

Què passa realment amb les teves dades a OpenAI

Usar l’API d’OpenAI en termes estàndard no és el mateix que usar la interfície web. OpenAI declara que les dades enviades via API no s’usen per defecte per a l’entrenament — però això pot canviar, i en qualsevol cas les dades surten del teu perímetre i passen per infraestructura de tercers als EUA, amb totes les implicacions que això té per al RGPD, NIS2 i EU AI Act.

Per a molts sectors — legal, salut, fintech, administració pública — aquest no és un problema teòric. És una possible infracció de compliment.

L’alternativa: models locals fine-tuned

En els últims dos anys, la qualitat dels models d’open-weight ha assolit un nivell on la diferència amb GPT-4 en tasques de negoci específiques és marginal o inexistent, sempre que el model estigui correctament configurat.

Models que desplego habitualment per a clients:

• Qwen3.5 — excel·lent raonament, multilingüe natiu, molt eficient
• DeepSeek-R1 — rendiment proper a GPT-4 en tasques analítiques
• Llama3.2 (Meta) — versàtil, bona comunitat, bona base per a fine-tuning
• Mistral — ràpid, eficient en hardware modest

Tots poden executar-se en hardware local — des d’una estació de treball amb GPU RTX fins a un servidor dedicat — sense enviar cap dada a internet.

El cost real de la inferència local

L’argument més comú contra els models locals és el cost del hardware. És un argument vàlid si fas els números malament.

Una RTX 4090 o 5080 pot executar models quantitzats de 30B paràmetres amb latència de 2-5 segons per resposta. El cost de la GPU (amortitzat en 3 anys) és aproximadament equivalent a 3-4 mesos d’API d’OpenAI a l’ús empresarial mitjà. A partir del cinquè mes, la inferència és gratuïta.

El fine-tuning amb les teves pròpies dades també dona resultats significativament millors en tasques de negoci específiques que un model d’ús general.

Quan té sentit l’API d’OpenAI

No tot és blanc o negre. L’API externa té sentit quan:

• Prototipat ràpid on les dades són públiques o anònimes
• Volums molt baixos sense dades sensibles
• Equips sense infraestructura tècnica per gestionar models locals

Però si la teva empresa gestiona dades de clients, dades financeres, propietat intel·lectual o informació regulada — i vol compliment RGPD i EU AI Act — la conversa sobre infraestructura IA privada hauria d’haver passat fa temps.

Angel Sulev és arquitecte de seguretat i IA amb 30+ anys d’experiència. Fundador de PROTISEC, especialitzat en MLSecOps i desplegaments de LLMs privats per a empreses B2B.