Com contractar enginyers LLM el 2026: cinc competències, cinc preguntes

«Enginyer LLM» és el títol que creix més de pressa al software i el menys estandarditzat. Les mateixes dues paraules cobreixen algú que ha mantingut sa un pipeline de retrieval sota trànsit real durant un any — i algú que va muntar tres demos de chatbot i una opinió ferma sobre frameworks. Els seus CV són idèntics. Tots dos diuen Python, LangChain, RAG, «experiència en producció amb GPT i Claude». La diferència entre l'un i l'altre és la diferència entre que la teva funcionalitat d'IA arribi a producció o s'afegeixi al 95% de pilots que no mostra mai retorn.

Entrevistar per a aquest rol amb el procés genèric de backend no funciona, perquè les parts difícils de l'enginyeria LLM no surten a LeetCode ni en una pissarra de system design sobre balancejadors de càrrega. Surten en cinc competències. Aquí les tens, cadascuna amb la pregunta que fem servir per posar-la a prova i les respostes que separen els nivells.

La feina és fer que un component probabilístic es comporti dins d'un sistema determinista

Comença pel que estàs contractant de debò, perquè el títol ho amaga. La feina d'un enginyer LLM no és escriure prompts. És respondre d'un component que falla en silenci, deriva amb el temps, factura per petició i pot ser manipulat per les seves entrades — i aconseguir que aquest component compleixi el llistó de fiabilitat del sistema avorrit i determinista que l'envolta. Una setmana normal s'assembla a això: revisar resultats d'evals abans que surti un canvi de prompt, perseguir una regressió de retrieval després d'una actualització del corpus, ajustar un camí de fallback que ha saltat massa vegades i explicar a finances per què ha pujat la factura de tokens del mes passat. Tot el que val la pena avaluar en una entrevista deriva d'aquesta descripció del lloc: què vol dir «AI-ready» en concret és criteri sobre aquest component, no entusiasme per ell.

Una conseqüència que convé dir sense embuts: aquest és un perfil senior. Cada tasca d'aquí dalt és una decisió amb conseqüències a producció, i per això un enginyer júnior amb eines d'IA no substitueix un enginyer LLM — les eines generen codi, no criteri. Pressuposta en conseqüència, i entrevista buscant cicatrius, no vocabulari.

Competència 1: Evals — pregunta com saben que un canvi no ha trencat res

La pregunta: «Has millorat el prompt i la sortida es veu millor. Com saps que res més no ha empitjorat?»

Un aficionat als prompts respon amb adjectius: ha mirat algunes sortides, les respostes semblen millors. Un enginyer LLM respon amb una suite de regressió — un golden dataset de casos reals, puntuat automàticament a cada canvi de prompt o de model, amb llindars que bloquegen el desplegament. Distingirà entre comprovacions exactes, puntuació amb LLM com a jutge i nivells de revisió humana, i coneixerà el mode de fallada de cadascun (els jutges LLM també deriven). Pregunta què hi ha dins del seu golden dataset: els candidats forts hi inclouen els casos lletjos — entrades adversàries, peticions ambigües, les que van fallar a producció el trimestre passat.

Sense història d'evals, cada canvi futur a la teva funcionalitat d'IA es desplega a cegues. És la pregunta amb més senyal de tota la llista.

Competència 2: Cost — demana un número del qual hagin estat responsables

La pregunta: «Quant costava una petició a l'última funcionalitat LLM que vas portar a producció, i què hi vas fer?»

La inferència és un cost per petició que creix amb l'adopció, i algú de l'equip l'ha de tractar com a cost de vendes. Els enginyers que han arribat a producció citen el número — i, encara més revelador, les palanques que van accionar: memòria cau, encaminar el trànsit fàcil a un nivell més barat, acotar la llargada de sortida, agrupar peticions. Els candidats que no han pensat mai en el cost diran que la tria de model no era cosa seva, o que els costos són una optimització per a més endavant. A producció, «més endavant» arriba com una factura amb corba de creixement.

Competència 3: Retrieval — pregunta què van mesurar, separat del model

La pregunta: «La teva funcionalitat RAG dona respostes incorrectes. Guia'm pel diagnòstic.»

Els candidats fluixos van directes al prompt o culpen el model. Els forts parteixen el sistema en dos: el retrieval està aportant el context correcte, mesurat pel seu compte — recall contra un conjunt etiquetat, no sensacions — o el model està gestionant malament un context bo? Tindran opinions ancorades en detalls: el chunking que va destrossar l'estructura d'unes taules, cerca híbrida contra embeddings purs, el corpus que es va quedar vell sense que ningú se n'adonés. El patró que vols contractar és la descomposició — tractar el pipeline com a etapes mesurables i no com una caixa màgica. És la mateixa disciplina per la qual el context i la memòria, no el model, són el coll d'ampolla als sistemes d'agents.

Competència 4: Guardrails — pregunta què passa quan el model falla a les 3 de la matinada

La pregunta: «El model retorna sortida malformada, o res, al 2% de les peticions. Què veu l'usuari?»

Una funcionalitat LLM sense camins de fallada dissenyats és un generador d'incidents amb bones demos. El que vols sentir és la maquinària: validació d'esquema a cada sortida, reintents amb sostre de pressupost, timeouts, un fallback determinista quan la generació falla i alertes lligades a mètriques de qualitat i no només a errors HTTP — perquè les fallades d'un LLM solen ser degradació silenciosa, no excepcions. Els candidats que han operat aquests sistemes en parlen com els SRE parlen dels seus runbooks; ja vam escriure per què els guardrails són el 80% de l'enginyeria als sistemes agèntics, i l'entrevista els hauria de donar el mateix pes.

Competència 5: Seguretat — pregunta què pot aconseguir l'entrada d'un atacant

La pregunta: «La teva funcionalitat LLM pot cridar eines. Què és el pitjor que l'entrada d'un usuari li podria fer fer?»

La prompt injection no és una preocupació teòrica; qualsevol sistema que barreja entrada no fiable amb accés a eines té una superfície d'atac nova. Els candidats forts raonen sobre l'estructura: permisos mínims per eina, sandboxing, tractar el contingut recuperat com a no fiable, no deixar mai que el text d'un usuari autoritzi tot sol una acció amb conseqüències. Els fluixos diuen que el system prompt demana al model que vagi amb compte. Si la funcionalitat que construeixes toca diners, dades o decisions de contractació, aquesta resposta importa tant com qualsevol pregunta d'arquitectura.

Els senyals d'alarma que sobreviuen a una bona demo

Tres patrons prediuen problemes fins i tot quan el portfoli impressiona:

• Tot demos, gens d'operació. Cada projecte va arribar a «funciona»; cap no va arribar al mes tres. El forat entre aquests dos estats és la feina.
• Sense números. No poden citar una latència, un cost per petició, una puntuació d'eval, una taxa d'error de res que hagin construït. Qui ha passat per producció té els números al cap.
• «El model se n'encarregarà.» Com a resposta a modes de fallada, cost o seguretat. El model no s'encarrega de res; se n'encarrega l'enginyeria que l'envolta — i estàs contractant la persona que la construeix.
• Vocabulari de frameworks, sense vocabulari de fallades. Fluïdesa en noms de llibreries d'orquestració, vaguetat sobre què es va trencar en fer-les servir. Les eines canvien cada trimestre en aquest camp; els enginyers que val la pena contractar descriuen els sistemes per com fallen, perquè aquesta és la part que serveix d'un sistema al següent.

El que posaríem al teu circuit d'entrevistes

1. Substitueix una ronda d'algorismes per una ronda d'evals. Dona-li un golden dataset petit i un canvi de prompt; demana-li que et digui si és segur desplegar-lo.
2. Un exercici d'estimació de cost. Esbossa una funcionalitat, demana el cost per petició i les tres palanques que accionaria per reduir-lo a la meitat.
3. Una sessió de disseny de camins de fallada. La pregunta de les 3 de la matinada, en pissarra, de punta a punta.
4. Una conversa de post-mortem real. El seu pitjor incident amb LLM, què es va colar, què va canviar després. Que no hi hagi històries d'incidents ja és un senyal.
5. Verifica referències sobre operar, no sobre construir. Pregunta a la referència qui va mantenir la funcionalitat després del llançament — i durant quant de temps.

Els títols s'inflen de pressa en un mercat on els especialistes en IA facturen 200–300 $/hora i cada generalista té incentius per rebatejar-se; les cinc preguntes són la manera de pagar la prima només per les competències que la mereixen.

Aquesta és també, per transparència, la nostra manera d'avaluar — el nostre procés dissenyat per CTOs accepta el 3% dels candidats, i aquestes cinc competències són les que posem a prova als candidats a enginyer LLM, sobre sistemes reals i no exercicis de joguina. Si prefereixes començar per un match en lloc de per un pipeline, així funciona contractar un enginyer LLM amb Conectia — match en 72 hores, avaluat abans que el coneguis.