Alguien del equipo dice "hay que entrenar el modelo con nuestros datos" y la frase suena a solución definitiva. Casi siempre es una idea que hay que desarmar antes de gastar un mes de trabajo. Ajustar un modelo (fine-tuning) es una herramienta legítima, pero resuelve un tipo de problema bastante específico, y muchas veces lo que se quería lograr se consigue con algo más barato.
Tres palancas distintas
Para que un modelo se comporte como necesitás hay tres maneras de intervenir, y conviene no mezclarlas.
El prompt le dice al modelo qué hacer en cada llamada: instrucciones, ejemplos, formato. Es lo más rápido de cambiar y de probar.
RAG (recuperación de información) le acerca datos en el momento de la consulta: busca fragmentos de tus documentos y los incluye en el contexto. Sirve cuando el modelo necesita conocimiento que no tiene o que cambia seguido.
El fine-tuning modifica el modelo mismo, continuando su entrenamiento con ejemplos tuyos de entrada y salida. No le agrega una base de consulta; ajusta sus tendencias, es decir, cómo responde.
Esa diferencia define cuándo usar cada uno. Si el problema es que el modelo no conoce los precios de tu catálogo, el ajuste es la herramienta equivocada: los datos cambian, y un conocimiento incorporado por entrenamiento queda viejo y se recupera mal. Para eso está la recuperación. Si el problema es que el modelo no mantiene un formato o un tono, ahí empieza a tener sentido.
Cuándo sirve de verdad
El fine-tuning suele rendir en casos como estos:
- Un estilo o una voz específica que el prompt no logra sostener de forma pareja.
- Un formato de salida muy particular que querés obtener siempre, sin instrucciones largas.
- Una tarea acotada y repetitiva (clasificar tickets en tus categorías, extraer campos de un tipo de documento) donde un modelo más chico ajustado puede igualar a uno grande con prompt, y salir más barato por llamada.
- Casos donde ya tenés muchos ejemplos buenos y el prompt se volvió larguísimo.
Notá lo que tienen en común: comportamiento consistente, no conocimiento nuevo.
Qué necesitás para hacerlo bien
La parte difícil casi nunca es el entrenamiento en sí, sino los datos.
Calidad antes que cantidad. Unos cientos de ejemplos correctos, coherentes y representativos suelen valer más que miles ruidosos. Si tus ejemplos se contradicen o tienen errores, el modelo los aprende. Alguien con criterio tiene que revisarlos uno por uno, y eso lleva tiempo.
Limpieza. Quitar duplicados, datos personales que no deberían estar, formatos inconsistentes y casos ambiguos. Revisá también las condiciones del proveedor sobre qué ocurre con los datos que subís.
Un conjunto de evaluación separado. Apartá una parte de los ejemplos antes de entrenar y no la uses para ajustar. Es lo único que te dice si el modelo aprendió la tarea o si memorizó los ejemplos. Y compará contra la línea base: tu mejor prompt sobre el modelo original. Si el ajustado no la supera con claridad, no justificó el esfuerzo.
El costo que viene después
Entrenar es un gasto único; mantener es un gasto continuo. Algunas cosas que conviene sopesar:
- Cuando el proveedor retire o reemplace el modelo base, el ajuste puede no migrar y tendrás que repetir el proceso.
- Si cambian tus reglas de negocio o tus categorías, hay que rearmar el conjunto de datos y volver a entrenar.
- Un modelo ajustado puede empeorar en tareas que antes hacía bien. Al especializarlo en lo tuyo, puede perder flexibilidad o seguir peor instrucciones generales. Por eso evaluá también casos fuera de tu tarea principal.
- Los modelos ajustados tienden a tener su propio esquema de costos y limitaciones de despliegue. Averiguá antes.
Un orden razonable
Antes de pensar en ajustar nada, recorré esta escalera:
- Escribí un buen prompt, con ejemplos y un formato de salida claro.
- Armá un conjunto de pruebas y medí.
- Si falta conocimiento, sumá recuperación de documentos.
- Probá con un modelo mejor o más grande, para ver si el techo está en el modelo.
- Recién ahí, si el problema es de comportamiento consistente y tenés buenos datos, evaluá el ajuste.
La mayoría de los proyectos se resuelve en los primeros tres escalones. Los que llegan al último llegan con un conjunto de pruebas y datos limpios, que es justamente lo que el fine-tuning necesita para salir bien.