Inference
El acto momento a momento en el que un modelo de IA produce una respuesta a lo que acabas de escribir, usando el conocimiento que ya tiene en lugar de aprender algo nuevo.
No se requiere tarjeta
Qué significa en la práctica
Un abogado pega el borrador de un contrato sensible en un asistente de IA para recibir comentarios sobre una cláusula, y luego le preocupa que el modelo haya aprendido ahora el contenido del contrato y pueda repetirlo más tarde a algún otro usuario. En realidad, esa única respuesta es inferencia: el modelo lee el texto pegado, genera una respuesta, y su conocimiento subyacente queda exactamente igual que antes, sin cambios. Nada de esa conversación cambia lo que sabe el propio modelo. Que un proveedor use además las conversaciones almacenadas para entrenar una versión futura es una cuestión aparte, que depende de los términos del propio proveedor, y conviene leerlos antes de pegar algo sensible.
Ejemplo
Pídele a un asistente que resuma un informe el lunes, y luego haz que un colega le haga exactamente la misma pregunta al mismo asistente el martes, sin ningún historial de conversación compartido. El modelo no ha retenido nada del intercambio del lunes; cada solicitud es su propio acto independiente de inferencia, basándose únicamente en lo que ya estaba incorporado al modelo durante el entrenamiento, más cualquier texto incluido en esa conversación específica.
No confundir con
vs. Training
El entrenamiento es el proceso separado y anterior en el que los pesos de un modelo se aprendieron originalmente a partir de un conjunto de datos enorme, a menudo a lo largo de semanas de tiempo de cómputo, mucho antes de que nadie escribiera un prompt en él. La inferencia es lo que ocurre cada vez después, cuando ese modelo ya entrenado responde a una entrada específica: rápido, ordinario, y deja los pesos del modelo completamente sin cambios. El contexto guardado también funciona en la etapa de inferencia: el trasfondo que aportas es solo parte del texto que el modelo lee en esa conversación, no un cambio en los pesos del modelo.
Términos relacionados
Frequently asked questions
¿Quieres tu contexto en un solo lugar?
Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.
Empieza gratis