flaibo
Glosario

Inference

El acto momento a momento en el que un modelo de IA produce una respuesta a lo que acabas de escribir, usando el conocimiento que ya tiene en lugar de aprender algo nuevo.

No se requiere tarjeta

Qué significa en la práctica

Un abogado pega el borrador de un contrato sensible en un asistente de IA para recibir comentarios sobre una cláusula, y luego le preocupa que el modelo haya aprendido ahora el contenido del contrato y pueda repetirlo más tarde a algún otro usuario. En realidad, esa única respuesta es inferencia: el modelo lee el texto pegado, genera una respuesta, y su conocimiento subyacente queda exactamente igual que antes, sin cambios. Nada de esa conversación cambia lo que sabe el propio modelo. Que un proveedor use además las conversaciones almacenadas para entrenar una versión futura es una cuestión aparte, que depende de los términos del propio proveedor, y conviene leerlos antes de pegar algo sensible.

Ejemplo

Pídele a un asistente que resuma un informe el lunes, y luego haz que un colega le haga exactamente la misma pregunta al mismo asistente el martes, sin ningún historial de conversación compartido. El modelo no ha retenido nada del intercambio del lunes; cada solicitud es su propio acto independiente de inferencia, basándose únicamente en lo que ya estaba incorporado al modelo durante el entrenamiento, más cualquier texto incluido en esa conversación específica.

No confundir con

vs. Training

El entrenamiento es el proceso separado y anterior en el que los pesos de un modelo se aprendieron originalmente a partir de un conjunto de datos enorme, a menudo a lo largo de semanas de tiempo de cómputo, mucho antes de que nadie escribiera un prompt en él. La inferencia es lo que ocurre cada vez después, cuando ese modelo ya entrenado responde a una entrada específica: rápido, ordinario, y deja los pesos del modelo completamente sin cambios. El contexto guardado también funciona en la etapa de inferencia: el trasfondo que aportas es solo parte del texto que el modelo lee en esa conversación, no un cambio en los pesos del modelo.

Frequently asked questions

¿Quieres tu contexto en un solo lugar?

Flaibo guarda tu rol, tu tono y tu trabajo anterior en un solo lugar y los incorpora a los prompts que llevas a la IA que uses, así que un chat nuevo no tiene que empezar desde una ventana de contexto vacía.

Empieza gratis

Tu contexto en todas partes