Transferencia sim-to-real

Sim-to-real, a menudo escrito sim2real, es el problema de lograr que un modelo entrenado con datos generados o simulados funcione con entradas reales. Entrenar en simulación es atractivo porque se controla todo y se pueden producir ejemplos etiquetados ilimitados. El problema es que un modelo puede aprender la simulación en lugar de la tarea, y entonces falla en cuanto se encuentra con una cámara real. La distancia entre ambas se llama brecha de dominio o reality gap, y el sim-to-real es el trabajo de cerrarla.

Porque lo que se simula es mucho más acotado. Una política de robótica tiene que transferirse a través de física de contacto, fricción, latencia y un entorno que cambia mientras el robot actúa en él. Un modelo de inspección visual tiene que transferirse a través de una imagen de un producto, fotografiado por una cámara fija, bajo una iluminación que no cambia, a una distancia de trabajo fija. Casi todo lo que un robot debe generalizar se mantiene constante en una estación de inspección. Por eso los datos sintéticos llegaron a producción en inspección de manufactura mucho antes que en robótica general.

Manteniendo la mayor parte de la imagen real posible. El enfoque más sólido parte de fotografías de las piezas reales, tomadas con la cámara real que ejecutará la inspección, y renderiza solo el defecto sobre esa superficie real. El fondo, el acabado, la iluminación, la óptica y el ruido del sensor son genuinamente propios, así que queda muy poca señal sintética a la que el modelo pueda aferrarse. Generar toda la escena desde cero es donde la brecha de dominio se ensancha, y es el paso que conviene evitar.

Elimina la necesidad de esperar por ellas, que es la parte que bloquea un despliegue. No elimina la necesidad de validar contra ellas. El patrón honesto es un ciclo: generar defectos para poner un modelo funcional en producción en días, y luego alimentar de vuelta al entrenamiento los defectos reales que la línea produce a medida que aparecen. Un conjunto con algunos defectos reales y un cuerpo mayor de variaciones sintéticas suele superar a cualquiera de los dos por separado. En entornos regulados, la validación contra muestras reales generalmente es obligatoria sin importar cómo se entrenó el modelo.

Variar deliberadamente las cosas de las que no se quiere que dependa el modelo: ángulo e intensidad de la luz, posición y rotación de la pieza, exposición, fondo, ligeros cambios de color. La idea es que si el modelo ve el defecto bajo muchas condiciones irrelevantes, aprende el defecto en lugar de las condiciones. Es una de las herramientas principales para cerrar la brecha de realidad. Para una estación de inspección fija se necesita menos que en un proyecto de robótica, porque las condiciones reales son genuinamente acotadas, y randomizar en exceso puede costar precisión en las condiciones que realmente ocurren.

Probando con imágenes reales que el modelo nunca vio durante el entrenamiento, y observando dónde tiene incertidumbre, no solo un número de precisión. Un modelo con un problema de transferencia suele mostrarlo como baja confianza agrupada en una condición particular, una cavidad, un turno, un estado de iluminación, y no como un rendimiento uniformemente peor. Por eso una vista de incertidumbre sobre imágenes de producción es más útil que un solo puntaje: dice qué porción de la realidad no cubrió el conjunto de entrenamiento.