Backtesting de una inspección: demostrar que funciona antes de implementarla

La forma habitual de averiguar si una inspección funciona es instalarla y observar. Es un experimento costoso, porque lo que se está evaluando es que un defecto llegue a un cliente, y solo se conoce la respuesta después de que eso ocurra.

El backtesting es la alternativa. Se reúnen imágenes cuya condición real ya se conoce, se ejecuta la receta completa sobre cada una de ellas fuera de línea, y se obtienen las cifras de escape y sobrerrechazo antes de que la estación controle una sola pieza real. No es una idea novedosa. Es lo que atraviesa cualquier otro calibre de la planta antes de que se confíe en él, y no hay razón para que una inspección de IA esté exenta.

Qué hace realmente un backtest

El mecanismo es lo bastante simple como para describirlo en una frase: se toma un conjunto de capturas, se etiqueta qué es realmente cada una, se ejecuta la receta en vivo sobre todas ellas y se compara el veredicto de la receta con la etiqueta.

Dos detalles marcan la diferencia entre una prueba real y una demostración. El primero es que se ejecuta la whole receta, todos los modelos y todas las reglas, no un solo modelo de forma aislada. Una estación suele fallar en las uniones: dos modelos que funcionan correctamente por separado y una regla de veredicto que los combina de forma incorrecta. Probar los modelos por separado nunca detecta eso.

El segundo es que el resultado es una matriz de confusión en la que se puede entrar haciendo clic. Un número que indica que hubo cuatro escapes es un buen comienzo. Poder abrir esas cuatro imágenes y ver qué tenían en común es lo que permite corregir la causa en lugar de ajustar un umbral hasta que el número mejore.

Construir un conjunto de prueba que no le favorezca artificialmente

Aquí es donde la mayoría de las validaciones fallan, y fallan en una dirección predecible. Si se les deja actuar libremente, las personas reúnen aprobaciones evidentes y fallos evidentes, porque son las piezas que se pueden etiquetar con confianza fácilmente. Los números resultantes se ven excelentes y no sobreviven al contacto con la producción.

Una comprobación útil para cualquier conjunto de prueba: si la receta obtiene una puntuación perfecta en la primera ejecución, es probable que el conjunto sea demasiado fácil y no que la receta sea perfecta. Las piezas realmente límite generan algunos desacuerdos, y esos son los interesantes.

Repetibilidad, y por qué los equipos de calidad la exigen

La exactitud en una sola pasada no es lo mismo que la fiabilidad. Una estación puede acertar en promedio y aun así ser inutilizable si da respuestas diferentes a la misma pieza en distintas ejecuciones, porque la disposición final depende de la respuesta que se haya obtenido en ese momento.

Esto es lo que mide un estudio de repetibilidad y reproducibilidad del calibre, algo que ya es rutinario para un calibre pie de rey, un calibre de interiores o una máquina de medición por coordenadas. Ejecutarlo en una inspección de visión significa pasar las mismas piezas más de una vez y comparar los veredictos. Cuando los resultados divergen, se han encontrado piezas límite genuinas situadas exactamente en el límite de decisión, o bien una fuente de variación en la propia estación: una iluminación que no es tan estable como todos suponían, una pieza que se asienta de forma distinta, una exposición que varía con el tiempo.

También es una pregunta razonable para hacerle a un proveedor. Pedir un R&R del calibre en un sistema de visión le dice rápidamente si han implementado el sistema en una fabricación regulada o si simplemente le van a enviar un único porcentaje de exactitud con la esperanza de que baste.

El rendimiento por estación separa dos problemas muy diferentes

Una vez que una estación está en funcionamiento, la vista más útil no es la tasa de aprobación global. Es la tasa de aprobación desglosada por cámara, línea o máquina, porque la forma de ese desglose indica qué tipo de problema se tiene.

Una estación atípica como esa casi nunca es un problema del modelo, porque todas las estaciones ejecutan el mismo modelo. Es una diferencia física: un utillaje con más holgura, una luz que se ha desviado o ha sido golpeada, un punto de vista donde la pieza se presenta de forma distinta, o una diferencia de proceso real en esa posición. El número agregado lo habría ocultado por completo, y promediar en toda una flota es precisamente cómo una sola estación defectuosa permanece invisible durante meses.

El caso inverso también merece mencionarse. Si todas las estaciones caen a la vez, no es un problema de utillaje, es el proceso o el modelo. Mismos datos, dos investigaciones muy diferentes, y el desglose es lo que le indica en cuál de ellas se encuentra.

Una secuencia de validación que se puede incluir en una especificación

1. Acuerden el conjunto de defectos. Ambas partes aprueban formalmente qué piezas son defectuosas, incluidas las límite. Este es el paso que evita la discusión posterior.
2. Construyan el conjunto de prueba a partir de producción real, abarcando lotes y turnos, con la verdad de referencia etiquetada por consenso.
3. Ejecuten la receta completa fuera de línea y registren los escapes y sobrerrechazos como cifras absolutas, no como un porcentaje de exactitud.
4. Abran los fallos. Cada escape y cada sobrerrechazo se revisa. Los patrones que aparecen en ellos son el verdadero resultado del ejercicio.
5. Ejecútenlo dos veces y comparen los resultados, para que la repetibilidad sea un número medido y no una suposición.
6. Definan la sensibilidad según el costo, utilizando las cifras de escape y sobrerrechazo frente a lo que cada uno les cuesta. Esta es una decisión de negocio, no una preferencia técnica.
7. Conserven el conjunto de prueba junto con la receta y vuelvan a ejecutarlo como un paso de aceptación después de cualquier cambio, incluido un reentrenamiento.

Hay dos aspectos de esa lista que merece la pena destacar. No contiene ninguna cifra de exactitud en ningún punto, de forma deliberada, por las razones expuestas en nuestro artículo sobre escape frente a sobrerrechazo. Y el paso siete es el que se degrada primero: un conjunto de prueba que no se vuelve a ejecutar después de un reentrenamiento es la razón por la que una estación que aprobó la validación en marzo deja de funcionar silenciosamente en junio.

Nada de esto es específico de la IA, y esa es precisamente la cuestión. Es la misma disciplina que un equipo de calidad ya aplica a cualquier otro dispositivo de medición, aplicada a uno más nuevo. Cómo encaja esto en el diseño más amplio de una estación se aborda en nuestra guía sobre sistemas de visión artificial, y si está validando una estación de detección de anomalías en particular, las piezas límite importan aún más de lo habitual, porque el punto de disparo es un único ajuste de sensibilidad en lugar de un límite aprendido.