Escape vs. sobrerrechazo: cómo medir un sistema de visión con honestidad

Toda propuesta de visión artificial cita una cifra de exactitud, y esa cifra casi siempre es inútil. En una línea que opera con un rendimiento del 98%, un sistema que aprueba cada pieza sin siquiera mirarla obtiene un 98% de exactitud. No ha detectado nada. El número es cierto y no significa nada.

La ingeniería de calidad resolvió este problema de vocabulario décadas antes de que alguien instalara una red neuronal en una planta de producción. Las dos palabras que importan son escape y sobrerrechazo, y cuestan cantidades de dinero completamente distintas.

Los dos errores, y por qué no son simétricos

Ambos son errores. No son el mismo error. Un escape en un componente de freno y un sobrerrechazo en un clip de plástico están separados por varios órdenes de magnitud, y cualquier número único de exactitud borra por completo esa distinción al promediarla. Esa es la razón de ser de las dos palabras.

Por eso también el ajuste de sensibilidad de una estación de inspección es una decisión de negocio y no una decisión técnica. Ajustarlo hacia arriba cambia escapes por sobrerrechazo. Ajustarlo hacia abajo hace el cambio inverso. No existe un ajuste que elimine ambos, y la posición correcta depende de lo que le cuesta cada uno, algo que deben conversar los equipos de calidad y finanzas, no quien tiene el mouse en la mano.

Por qué la exactitud engaña, con números

Tome una línea que produce 10,000 piezas con una tasa real de defectos del 2%, es decir, 200 piezas malas y 9,800 buenas. Dos sistemas:

El sistema A tiene la mejor puntuación de exactitud y no vale nada. El sistema B se ve peor en el número principal y es el que usted quiere, porque convirtió 190 posibles quejas de clientes en 230 piezas desechadas. Si ese es un buen intercambio es una cuenta que sí puede hacer: 190 veces el costo de un escape frente a 230 veces el costo de una pieza. La exactitud no puede plantear esa pregunta, y mucho menos responderla.

Los cuatro números que vale la pena exigir

Si está evaluando un sistema de inspección, estas son las cifras que debe exigir, y las cuatro deben provenir de sus propias piezas y no de una hoja de datos.

El tercer punto merece énfasis porque es el que más se pasa por alto. La repetibilidad y reproducibilidad del calibre es una práctica estándar para un calibrador o una CMM, y no hay razón para que una inspección automatizada quede exenta. Pedirle a un proveedor el R&R del calibre de su sistema de visión es una pregunta justa, y la respuesta le dice mucho sobre si ya lo han implementado antes en una manufactura regulada.

Mídalo antes de poner en marcha el sistema, no después

La forma tradicional de averiguar si una inspección funciona es ponerla en producción y ver qué pasa. Ese es un experimento costoso, porque el modo de falla que se está probando es un defecto que llega hasta el cliente.

La alternativa es el backtesting: reunir un conjunto de imágenes con verdad de referencia conocida, ejecutar la receta de inspección completa sobre cada una de ellas fuera de línea, y obtener los recuentos de escape y sobrerrechazo antes de que la estación llegue a evaluar una pieza real. En el OV80i esto se ejecuta en la propia cámara y reporta exactamente con este vocabulario, escapes y sobrerrechazo en lugar de falsos positivos y falsos negativos, con una matriz de confusión en la que puede hacer clic para ver qué imágenes fallaron.

Dos detalles marcan la diferencia entre un backtesting que ayuda de verdad y uno que solo lo hace sentir bien. Primero, el conjunto de prueba tiene que incluir piezas límite, porque un conjunto de aprobados obvios y rechazos obvios va a reportar un número que nadie podrá reproducir en producción. Segundo, el conjunto de prueba debe conservarse y volver a ejecutarse después de cada cambio en la receta, de lo contrario está ajustando un número mientras rompe otro sin darse cuenta. Que el conjunto de prueba se pueda trasladar entre cámaras como un archivo es lo que hace esto práctico a escala de flota.

Cómo se ve una buena propuesta

Una especificación útil para una estación de inspección se lee más o menos así, y observe que no contiene ninguna cifra de exactitud.

1. Cero escapes en el conjunto acordado de N piezas defectuosas, incluidos los ejemplos límite que ambas partes aprobaron.
2. Sobrerrechazo por debajo de un porcentaje acordado de la producción, porque este es el número que determina si los operadores mantienen la estación encendida.
3. Repetibilidad demostrada en al menos dos ejecuciones de las mismas piezas.
4. El conjunto de prueba se conserva, se controla por versiones junto con la receta, y se vuelve a ejecutar como paso de aceptación después de cualquier cambio.

El segundo punto es el que la gente subestima. El sobrerrechazo no es simplemente un costo de desecho. Es el mecanismo por el cual los buenos sistemas de inspección terminan siendo eludidos: si la estación rechaza piezas que un operador puede ver que están bien, la estación pierde credibilidad, y en un mes alguien está dejando pasar piezas sin más. Un sistema con algunos escapes de más en el que los operadores confían suele superar a uno más estricto que han aprendido a saltarse.

Nada de esto es exclusivo de la IA. Se aplica igual de bien a una herramienta basada en reglas, a un inspector humano o a un calibre pasa/no pasa, y ese es precisamente el punto: la llegada de los modelos aprendidos no requiere vocabulario nuevo, requiere usar el vocabulario que la ingeniería de calidad ya tenía. Si desea el contexto más amplio sobre cómo se construyen estas estaciones, nuestra guía sobre sistemas de visión artificial cubre el panorama completo, y el artículo sobre detección de anomalías cubre el enfoque en el que acertar con el equilibrio entre escape y sobrerrechazo importa más.