Lọt lỗi và loại oan: đo lường hệ thống thị giác một cách trung thực

Mọi đề xuất hệ thống thị giác đều đưa ra một con số độ chính xác, và con số đó gần như lúc nào cũng vô nghĩa. Trên một dây chuyền có tỷ lệ đạt 98%, một hệ thống cho qua mọi chi tiết mà không hề kiểm tra cũng đạt độ chính xác 98%. Nó không bắt được lỗi nào cả. Con số đó đúng, nhưng không nói lên điều gì.

Ngành kỹ thuật chất lượng đã giải quyết vấn đề thuật ngữ này từ nhiều thập kỷ trước khi ai đó đưa mạng nơ-ron vào nhà máy. Hai từ quan trọng ở đây là lọt lỗi và loại oan, và chi phí của chúng hoàn toàn khác nhau.

Hai loại sai sót, và vì sao chúng không đối xứng

Cả hai đều là sai sót, nhưng không phải cùng một loại sai sót. Một trường hợp lọt lỗi trên chi tiết phanh và một trường hợp loại oan trên kẹp nhựa chênh lệch nhau tới vài bậc độ lớn, và bất kỳ con số độ chính xác duy nhất nào cũng sẽ xóa nhòa hoàn toàn sự khác biệt đó khi lấy trung bình. Đó chính là lý do vì sao hai thuật ngữ này tồn tại.

Đó cũng là lý do vì sao thiết lập độ nhạy của một trạm kiểm tra là một quyết định kinh doanh chứ không phải quyết định kỹ thuật. Siết chặt độ nhạy sẽ đánh đổi lọt lỗi lấy loại oan. Nới lỏng thì ngược lại. Không có mức thiết lập nào loại bỏ được cả hai, và vị trí đúng phụ thuộc vào chi phí thực tế của từng loại đối với bạn, đây là cuộc trao đổi giữa bộ phận chất lượng và tài chính, chứ không phải của người đang cầm chuột.

Vì sao độ chính xác gây hiểu lầm, minh họa bằng số liệu

Xét một dây chuyền sản xuất 10.000 chi tiết với tỷ lệ lỗi thực tế là 2%, tức 200 chi tiết lỗi và 9.800 chi tiết tốt. Hai hệ thống:

Hệ thống A có điểm độ chính xác cao hơn nhưng vô giá trị. Hệ thống B trông tệ hơn ở con số nổi bật nhưng lại là hệ thống bạn cần, vì nó đã biến 190 khiếu nại tiềm ẩn của khách hàng thành 230 chi tiết bị phế bỏ. Đây có phải một cuộc đánh đổi tốt hay không là phép tính bạn hoàn toàn có thể làm: 190 lần chi phí của một lần lọt lỗi so với 230 lần chi phí của một chi tiết. Độ chính xác không thể diễn đạt câu hỏi đó, chứ đừng nói đến việc trả lời nó.

Bốn con số đáng để yêu cầu

Nếu bạn đang đánh giá một hệ thống kiểm tra, đây là những con số bạn nên kiên quyết yêu cầu, và cả bốn con số này đều phải đến từ chính chi tiết của bạn, chứ không phải từ bảng thông số kỹ thuật.

Điểm thứ ba đáng được nhấn mạnh vì đây là điều thường bị bỏ qua nhất. Độ lặp lại và độ tái lập của thiết bị đo là thông lệ tiêu chuẩn đối với thước cặp hay máy đo tọa độ (CMM), và không có lý do gì để kiểm tra tự động được miễn trừ. Yêu cầu nhà cung cấp cung cấp gauge R&R cho hệ thống thị giác của họ là một câu hỏi hoàn toàn chính đáng, và câu trả lời sẽ nói lên nhiều điều về việc họ đã từng triển khai trong ngành sản xuất chịu quản lý nghiêm ngặt hay chưa.

Đo lường trước khi đưa vào vận hành, không phải sau đó

Cách truyền thống để biết một hệ thống kiểm tra có hiệu quả hay không là đưa nó vào sản xuất thực tế và xem điều gì xảy ra. Đó là một thử nghiệm tốn kém, vì kiểu lỗi mà bạn đang kiểm chứng chính là một khuyết tật lọt đến tay khách hàng.

Giải pháp thay thế là kiểm thử hồi tố (backtesting): tập hợp một bộ ảnh có nhãn chuẩn đã biết, chạy toàn bộ quy trình kiểm tra (recipe) trên từng ảnh một cách ngoại tuyến, và thu được số liệu lọt lỗi cùng loại oan trước khi trạm kiểm tra thực sự phán xét một chi tiết thật. Trên OV80i, việc này chạy ngay trên chính camera và báo cáo đúng bằng bộ thuật ngữ này, lọt lỗi và loại oan, thay vì dương tính giả và âm tính giả, kèm theo một ma trận nhầm lẫn mà bạn có thể bấm vào để xem ảnh nào bị sai.

Có hai chi tiết tạo nên sự khác biệt giữa một bài kiểm thử hồi tố thực sự có ích và một bài chỉ khiến bạn yên tâm giả tạo. Thứ nhất, tập kiểm tra phải bao gồm các chi tiết ranh giới, vì một tập chỉ toàn những trường hợp đạt rõ ràng và không đạt rõ ràng sẽ cho ra một con số mà không ai có thể tái hiện được trong sản xuất thực tế. Thứ hai, tập kiểm tra phải được giữ lại và chạy lại sau mỗi lần thay đổi quy trình kiểm tra, nếu không bạn đang tối ưu một con số trong khi âm thầm làm hỏng một con số khác. Việc tập kiểm tra có thể di chuyển giữa các camera dưới dạng một tệp chính là điều khiến cách làm này khả thi trên quy mô cả đội camera.

Một đề xuất tốt trông như thế nào

Một bản yêu cầu kỹ thuật hữu ích cho một trạm kiểm tra thường có nội dung đại loại như sau, và hãy để ý rằng nó hoàn toàn không có con số độ chính xác nào.

1. Không có lọt lỗi nào trên tập N chi tiết lỗi đã thống nhất, bao gồm cả các chi tiết ranh giới mà hai bên đã cùng ký duyệt.
2. Loại oan thấp hơn một tỷ lệ phần trăm sản lượng đã thống nhất, vì đây chính là con số quyết định liệu người vận hành có tiếp tục để trạm kiểm tra hoạt động hay không.
3. Chứng minh được độ lặp lại qua ít nhất hai lần chạy trên cùng một bộ chi tiết.
4. Tập kiểm tra được lưu giữ, quản lý phiên bản cùng với quy trình kiểm tra, và được chạy lại như một bước nghiệm thu sau bất kỳ thay đổi nào.

Điểm thứ hai là điều mọi người thường đánh giá thấp. Loại oan không chỉ đơn thuần là chi phí phế phẩm. Nó chính là cơ chế khiến những hệ thống kiểm tra tốt bị vô hiệu hóa trên thực tế: nếu trạm kiểm tra từ chối những chi tiết mà người vận hành nhìn bằng mắt cũng thấy là ổn, trạm đó sẽ mất uy tín, và chưa đầy một tháng sau sẽ có người âm thầm cho chi tiết đi qua mà không kiểm tra. Một hệ thống có tỷ lệ lọt lỗi nhỉnh hơn một chút nhưng được người vận hành tin tưởng thường hoạt động hiệu quả hơn một hệ thống khắt khe hơn mà họ đã học cách lách qua.

Tất cả những điều này không phải là vấn đề riêng của AI. Nó áp dụng như nhau cho một công cụ dựa trên quy tắc, một nhân viên kiểm tra bằng mắt, hay một dưỡng đo đạt/không đạt, và đó chính là điểm mấu chốt: sự xuất hiện của các mô hình học máy không đòi hỏi một bộ thuật ngữ mới, nó chỉ đòi hỏi việc sử dụng đúng bộ thuật ngữ mà ngành kỹ thuật chất lượng đã có sẵn từ trước. Nếu bạn muốn hiểu bối cảnh rộng hơn về cách các trạm kiểm tra này được xây dựng, hướng dẫn của chúng tôi về hệ thống thị giác máy trình bày đầy đủ bức tranh tổng thể, còn bài viết về phát hiện bất thường thì trình bày cách tiếp cận mà việc cân bằng đúng giữa lọt lỗi và loại oan quan trọng nhất.