连接器计量

定位每一个引脚,同时找出异物,只需 一次推理

测量和缺陷检测通常是两个工位。在引脚阵列上,它们来自同一次推理。

一套训练好的配方,一次远心拍摄,72 个引脚。网络同时返回每个引脚的亚像素质心和像素级污染物分布图,工件姿态也由同一组点在三维中恢复出来。

72 引脚
一次拍摄,一套配方
±10 µm
最差情况,9.35 µm 每像素
三维姿态
由二维画面恢复
上方为连接器引脚阵列的原始图像,下方为同一帧图像,每个引脚上有感兴趣区域框,每个检出的针尖特征上有标记

原始图像,以及叠加了模型输出的同一帧。每个引脚一个感兴趣区域,每个检出的针尖特征一个标记。报告中的这两部分都来自这一次推理。

位置度在引脚阵列上意味着什么

引脚距离图纸给定位置有多远,以直径而不是正负偏差的形式上报。 公差带是围绕理论中心的一个圆,因此上报值是 径向偏差的两倍.

RTP = 2 × √( Δx² + Δy² )

某个引脚在 x 方向偏 0.10 mm、在 y 方向偏 0.10 mm,径向误差为 0.141 mm,位置度为 0.283 mm。引用径向值会让报告上的每个数字都减半,这是这类结果最常见的误读方式。

从画面到质心

四个阶段,在每个引脚上重复

同一条流程在每次拍摄中对全部 72 个引脚运行,同一个网络还并行产生污染物输出。测量不是挂在缺陷检测上的附加件,缺陷检测也不是挂在测量上的附加件。

四阶段针尖检测流程:原始图像、定位出的感兴趣区域、每个针尖的像素级分割,以及提取出的亚像素质心
一个引脚,四个阶段。最终质心是两个检出针尖特征的平均值,也是后续分析唯一使用的数值。
阶段 1

原始图像

透过远心镜头拍下整个连接器的一帧图像。不需要逐引脚成像,不需要分度机构,也不需要第二个工位。

阶段 2

定位每个感兴趣区域

模型在画面中找到每一个引脚腔,并自行放置搜索区域。没有任何区域是手工开窗的,因此引脚更多的工件需要的是更大的画幅,而不是更长的配方。

阶段 3

在像素级分割针尖

在每个区域内,针尖特征是被分割出来的,而不是用模板匹配出来的。掩膜能容忍镀层差异、就位差异和照明差异,而这些正是模板会失效的地方。

阶段 4

归算为亚像素质心

每个引脚上报一个质心,即它两个检出针尖特征的平均值。后续所有测量都使用这一个点:位置度、相邻间距,以及姿态拟合。

同一次推理中的异物

污染物送达时已经归属到具体引脚

异物可能是金属屑、镀层碎片、手套纤维、粉尘,以及上一道工序掉下来的任何东西。用你已经见过的清单训练出来的分类器,会在你没见过的第一样东西上失效,所以检测被表述为与洁净引脚腔之间的偏离,而不是一组有名字的类别。每个区域返回时都带有像素级精确的包围框,以及它所在的那个引脚。

整个连接器的图像,其中两处污染区域被高亮:一处是引脚腔之间的深色颗粒,另一处是横在引脚腔上的纤维
同一个工件上的两处污染区域,由定位全部 72 个引脚的同一次推理找出。
位于两个引脚腔之间的深色异物颗粒特写
引脚腔之间的深色颗粒。 腔与腔之间的导电异物是代价最高的失效,因为它会在出货几个月后变成现场短路。
横在引脚腔上的纤维特写
横在引脚腔上的纤维。 人容易漏检,模型却容易找到,因为它破坏的是局部纹理,而不是像某个训练过的缺陷类别。

精度

模型精确到像素。微米由光学决定。

最差情况下质心落在一个像素之内,而由分割掩膜得到的质心本身就是亚像素量,因此这个界限是保守的。它换算成多少微米,取决于传感器和远心镜头,而不是网络。这使得精度升级路径就是换一块传感器:镜头、支架、照明和训练好的配方都保持原样。

传感器分辨率像素间距工件上的比例视野最差情况
8.3 MP3864 x 21922.0 µm9.35 µm / px36.1 x 20.5 mm±10 µm
65 MP9344 x 70003.2 µm3.33 µm / px31.1 x 23.3 mm±3.3 µm

在同一个工件上获得约 2.8 倍的线分辨率,意味着每个像素覆盖的面积约为原来的三分之一。这也是为什么应当在任何人指定硬件之前先给出公差:能守住这个公差的传感器可以直接算出来,而在图纸并不需要时却买了更大的那块,正是这类工位被过度配置的最常见原因。

三维姿态恢复

从二维图像中还原工件平面

远心镜头按正交方式投影,光线平行,没有透视缩短。正是这一点让倾斜变成可恢复的量,而不只是一个麻烦。倾斜的引脚阵列沿倾斜轴方向成像为原尺寸,在垂直方向上按倾斜角的余弦被压缩,于是压缩本身就携带了朝向信息。

五次拍摄恢复出的三维工件平面,分别以实际倾斜角、放大后的倾斜角显示,并与其来源的原始图像并列
每个恢复出的平面按实际倾斜角显示,同一平面把倾斜放大以便肉眼看清朝向,以及它所来自的那次拍摄。

一次仿射拟合,然后分解

对 72 个实测引脚位置拟合一个二乘二仿射矩阵,再用 SVD 分解,就能以闭式解得到偏航角、倾斜幅度、倾斜轴方向,以及俯仰与横滚的分解。不需要迭代,不需要第二台相机,也不需要结构光。

不受弯针影响

拟合是在随机的 30 引脚子集上取共识,因此单个移位引脚无法把恢复出的平面拉离其余 71 个引脚的一致结果。对全部引脚做朴素拟合,会把这个离群点吸收进基准,并把工件判为合格。

倾斜不再是误差

施加逆仿射可以把阵列归一化回一个平面参考系。后续所有数值都相对该参考系上报,于是工件恰好怎么摆放不再表现为位置偏差。

参考系

三种上报方式,同一组引脚

底层测量本身并不改变,改变的只是表达它的参考系,于是报告可以去贴合图纸,而不是让图纸去迁就工位。

同一组引脚质心在三种参考系下的表达:相机绝对坐标、相邻引脚的间距与邻接关系,以及相对四角工件基准的偏移量
同一组质心,三种表达方式。

绝对坐标

每个引脚以相机坐标系中的 x 和 y 上报。做法简单,在工件被刚性夹持时也是正确答案,但只要工件在视野内移动,数值就会跟着变。

相对于相邻引脚

引脚间距与相邻距离。这个参考系能抓出缺失引脚、重复引脚或局部间距误差,并且不在意工件落在哪里。

相对于基准

连接器本体的四角定义出工件局部坐标系,引脚位置以相对于它的偏移量上报。图纸通常就是这样规定位置度的,所以这往往是真正重要的那个参考系。

稳健性

九个工件,一套配方,无需重新对位

这九次拍摄覆盖了产线真实产生的变化:就位差异、照明差异,以及工件在平面内的旋转差异。它们全部使用同一套配方运行。

每次拍摄都返回了全部 72 个引脚,每个引脚两个针尖特征。工件之间没有重新对位、重新对焦或重新训练,而这正是一场演示与一套能撑过整个班次的系统之间的区别。

用同一套配方检测的九次连接器拍摄,覆盖就位、照明与平面内旋转的差异

真正难的地方

决定这个数字是否真实的四件事

测量的失效方式和检测不同。检测要么找到缺陷,要么没找到。测量却可以错得很有把握,而一个错得很有把握的引脚位置,意味着报废一件好品,或者放走一件会短路的产品。

远心光学在这里承担了实质工作

在这个工件上它不是锦上添花。正交投影既消除了测量中的透视误差,又单独地让倾斜可以用闭式解恢复出来。普通镜头会把工件高度混进位置数值里,而且没有干净的办法再把它剔除。

比例必须可溯源

微米每像素是换算一切的常数,也是横在像素级精确质心与错误微米数之间的唯一一环。它应当由带证书的标准件导出,记录下来,并按计划复核。漂移了的比例给出的是看起来合理的数字,而不是明显错误的数字,那更糟。

基准的选择会改变每一个数字

对所有引脚做拟合会把误差均匀摊开,从而美化一个只有一根坏引脚的工件。对图纸指定的基准要素做拟合,报告的才是图纸要求的内容。两者结论不一致,而其中只有一个是规范。

先谈重复性,再谈准确度

一个平均值正确但零件之间离散很大的工位,无法对任何东西做判定。在工位判废第一件之前就要求重复性是合理的,而不是等它判错了之后。

如何提出规格

  1. 给出图纸上的位置公差, 并说明它是不是直径公差。关于系统能力是否够用的争论,有一半最后都只是差了一个二倍关系。
  2. 给出图纸使用的参考系。 绝对坐标、以邻近引脚为参照和以基准为参照的上报都来自同一组质心,但在同一个工件上会给出不同的数字。
  3. 给出真正在意的最小颗粒, 然后让视野、镜头和微米每像素由此推导出来。我们的 光学计算器 可以为标准光路和远心光路完成这项计算。
  4. 说明工件在夹具中能有多大的倾斜和旋转, 因为这决定了姿态恢复只是锦上添花,还是支撑整个测量的关键。
  5. 事先约定验收研究的做法。 用真实工件做重复性验证,并与贵方的基准方法做相关性比对,判定阈值在任何人开始之前就写清楚。
Trusted by

Manufacturers running Overview AI in production

Toyota
Honda
Mitsubishi
Tyson
Schaeffler
Amphenol
Molex
Clorox
Henkel
Aisin
Milliken
Tillamook
Zipline
Parker Hannifin

FAQ

Frequently asked questions

同一个模型能同时测量引脚位置并发现异物吗?

可以。同一个网络在一次推理中产生两路输出:每个引脚的亚像素质心,以及像素级的污染物分布图。在一款 72 引脚连接器上,这意味着一次拍摄就得到 72 个位置和工件上的全部异物。每个污染区域都会归属到它所在的那个引脚,并以像素级精确的包围框上报,因此缺陷送达时已经绑定了位置,而不是一个孤立的判废标志。

连接器上的位置度是什么?

位置度是指引脚的实际位置与图纸规定位置之间的偏差,以直径而不是正负偏差的形式表示。公差带是围绕理论中心的一个圆,因此报告值等于径向偏差的两倍。某个引脚在 x 方向偏 0.10 mm、在 y 方向偏 0.10 mm,径向误差为 0.141 mm,位置度为 0.283 mm。用径向值代替直径值上报,会让报告上的每个数字都减半,这是这类结果最常见的误读方式。

引脚质心的精度有多高?

最差情况下质心落在一个像素之内,实际通常更紧,因为由分割掩膜计算出的质心本身就是一个亚像素量。这使得物理精度取决于光学系统而不是模型。在 9.35 微米每像素下,最差情况是正负 10 微米。在同一个远心镜头和同一套训练好的配方后面换上更高分辨率的传感器,比例变为 3.33 微米每像素,最差情况变为正负 3.3 微米。工位上的其他部分都不变。

没有第二台相机,如何处理工件倾斜?

远心镜头按正交方式投影,光线平行,没有透视缩短,正是这一点让倾斜可以从单张二维图像中恢复出来。当连接器端面倾斜时,投影出来的引脚阵列沿倾斜轴方向保持原尺寸,在垂直方向上按倾斜角的余弦被压缩。对全部 72 个实测引脚位置拟合一个二乘二仿射矩阵,再用 SVD 分解,就能以闭式解得到偏航角、倾斜幅度、倾斜轴方向,以及俯仰与横滚的分解。随后用逆仿射把阵列归一化回一个平面参考系,倾斜便不再表现为测量误差。

一根弯曲的引脚会破坏对齐吗?

不会,因为姿态拟合是在引脚阵列的随机子集上取共识,而不是对全部引脚做一次拟合。在有 72 个引脚的情况下,反复拟合 30 个引脚的子集并保留共识,意味着单个移位引脚无法把恢复出的平面拉离其余 71 个引脚的一致结果。这一点很关键,因为那个离群点往往正是你想测的东西,而一个朴素的最佳拟合会悄悄把它吸收进基准,并把工件判为合格。

位置应该用哪个参考系上报?

图纸用哪个就用哪个,同一组质心同时支持三种。绝对位置在相机坐标系中上报每个引脚,做法简单,但工件在视野内移动时数值也会跟着变。以邻近引脚为参照的上报给出引脚间距和相邻关系,能抓出缺失引脚、重复引脚或局部间距误差,并且不在意工件落在哪里。以基准为参照的上报用连接器本体的四角建立工件局部坐标系,并上报相对于它的偏移量,这正是图纸通常规定位置度的方式。

能检出多大的异物?

这取决于光学系统,而不是模型。微米每像素的比例决定了下限,一个特征需要跨越若干个像素,才能与传感器噪声和下方镀层纹理区分开。对比度和尺寸同样重要,横在引脚腔上的一根深色纤维远比金属表面上的金属碎屑好检。诚实的规格制定方式是先说出真正在意的最小颗粒,再反推出能给它足够像素的视野和镜头。

把图纸发给我们

发来位置公差、引脚数量,以及您需要检出的最小颗粒。在任何人向您推销硬件之前,您会先拿到光学方案,以及一个工位能否同时守住这两项的诚实答复。