OV Defect Creator Studio · VisA PCB1 基准测试
能用合成数据训练缺陷检测模型吗？
我们做了基准测试。10 张真实缺陷照片加上 OV Defect Creator Studio 生成的 50 张图像，在一个随机种子下追平了使用 50 张真实照片得到的 84% 基准。在另一个种子下，模型超越了这一基准，检出 86% 的缺陷。
真实缺陷数据仅需五分之一。
瓶颈：收集真实缺陷图像
视觉检测项目可能已有相机、照明和明确的不良品判定标准，却仍在等待训练数据。良品很容易拍摄，但特定划痕、弯曲引脚或缺失元件可能要经过数周乃至数月，才会积累到足够多的样本，形成有用的缺陷库。
团队通常要么等待废品积累，要么主动损坏零件。合成缺陷生成提供了另一种获取训练样本的方式。我们想回答一个具体问题：这些生成图像能否帮助模型识别真实照片中的缺陷？
我们测试了什么
我们选用了公开数据集中的 PCB1 子集： VisA 数据集，将真实缺陷照片与生成图像进行比较。生成工具为 OV Defect Creator Studio。可用训练池包含 50 张真实缺陷图像和 50 张生成图像，涵盖划痕、引脚弯曲、元件缺失和熔融缺陷。
基准测试使用的真实零件
一块电路板，四类缺陷
PCB1 展示的是 HC-SR04 超声波传感器电路板。外露引脚、蓝色涂层、换能器和晶振为检测模型提供了不同的表面和结构特征。
VisA 图像由 Zou 等人提供，许可协议为 CC BY 4.0。裁剪与标注由 Overview AI 完成。
相同模型，相同真实测试图像。
- 采用标准开源 U-Net 分割模型，各组比较保持模型设置一致。
- 使用不同比例的真实和生成缺陷图像，并在多个随机种子下测试。
- 每组比较使用相同的预留真实测试图像。
- 在良品误剔除率上限为 2% 的条件下测量缺陷检出率。
误剔除指把良品错误地判定为不良品。固定这一上限使比较更有意义：模型不能仅靠多拒收良品来提高结果。本实验用统一的模型衡量训练数据的价值。
进一步了解训练设置
U-Net 使用 ResNet-34 编码器、512 × 512 输入和固定的优化步数预算。每种训练组合中的缺陷图像都配有相同数量的无缺陷图像。保持这些设置一致，有助于区分缺陷数据变化带来的影响。
每个随机种子都会重新抽取真实图像子集。在样本量较小时，哪些图像参与训练可能显著影响结果。多个随机种子让我们能够考察不同的抽样和训练运行。
训练和评估前，我们还统一了电路板方向。PCB1 中的电路板以两种相反方向拍摄，方向与良品或不良品标签存在相关性。对齐图像与掩码能够消除这一捷径，使比较更直接地聚焦于缺陷。
结果：追平并超越真实数据基准
使用 50 张真实缺陷照片训练时，平均检出率为 84%；仅使用 10 张时，平均值为 58%。这正是团队在真实缺陷样本较少时面临的差距。
向这 10 张真实照片中加入 50 张生成图像后，结果发生了变化。在多个随机种子的测试中，一次运行追平了 84% 的基准，另一次达到 86%，以少 40 张真实缺陷照片的训练数据超越了基准。
追平基准
84%
10 张真实 + 50 张生成 · 一个随机种子
超越基准
86%
10 张真实 + 50 张生成 · 另一个随机种子
这些单次运行表明，生成样本可以帮助检测模型用更少的真实缺陷数据达到真实数据基准。对制造商而言，这提供了一条在罕见样本仍难以获得时扩大训练覆盖范围的实用途径。
划痕检出率提升至两倍以上
最明显的改善出现在划痕上。仅用 10 张真实缺陷图像时，模型检出 33% 的划痕。加入 50 张生成图像后，检出率提升至 75%，无需额外收集任何真实缺陷照片。
加入 50 张生成图像带来的提升
在 10 张真实缺陷照片中加入 50 张生成图像前后的平均检出率：划痕 33% 至 75%，元件缺失 31% 至 58%，引脚弯曲 76% 至 96%，熔融缺陷 69% 至 84%。
- 划痕
- 10 张真实图像: 33%
- 10 张真实 + 50 张生成: 75%
- 元件缺失
- 10 张真实图像: 31%
- 10 张真实 + 50 张生成: 58%
- 引脚弯曲
- 10 张真实图像: 76%
- 10 张真实 + 50 张生成: 96%
- 熔融缺陷
- 10 张真实图像: 69%
- 10 张真实 + 50 张生成: 84%
元件缺失检出率也从 31% 提升至 58%；引脚弯曲从 76% 提升至 96%；熔融缺陷从 69% 提升至 84%。在这组以 10 张真实图像为基础的比较中，四类缺陷均有改善。
这正是合成数据特别有用的地方：为模型补充小型真实数据集中代表不足的缺陷样本。工程师可以直接生成针对性的变化并验证其作用，无需等待另一块损坏的电路板。
查看真实与生成的缺陷
下方示例来自本研究。选择缺陷类型，比较 VisA 的真实照片和生成的训练样本。轮廓是缺陷区域的人工标注，并非检测模型的预测结果。
划痕：真实与生成对比
33% → 75% 检出率左右滑动查看示例，或通过下方链接打开完整尺寸图像。
留意蓝色涂层被刮去后出现的浅色磨损。示例在长度、方向和平行痕迹数量上有所不同。让模型学习这种变化，比重复单一明显划伤更有价值。
查看完整尺寸的 划痕 示例 ↗检出率为多个随机种子的平均值并经四舍五入，对比 10 张真实缺陷图像在加入 50 张生成图像前后的表现，良品误剔除率上限为 2%。图像来源： VisA，Zou 等人，采用 CC BY 4.0许可协议。裁剪、标注和合成修改由 Overview AI 完成。
我们如何创建生成训练集
每张生成图像都以训练子集中的无缺陷电路板为起点。操作人员用 OV Defect Creator Studio 在板上添加缺陷，再为缺陷材料绘制分割掩码。生成集涵盖与真实训练池相同的四类缺陷，也包含少量具有多个缺陷的电路板。
视觉细节很重要。在这类电路板上，划痕通常是穿过涂层的浅色磨损痕迹；引脚弯曲体现为引脚位置偏移；元件缺失则露出原先被遮盖的表面或焊盘。训练集需要呈现这些具体外观，而不仅是笼统的“划痕”或“弯曲”标签。
熔融示例说明，仅覆盖类别还不够。真实样本既有引脚和焊盘周围的沉积物，也有晶振金属外壳上的沉积物；上方生成示例则集中在引脚和焊盘周围。检查这种差异可以明确下一轮生成的方向：补充尚未覆盖的外观，而不只是重复已有样式。
这些数字对视觉检测意味着什么
结果支持一种实用流程：从已有真实缺陷图像出发，用生成样本补齐缺口，再用真实图像验证。漏检划痕的模型需要更完善的划痕库；漏检某种弯曲引脚形状的模型需要该形状的样本。
这项测试使用标准 U-Net 和一个电路板数据集。这些百分比描述的是该实验，不代表 Overview AI 相机或完整生产检测系统的性能。固定模型使我们能够考察生成训练数据的贡献。
机会在于缩短获得有效训练样本的等待时间。团队可以更早覆盖已知但罕见的失效模式，再随着真实生产图像增加，持续优化检测。
常见问题
合成数据能训练模型检测真实缺陷吗？
可以。在 VisA PCB1 基准测试中，用 10 张真实缺陷图像和 50 张生成图像训练的标准 U-Net，在一个随机种子下追平了 84% 的真实数据基准，在另一个种子下达到 86%。评估使用真实图像，良品误剔除率上限为 2%。
哪些缺陷受益于生成的训练图像？
在 10 张真实缺陷图像中加入 50 张生成图像后，平均划痕检出率从 33% 提升至 75%，元件缺失从 31% 提升至 58%，引脚弯曲从 76% 提升至 96%，熔融缺陷从 69% 提升至 84%。这些经过四舍五入的结果采用相同的 2% 良品误剔除率上限。
这项基准测试评估的是 Overview AI 相机吗？
本测试使用标准开源 U-Net 分割模型，衡量 OV Defect Creator Studio 训练数据的贡献。它并不评估 Overview AI 相机或其生产检测软件的性能。
何必等待数月收集罕见缺陷？
用 OV Defect Creator Studio 在您自己的产品图像上生成样本，开始建立检测所需的缺陷覆盖范围。