视觉识别方案 第1篇
本文基于自主巡航机器人平台对指针式仪表及数字式仪表两大类别仪表的自动检测与识别方法展开了研究，该套方法可以在移动平台下对拍摄到的图片中的目标物进行多目标定位及分类，然后通过图像配准校正仪表的角度和位置，对于指针式仪表，通过对指针及刻度轮廓进行提取、表盘刻度数字文本定位，结合人眼对指针式仪表进行读数的方式及逻辑，制定了一套适用性广，精确性高的读数算法；针对数字式仪表，通过目标定位，颜色空间转换、数字提取以及数字分割，结合数字识别及小数点分离算法，完成了对数显式仪表的读数识别。
本文针对自主巡航机器人拍摄的仪表图像进行识别读数研究，考虑到拍摄到的目标物所处背景及角度随时在发生变化，对图像目标检测，图像配准展开了相应的研究；通过目标检测得到拍摄物的坐标及类别，结合为不同种类仪表制定的识别算法，使得算法的适用性大大增强。提出的基于最小刻度角的指针式仪表读数校正及自适应高度截断定位小数点方法为相关领域提供了可参考的解决方案。不过由于时间有限在本课题的研究中，还存在一些值得改善的研究点，主要如下：
1.采用基于特征点实现仪表配准的方法是存在缺陷的，需要有一张标准的图片作为参考图，这是采用传统方式进行图像配准都会存在一个缺陷，可以考虑引入深度学习进行特征提取，以监督的方式训练出每张图片进行图像变换所需的变换矩阵参数，从而摆脱依赖标准图片进行特征匹配的限制。
2.文本检测网络定位表盘上的数字时效果不是很好，这主要是由于采用的数据集不是专用数据集，导致呈现出的效果大打折扣，后期可以考虑针对表盘数字定位制作专用的数据集用于网络的训练，在标注时只需要标注数字，其他文字不要标注，可以大大提高模型的精确率。
3.指针式仪表及数字式仪表识别算法中都涉及到了数字的识别，两者数字虽然存在较大的特征差异，可是通过目标识别神经网络模型有机会将两部分的数字识别合并为一个模块，能大大简化整体的算法流程。
视觉识别方案 第2篇
算法会针对一张图像中的每个像素进行识别，也就是说不同于目标检测，语义分割可以正确区别各目标的边界像素，简单来说，语义分割就是像素级别的图像分类，针对每个像素进行分类。当然这类应用的模型就会需要较强大的GPU和花较多时间进行训练。
实例分割是语义分割的升级版本。它不是将相同的像素值分配给同一类中的所有对象，而是分段并显示同一类的不同实例。如果在图像中检测到多个相同的对象，则会相应地对其进行标记，如下图所示，绵羊 1、绵羊 2 和绵羊 3会被单独分割识别出来，它通常用于计数。
视觉识别方案 第3篇
仪表类型：1.指针仪表，需要分析出两个指针对应的数字; 2.单指针仪表，需要分析出指针对应的数字; 3.数字仪表，需要分析出每个仪表的数字。图像识别服务运行于中心平台，积成电子平台提供web服务提供图像文件并接收线路通道图像识别结果。
请求格式：{_taskid_: _20220623220601_, _pictures_: [{_picid_: _001_,_picname_: __,_url_: __}]}
响应格式：{_taskid_: _20220623220601_,_result_: [{_meter_type_:_pointer_，_reading_:}{_meter_type_:_pointer__reading_:}……]}
数据可行性：
训练数据集采用了工厂车间的真是仪表图片，图片由云台摄像头在若干固定点位拍摄，部分室外仪表图片由站内机器人拍摄。
技术可行性：
YOLOv5的检测速度可以达到工业应用要求；在预处理阶段处理得当的情况下，八段码识别可以有效检测出小数点位置。霍夫变换有在指针检测方面应用的潜力。
硬件可行性：
硬件上符合实验要求，模型已经在机器上训练完毕，机器完全可以承担当前工作量的数据训练，可以保证在预算内完成训练。
视觉识别方案 第4篇
随着科学技术的高速发展，技术知识的创新，硬件设备的更新迭代，使得机器视觉以及人工智能不再只是停留在纸面上，许多传统行业也逐渐寻求从人工密集型向人工智能转型的途径。如何用机器来替代简单重复的工作程序已经成为了目前工业的发展趋势，本文基于深度学习和图像识别技术，以自主导航机器人为载体，设计并实现了一套适用于移动平台多仪表定位及识别读数的算法，用于工业复杂背景下的智能仪表识别读数。
仪表作为测量、监视以及数据采集的重要工具，被广泛应用于油田、油井、电站等工业场所，仪表能有如此广泛的运用得益于它诸多不可替代的优点：结构简单、成本低、耐使用、抗干扰性强等；也正因为仪表的广泛运用，让读取表盘数据，记载录入数据成为一项庞大而繁琐的工作。仪表分为指针式仪表和数字式仪表，指针式仪表一般不具备数据传输接口，因而无法实现测量数据的自动采集与传输，大多采用人工的方式进行数据录入，这种模式效率低、读数慢、时效性差。数字式仪表虽然大多带有数据传输的接口，可受到工业强电、强磁场环境的干扰，数据传输不稳定甚至可能出现数据断流的情况。因此寻找一种替代人工读数的方法也就成为行业里的一种需求，在所有的研究方法中，最可行、最有效的方式就是通过视觉图像技术来完成对仪表拍摄图像的识别读数。
依据指针式仪表的特征和几何特点，应用投影变换，EAST文本检测网络，轮廓筛选，霍夫变换，直线检测及拟合等方法实现对仪表的坐标矫正、表盘及表盘中心定位、指针定位及拟合。结合对刻度线的统计分析计算出仪表的最小刻度角。结合对指针的相对偏转角求解完成指针式仪表的读数。算法的适用性较强，在复杂背景下的定位效果优异。针对数字式仪表，运用颜色空间转换，图像形态学操作，像素投影法，自适应高度截取、穿线法等方法实现对数字式仪表的数字提取、分割、识别以及小数点的定位和提取，完成对数字式仪表的识别读数，算法适用性较好，并在多个测试目标上得到有效验。
最早在国外开展指针式仪表读数识别的是Sablatnig R团队，该团队通过对原始被测仪表内的形状，相对位置和大小定义一套先验参数，来实现限定场景下特定仪表的识别。Sambarta Dasgupta等人对数字图像中圆形的研究提出了创新性的观点，算法基于群体智能技术，即细菌觅食优化(BFO)，用BFO算法演化了一组编码的候选圆，以便它们可以提取图像边缘图上的实际圆，该方法与Hough圆形检测相比具有较高的鲁棒性。Behaine Carlos引入主动形状模型(ASM)方法进行指针识别，以增加其鲁棒性。Chen Xi等人利用形态学分割从背景中提取表盘，然后利用改进霍夫变换来对指针进行定位。
和国外相比，国内开展仪表识别的进展稍晚一些，国内研究较早的有哈尔滨工业大学的张凤翔，采用高分辨率工业摄像机，借助浮动阈值法对图像进行预处理，通过对刻度线检测校正得到精确的圆心位置，实现指针式仪表的识别。谢吉航基于霍夫圆检测、MSER(Maximally Stable Extremal Regions)实现对仪表及表盘文本的获取，将边缘检测和形态学算法结合，进而再对仪表识别读数。孙浩晏针对霍夫算法参数难选择和获取的极坐标参数不能直观反映直线信息以及最小二乘算法受噪声影响较大等问题，使用RANSAC方法对最小二乘直线拟合算法进行了改进，改进后的算法具有很强的鲁棒性和容错能力，能够获得可信度较高的指针直线山。陈彬通过对仪表指针中心点检测，并将检测结果用于投影实现对指针的定位，极大的提升了算法的运算速度。由于应用场合的多变，逐渐有人意识到仪表的定位仅仅通过传统的图像处理方式难以得到，加之机器学习逐渐步入到大众的眼里，杨传旺受Adaboost训练器在人脸识别上的运用启发，将Adaboost应用到仪表识别中，实现复杂背景下仪表的定位。刘葵则将深度学习与仪表检测结合，使用Faster-RCNN网络实现在相似物的干扰下对表盘较好的提取。
对于数字式仪表识别，与之相关联的主要技术是字符分割与识别，数显式仪表的字符识别是OCR(光学字符识别)的重要组成部分，OCR技术在数显仪表上的运用是比较广的，周曼等人用EAST全卷积神经网络进行文字检测，再结合CNN-LSTM-CTC进行文字识别，完成工业现场数显式仪表的自动识别。郭爽采用穿线法结合模板匹配实现数字式仪表自动识别。唐轶俊等人基于BP神经网络来实现数显仪表数字字符识别系统的搭建。范建斌基于支持向量机的方式对仪表数字显示值识别展开研究，采用一对一及一对多的方法结合有效解决了数字的识别问题。马冲基于多卷积特征编码的Multi--Conv-SSD深度学习技术结合关键点检测技术实现对电子示数的自动识别。由以上仪表识别研究现状可知，针对仪表的检测与识别，国内外已开展很多相关的研究工作，但由于指针式仪表与数字式仪表识别原理截然不同，导致二者的识别方案无法兼容，算法也难以适用，使得在仪表识别前首先对仪表类型进行分类成为了一种需求。随着理论技术和硬件设备的发展和完善，机器视觉技术的用途越加广泛，从传统图像处理到机器学习，再到深度学习，这些技术的发展在仪表识别上都具备很好的应用前景，由以上仪表识别研究现状可知，针对仪表的检测与识别，国内外已开展很多相关的研究工作，但由于指针式仪表与数字式仪表识别原理截然不同，导致二者的识别方案无法兼容，算法也难以适用，使得在仪表识别前首先对仪表类型进行分类成为了一种需求。随着理论技术和硬件设备的发展和完善，机器视觉技术的用途越加广泛，从传统图像处理到机器学习，再到深度学习，这些技术的发展在仪表识别上都具备很好的应用前景，在本文中也会结合各项技术的优点来制定仪表识别的方案，就仪表识别这一内容展开深入的研究。
本文以自主巡航机器人拍摄的仪表图像和固定点位摄像头拍摄的仪表图像为研究对象，摄像头固定在机器人平台上处于运动状态，而识别的仪表包括指针式及数字式两类仪表，基于以上背景，仪表检测与识别工作包括以下几个部分：仪表的定位及分类研究、仪表角度校正配准研究、仪表识别读数研究，包括指针式仪表识别和数字式仪表识别两类。指针式仪表识别包括图像增强、仪表分度值求解、指针拟合、数字刻度定位及读数误差校正。数字式仪表识别包括数字提取、分割和识别。
视觉识别方案 第5篇
程序尝试从外部接收到视频流信息，没有接受到则重复尝试直至超出某一限定次数报错。若正常读取到视频流，则初始化视频读取类字典，从配置文件中获取所需配置信息。然后初始化任务模型，初始化任务检测器，视频流检测器每个任务一个。视频流检测器将视频按照每秒两帧的频率截取图片放入图片队列，检测器先从图像队列中获取数据，获取不到再从视频流队列获取数据。然后启动图像检测任务或视频流检测任务。检测器确认图像为正常检测图像且大小不为0后将图像（ndarray格式）传入预测模型。预测模型先用训练好的模型执行目标检测，返回目标的类型和坐标根据类型，将图片按照坐标进行裁剪、按类型进行标记，根据目标类型的不同程序会进入不同的预测模块，若目标类型为数字仪表，则进入数字仪表读数预测模型，对图形按照颜色阈值划分为二值图像，然后对二值图像做腐蚀膨胀，将每个电子字体分割，用穿针法检测七段码从而确定字体笔画，对于图像中目标的可能存在的倾斜角度，在此阶段需要在判断笔画时加入多种if条件，然后进行小数点的识别，具体实现方法为斜体数字的小数点识别，在数字区域内进行boundRect识别，将识别结果返回检测器；若目标类型为指针仪表，则进入指针仪表读数预测模型，在原有图像分割的基础上，需要进一步分割图形（以减少接下来霍夫直线检测阶段的噪声直线的干扰），然后进行霍夫直线检测，将霍夫检测结果放入list，若list为空，则说明检测失败或结果为空，返回NULL，否则检测出的唯一一条，或第一条直线即为指针位置所在直线，对该直线的参数（theta,rho）进行变换，得到直角坐标系上的坐标，将识别结果返回检测器。检测器按照配置文件中的要求将返回的结果放入字典中。检测器若接受到结果且结果不为空，则创建字典、写字典。将字段上传服务器对应存储路径。
尝试从外部接收到视频流信息，没有接受到则重复尝试直至超出某一限定次数报错。若正常读取到视频流，则初始化视频读取类字典，从配置文件中获取所需配置信息。然后初始化任务模型，初始化任务检测器，视频流检测器每个任务一个。尝试从外部接收到视频流信息，没有接受到则重复尝试直至超出某一限定次数报错。若正常读取到视频流，则初始化视频读取类字典，从配置文件中获取所需配置信息。然后初始化任务模型，初始化任务检测器，视频流检测器每个任务一个。
视频流检测器将视频按照每秒两帧的频率截取图片放入图片队列，检测器先从图像队列中获取数据，获取不到再从视频流队列获取数据。然后启动图像检测任务或视频流检测任务。检测器确认图像为正常检测图像且大小不为0后将图像（ndarray格式）传入预测模型。当接收器收到预测模块的结果时，检测器按照配置文件中的要求将返回的结果放入字典中。检测器若接受到结果且结果不为空，则创建字典、写字典。将字段上传服务器对应存储路径。
预测模型先用训练好的模型执行目标检测，返回目标的类型和坐标根据类型，将图片按照坐标进行裁剪、按类型进行标记，根据目标类型的不同程序会进入不同的预测模块，若目标类型为数字仪表，则进入数字仪表读数预测模型，对图形按照颜色阈值划分为二值图像，然后对二值图像做腐蚀膨胀，将每个电子字体分割，用穿针法检测七段码从而确定字体笔画，对于图像中目标的可能存在的倾斜角度，在此阶段需要在判断笔画时加入多种if条件，然后进行小数点的识别，具体实现方法为斜体数字的小数点识别，在数字区域内进行boundRect识别，将识别结果返回检测器；若目标类型为指针仪表，则进入指针仪表读数预测模型，在原有图像分割的基础上，需要进一步分割图形（以减少接下来霍夫直线检测阶段的噪声直线的干扰），然后进行霍夫直线检测，将霍夫检测结果放入list，若list为空，则说明检测失败或结果为空，返回NULL，否则检测出的唯一一条，或第一条直线即为指针位置所在直线，对该直线的参数（theta,rho）进行变换，得到直角坐标系上的坐标，将识别结果返回检测器。
视觉识别方案 第6篇
顾名思义就是将图像进行类别筛选，通过深度学习方法识别图片属于哪种分类类别，其主要重点在于一张图像只包含一种分类类别，即使该影像内容可能有多个目标，所以单纯图像分类的应用并不普遍。
不过由于单一目标识别对深度学习算法来说是正确率最高的，所以实际上很多应用会先通过目标检测方法找到该目标，再缩小撷取影像范围进行图像分类。所以只要是目标检测可应用的范围，通常也会使用图像分类方法。
图像分类，需要先对本地图像进行边框标记，这个操作需要手动标记才能完成，这样就催生出一个职业 - 人工智能标注师，比如下图左侧是原始图片，右图是被标记过的图像，就会把它标注到猫的分类中。
视觉识别方案 第7篇
在windows系统下进行本地测试你（使用软件：pycharm）可正常启动服务，使用postman让服务get图片，设置接口程序返回 [04/Jul/2022 11:15:26] _GET /api/ HTTP/_ 200
[2022-07-04 11:15:26] - [werkzeug] - [INFO] - [04/Jul/2022 11:15:26] _GET /api/ HTTP/_ 200 [04/Jul/2022 11:15:26] _GET /api/ HTTP/_ 200 证明程序可以正常接受外部图像。将图像接口设为api/，post ，post内容为{
_taskid_: _20220623220601_,
_pictures_: [
{
_picid_: _001_,
_picname_: __,
_url_: __
}
]
后端执行预测，返回{
_result_: [
{
_results_: [
{
_reading_: 0,
_type_: _pointer_
},
{
_reading_: ,
_type_: _pointer_
},
{
_reading_: ,
_type_: _pointer_
},
{
_reading_: ,
_type_: _pointer_
}
],
_taskid_: _20220623220601_
}
],
_taskid_: _20220623220601_
证明程序正常运行，分析结果说明图像_含四个仪表，均为指针类型仪表，读数分别为：0,64,40,37。
本测试采用xshell远程访问Ubuntu系统，测试过程与结果与一致。
首先在linux系统上对程序用docker封装，镜像上传至目标linux系统后创建容器，设置端口后台运行，效果由甲方测试检验。
视觉识别方案 第8篇
视觉技术是视觉解决方案的核心支撑。它包含图像采集、预解决、特征提取、模式识别等环节。其中，深度学算法在视觉技术中占有关键地位，它通过对大量图像数据的学，能够自动提取图像特征，实现高精度的目标识别。
视觉模块是构成视觉解决方案的基本单元。它往往包含图像采集模块、数据解决模块、智能分析模块等。图像采集模块负责实时捕捉作业现场的图像数据；数据解决模块对采集到的数据实预解决，如去噪、增强等；智能分析模块则利用深度学算法对数据实分析，实现实时监测和智能识别。
通过以上分析，咱们可看到，视觉解决方案在高风险作业领域具有广泛的应用前景。它不仅能够加强作业安全，减低事故风险，还能提升作业效率为企业创造更大的价值。随着人工智能技术的不断发展和应用，我们有理由相信，视觉解决方案将在未来发挥更加要紧的作用。
视觉识别方案 第9篇
Jetson 的 reComputer 系列是采用 NVIDIA Advanced AI 嵌入式系统构建的紧凑型边缘计算机：J10（Nano 4GB）和 J20（Jetson Xavier NX 8GB 和 Jetson Xavier 16GB）。
凭借丰富的扩展模块、工业外设和热管理，reComputer for Jetson 已准备好通过将流行的 DNN 模型和 ML 框架部署到边缘并以高性能进行推理来帮助您加速和扩展下一代 AI 产品。