nextchip 一文看懂机器视觉芯片

下载干货一定要注明“机器视觉”，否则不会通过验证)，以及机器视觉教程、行业报告等资源。将被交换并不断更新。。。

【介绍】机器视觉等于人工智能，视觉等于人类。系统介绍了决定机器视觉的两大因素——视觉算法和芯片，重点介绍了视觉芯片在国内外的市场和发展前景，包括重量级选手及其产品。

机器能比人看得更清楚吗？近年来，随着CV(计算机视觉)芯片产品的不断推出，这种怀疑正在慢慢成为现实。就像AlphaGo打败了“围棋天才”柯洁一样，在一些应用场景中，机器视觉由于其准确性、客观性和稳定性，比人类生理视觉更具优势。

在我们平时的印象中，一个视力正常的人，可以迅速而毫不费力地感知世界，甚至可以形象地感知整个视觉场景的细节；但其实这只是一种错觉。人的生理视觉有天然的局限性。只有投射到眼球中心视觉场景的中间部分，才能看得很清楚细节，色彩鲜艳。与人眼相比，CV其实有相当多的优势(详见表1)。可以清楚的看到CV的视野远不止5.0！

表1:机器视觉相对于人眼的优势

机器视觉为什么这么强？关键在于芯片，核心是用芯片实现一些具体的图像算法，同时集成深度学习和神经网络算法。

机器视觉原理——图像处理与算法

机器视觉或计算机视觉是利用可以代替人眼感知客观世界三维场景的光学装置和传感器，即获取物体的数字图像，利用计算机或芯片结合专门的应用软件模拟人脑的判断标准，对获取的数字图像进行测量和判断。该技术已广泛应用于实际测量、控制和检测中。随着芯片技术的发展，它逐渐应用于人工智能的各个领域。

图1:机器视觉取代了人眼的抽象

典型的工业机器视觉系统包括:光源、镜头、摄像机(包括CCD摄像机和COMS摄像机)、图像处理单元(或机器视觉芯片)、图像处理软件、监视器、通信、输入输出单元等。系统可进一步分为主机、图像采集及图像处理器、图像摄像头、CCTV镜头、显微镜头、照明设备、卤素灯光源、LED光源、高频荧光灯光源、闪光灯光源、其他特殊光源、图像显示器、LCD、机械及控制系统、控制器、精密工作台、伺服运动机。

从应用技术分部可以看出，机器视觉是一门集模拟、数字电子、计算机、图像处理、传感器、机械工程、光源照明、光学成像等多学科交叉的前沿技术；从应用学科来看，机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等领域的交叉学科。

机器视觉技术的发展归功于计算机软件技术的使用，最大限度地发挥了现有大规模集成电子电路技术的发展成果，尤其是多媒体和数字图像处理与分析理论的成熟，使得机器视觉技术不仅在理论上而且在应用上发展迅速。

机器视觉对人工智能的意义等于视觉对人类的意义，图像处理技术决定了机器视觉。不同的应用领域需要不同的图像处理算法来实现机器视觉。机器视觉领域常用的图像算法包括运动目标检测算法、基于深度学习的人脸算法等。

下面描述机器视觉中的运动目标检测图像算法，这是运动目标识别和跟踪的基础。根据视频图像中不同的背景环境，运动目标检测可以分为静态背景检测和动态背景检测。由于篇幅有限，这里只介绍静态背景检测算法。常见的静态背景目标检测算法包括帧间差分法、背景差分法、光流法等。下表2描述了这些背景不变算法的优缺点。

在上述检测算法中，帧间差分法和背景减法更适用于视频监控和智能交通系统等静态图像背景环境。光流定律更适合背景变化的动态环境。下面介绍一下以上三种常用算法的基本原理。

表2各种机器视觉目标运动检测算法的比较

帧间差分法是一种运动检测方法，因其对环境的适应性强、计算量小、稳定性好而被广泛应用。原理是减去相位帧或三帧序列图像中像素对应的灰度值。如果灰度差大于阈值，说明这里的物体发生了变化，正在移动；如果像素的灰度差小于给定的阈值，说明物体在这里没有变化，被认为是静止的。标记像素灰度值变化的部分，这些标记点构成运动目标区域。进而对灰度图像进行二值化，提取目标运动信息，区分前景和背景图像，进而分割出运动目标。

背景减法实际上是一种特殊的帧间差分方法，它通过对当前帧图像和背景模型进行差分来检测运动目标。该方法首先获取背景模型并保存。当检测到帧图像时，利用实时获得的帧图像和背景模型进行差分运算，得到待检测的运动目标。

光流法是当运动物体在监控场景中移动时，物体表面会形成位移矢量场，根据其变化可以得到运动物体。光流是指运动物体在其对应的灰度图像上的表面运动。在光流场中，运动物体的速度矢量形成的平面投影构成了物体的运动信息。运动物体在投影上形成的速度矢量相对均匀，运动物体不同速度形成的速度矢量也不同。通过光流的计算结果，可以区分不同速度的运动物体。

图像处理算法的应用，一开始就要通过服务器的软件算法来完成。随着互联网技术的不断成熟，将延伸到云计算。然而，这需要非常高的网络带宽和非常高的云服务器测量量。作者估计，视频图像处理技术算法的大规模工业应用必须由专业芯片来完成，这就是机器视觉(CV)芯片。芯片模式必须能够降低成本和提高计算能力。从近几年整个行业的情况来看，计算机视觉作为人工智能领域最重要的方向之一，由于机器视觉芯片的诞生和深度学习算法的不断发展，近年来取得了长足的进步，各种应用开始在不同的行业扎根。

机器视觉的应用

历史

最早的机器视觉提出于上一个视觉60年代，然后在1973年，美国自然科学基金会制定了1973-1982年视觉系统和机器人的发展规划，并成功研究了一些实用的视觉系统，应用于机械手定位、集成电路生产、精密电子产品装配、饮料罐装检验等场合；后来，机器视觉系统被用于印刷电路板制造过程中，以监控印刷电路板的质量。除了制造领域，军事领域也应用广泛，如精密制导系统、无人机自动导航等。；CV还用于生物实验等领域，通过加速视频回放，用于监控生物的各种生产规律，呈现生物生长等过程；在自动驾驶领域，CV芯片得到了不断的应用。

—　一…

当今时代，计算机视觉领域有许多新趋势，其中最显著的是应用程序的爆炸式增长。除了手机、个人电脑和工业检测，计算机视觉技术还以各种形式应用于智能安全、机器人、自动驾驶、智能医疗、无人机和增强现实(AR)领域。计算机视觉在应用上迎来了一个爆炸式增长的时代，目前的应用主要基于运动控制，如下图所示。

图2:当前的机器视觉应用

随着各领域技术的不断发展，许多技术巨头开始在图像识别和人工智能领域进行部署。Facebook签约的人工智能专家Yann LeCun最显著的成就是，在图像识别领域，以LeNet为代表的卷积神经网络在应用于各种图像识别任务时取得了很好的效果。它被认为是通用图像识别系统的代表之一；谷歌借助模拟神经网络“distscredit”学习了数百万个YouTube视频，掌握了猫的关键特征，这意味着机器在没有帮助的情况下理解了猫的概念。值得一提的是，负责这个项目的吴恩达转向百度领导百度(现已离职)，他的重要研究方向是人工智能和图像识别，可见国内科技公司对图像识别技术和人工智能技术的重视。

未来

机器视觉的应用将呈现爆炸式增长。刚才已经提到，计算机视觉在安全监控、高度自动化驾驶、增强现实、医学图像、机器人工业视觉、移动互联网等领域有很多应用。CV芯片的成熟量产会让人类生活在一个无所遁形的时代。每一个带有CV芯片的摄像头都是一只视力远高于5.0的眼睛，具有优越的分析判断能力；当然，人工智能的有序应用最终会造福人类。

下图为2014年至2018年全球机器视觉系统及零部件市场规模预测。图中虚线表示年增长率。根据复合增长率，可以计算出2014-2018年的复合增长率为8.39%。

图3:全球机器视觉市场规模预测

国内外CV芯片公司及特点

国内有一些机器视觉相关公司，大多属于视觉芯片产品的应用型公司，而半导体芯片制造公司很少。

视觉芯片产品应用公司，如杭州Hikvision机器人技术有限公司，起步于Hikvision成立的机器视觉事业部，全球安全排名第一。依托Hikvision在视频音频、图像采集、核心算法等领域的技术积累，Hikvision Robot专注于智能制造，开发了机器视觉、移动机器人、工业无人机等业务领域。其中，机器视觉产品涵盖了工业面阵、线阵、立体相机、镜头、视觉软件平台、视觉控制器、工业智能相机等全方位。

广州从云信息技术有限公司(简称从云科技)是一家专注于计算机视觉和人工智能的高科技企业。其核心技术来自于第四科学院院士、计算机视觉之父——托马斯·黄教授(Thomas Huang)。核心团队在2007年至2011年六次获得智能识别世界冠军，并获得杜佳科技和港捷奥资本的战略投资。公司主要技术团队来自中科院重庆分院，是中科院研发中最有实力的人脸识别团队。作为中科院战略科技试点项目中唯一的人脸识别团队，公司参与了新疆喀什等地的安全管控。

格林深瞳是一家将计算机视觉和深度学习技术应用于商业领域的科技公司。自主开发的深瞳技术在人和车辆的检测、跟踪和识别方面处于世界领先水平。借助海量数据，公司可以让计算机像人一样理解世界，实时获取自然界正在发生的事情，构建自然世界的搜索引擎。华为HiSilicon也在机器视觉方面积极部署，但目前还没有成熟的量产CV芯片。

中星微

中兴微电子是国内为数不多的机器视觉芯片设计公司之一。其芯片的主要功能应用于人脸识别领域。2016年6月20日，中兴率先推出中国首款嵌入式神经网络处理器(NPU)芯片中兴微，这是全球首款具有深度学习人工智能的片上嵌入式视频采集压缩编码系统，被誉为“星光智能一号”。这种基于深度学习的芯片用于人脸识别，最高准确率可达98%，超过人眼的识别率。该芯片于2016年3月6日量产，目前出货量超过10万片。NPU采用“数据驱动”的并行计算架构。单个NPU(28nm)的能耗仅为400mW，大大提高了计算能力与功耗之比。可广泛应用于高清视频监控、智能驾驶辅助、无人机、机器人等嵌入式机器视觉领域。

图4:中兴微NPU框架

韩国

韩国NEXTCHIP公司成立于1997年，2007年在韩国上市。是一家专注于图像处理技术的公司。公司产品设计视频监控、DVR、SOC、自动驱动系统的核心芯片都是以图形处理和传输为主的半导体芯片厂商。机器视觉领域涉及的芯片都在自动驾驶系统中，主要产品APACHE4是针对下一代ADAS系统的SOC芯片。

APACHE4增加了专门的检测引擎，支持四种监控类型:行人检测、车辆检测、车道检测、运动物体检测。嵌入式CEVA-XM4图像和视觉平台使APACHE4客户能够使用高级软件编程来开发不同的ADAS应用程序。具体如下图所示，车辆系统的前、后、左、右各有一个图像采集系统，配有一个APACHE4，采集的数据送到图像分析系统ECU，分析结果送到车辆控制系统。

图APACHE4在自动驾驶中的应用

电影

Movidius是一家无晶圆厂的半导体公司。2016年9月，英特尔宣布收购计算机视觉初创公司Movidius，后者也是Google Project Tango 3D传感器技术背后的英雄。Movidius的使命是“赋予机器视觉”，它还将与英特尔的RealSense技术合作。该公司的主要产品是低功耗视觉处理器:麦利亚德系列VPU，并已与谷歌、联想和DJI等公司签署了协议。

DJI·DJI宣布最新的无人机产品幻影4的发布。飞机利用计算机视觉实现自主飞行，核心机器视觉芯片是Movidius的Myriad 2芯片。早在2014年，Movidius推出的第一款芯片Myriad 1就被应用到了谷歌的第一代Project Tango平板上。

2017年8月28日，英特尔宣布推出Movidius Myriad X Vision处理器(VPU)，这是一款低功耗SoC，主要用于无人机、智能相机、VR/AR头盔等基于视觉的设备的深度学习和AI算法加速。

图6:麦利亚德X视觉处理器

Myriad X的推出并不会取代Myriad 2。Movidius说，在相同的功率范围内，Myriad X在深度神经网络DNN推理中可以提供10倍于Myriad 2的性能。Myriad X具有Movidius称为神经计算引擎的功能，是集成在芯片上的DNN加速器。

Movidius表示，有了它，Myriad X的DNN推理吞吐量可以达到每秒1万亿次以上的操作(TOPS)。除了神经计算引擎，SoC 16还有一个可编程矢量处理器，可以配置MIPI通道和视觉加速器。矢量处理器使您能够同时运行多个成像和视觉应用。

此外，MIPI通道确保您可以将多达8个高清RGB摄像头直接连接到myriad X。该芯片可以处理高达每秒7亿像素的图像信号。最后，视觉加速器允许您在没有额外计算能力的情况下执行光流和立体深度等任务。与人类相当的视觉智能设备构成了计算的下一步。随着低功耗CV芯片的逐渐发展，真正的AI离我们越来越近。

安霸半导体

Ambarella是高清视频行业的技术领导者，主要提供低功耗、高清视频压缩和图像处理解决方案。2015年，安巴收购意大利公司VisLab，计划进军计算机视觉芯片市场。

安巴收购VisLab后，包括“计算机视觉算法、传感器融合和基于算法的感知、检测和决策”在内的许多核心技术也将纳入安巴的指挥。同时，安巴的汽车轨迹记录芯片和基于摄像头的片上系统解决方案也是吸引VisLab加入的重要原因。

安巴本身就是一家图像处理芯片公司，在汽车行业一直有着出色的芯片应用。有了机器视觉芯片，安巴将在自动驾驶领域发挥更大的作用。据行业新闻反馈，安巴的机器视觉芯片CV1将于今年秋季送样。安巴的CV1未来取决于算法和软件，最终有可能投资庞大的车队，实现LEVEL4自动驾驶水平。

摩根士丹利证券(Morgan Stanley Securities)分析师约瑟夫·摩尔(Joseph Moore)指出，“计算机视觉”具有巨大的商业机会，并将创造许多赢家。安巴在图像处理领域深厚的专业知识使其处于独特的地位。安巴的第一个计算机视觉芯片将从今年秋天开始发送样品并进行必要的车辆认证程序。如果一切顺利，安巴的计算机视觉芯片预计将从明年开始增产。

因纽特人

Inuitive是3D计算机视觉和图像处理器的先进制造商，在CEVA-XM4智能视觉DSP的许可下，针对各种移动设备运行复杂的实时深度传感、特征跟踪、目标识别、深度学习等视觉相关算法。

CEVA图像和视觉数字信号处理器满足最复杂的计算摄影和计算机视觉应用的极端处理要求，如视频分析、增强现实和高级驾驶员辅助系统(ADAS)。通过从CPU和GPU上卸载这些性能密集型任务，这些高效的DSP可以大大降低整个系统的功耗，同时提供完全的灵活性。这些移动设备包括增强现实和虚拟现实耳机、无人机、消费机器人、360度摄像头和深度传感器。

图7:直观视觉处理器NU3000

目前公司机器视觉有两个芯片:NU3000和NU4000。NU4000是因纽特基于其NU3000多核图像处理器的成功推出的新产品。凭借第三代CEVA-MM3101图像和视觉数字信号处理器，NU3000提供立体视觉功能。现在它是Google Project Tango生态系统的一部分，开发人员可以使用它来开发需要即时深度生成、映射、定位、导航和其他复杂信号处理算法的应用程序。

总结

根据目前的数据，机器视觉领域目前是一个巨大的市场。下图预测2018年市场容量将达到50.43亿美元。面对如此巨大的市场，而核心硬件芯片占整个视觉系统成本的35%左右，半导体行业各大公司都盯上了这个领域。但由于其技术壁垒高，需要积累成熟的图像算法，半导体公司不敢冲进去。

国内大部分公司都处于视觉产品的中下游，很少有公司设计生产专用的机器视觉芯片。从国内机器视觉专利申请数量来看，二十年前几乎没有专利创新。2011年，我国机器视觉专利申请量为267件；2012年，我国机器视觉专利申请量为298件；2013年为101，说明中国也在更加关注机器视觉领域，试图在行业高端取得突破。

放眼全球，英特尔(INTEL)、安巴(Anba)等半导体巨头在CV领域做了很长时间的研究，现在市场上有成熟的量产CV芯片，控制着高端的整个机器视觉领域。同时，这些国际大公司通过自身在行业内的影响力，继续推动CV在各个行业的具体应用，大力推动整个CV行业的快速发展。

CV芯片的未来发展趋势

从CV芯片的现状和机器视觉系统的应用来看，芯片领域是一个非常巨大的市场，是未来计算机视觉大规模应用的重要组成部分。作者认为未来CV芯片有以下三个发展趋势。

趋势1:CV芯片集成度进一步提升。随着半导体加工技术向6纳米方向发展，单个CV的集成度将大大提高。更高效的大容量解构和重用机制已经成熟，可以进一步减少超大神经网络中总线上的数据通信，可以更深入的学习，更容易与神经网络IP融合；同时，各种图形处理算法IP直接固化在CV芯片中，减少了对GPU计算能力的依赖。未来单个CV芯片将标配深度学习功能、神经网络功能和机器视觉处理分析功能。

趋势二:机器视觉芯片细分。CV芯片会根据不同的应用领域进行细分，比如专用自动驾驶CV芯片、无人机导航CV芯片、AR/VR应用CV芯片等等。因为在一个特殊的领域，随着机器视觉算法应用需求的不断增加，必然会带来成本需求来增加产品的利润。因此，在CV芯片上做成本降低，削减不在该领域的应用功能，深化在该领域的应用是必然的。

趋势3:低功耗，SOC模式。在云+端模式下，关键机器视觉功能通过端完成，处理结果送回云，云用于分析判断。这种方法的优点是降低网络带宽，将视频处理操作从中心分散到前端，这一定是未来的一个重要趋势。因此，作为终端的CV芯片必须具有低功耗和一定的CPU功能，需要有较长的电池寿命，并具有一定的数据通信和任务调度功能。

在不久的将来，机器眼的时代将全面到来。我们都准备好了吗？

关于作者:Atom，微电子专业毕业，硕士，熟悉半导体行业，实验室做过IC前端设计，从事电子产品设计9年，目前在一家上市公司做产品设计经理

干货下载:“机器视觉”必须注明，否则不会通过验证)，合作交流或获取机器视觉教程、行业报告等资源，并不断更新。。。

回复以下号码或直接点击: