有10%以上的提升。ISP处理器是摄像头的关键组件，阿里达摩院进入这样的领域的逻辑是什么？

  ISP是图像信号处理器（Image Signal Processor）的简称，目前已经被大范围的应用于我们每个人的智能手机当中。大家都知道现在有海量的嵌入式设备都带摄像头，近至我们的、很多的大众消费级的显示器，当然也包含正在研发当中的智能驾驶系统，以及各种公共场所上的监控设备，远至在近地轨道上运行的众多微型卫星，可以说图像信号的获取和处理是一个极为广泛存在的需求。图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析，并对画面做不同程序的增强和改善。

  以现在的智能手机为例，大家几乎天天都会使用自己的智能手机来拍照，而现在的各家智能手机生产厂商，都并不直接研发摄像头模组，都是采购欧菲光，索尼等第三方厂商的摄像头模组，有时候不同的智能手机用了同一个厂家、同一个型号的摄像头，但是照片呈现出来的质量仍然有很明显的不同，这很大程度上主要是因为各家厂商使用的ISP的好坏导致的。

  对于大家比较熟悉的智能手机日常拍照的场景，手机芯片内置的ISP会进行自动人脸对焦，自动色调映射等一系列功能，这其中有很多讲究，都会直接影响到最终照片质量，例如ISP的自动图像锐化，如果锐化太多，则照片会有显而易见的“扎眼”的感觉，如果锐化太少，则照片整体会有一种朦胧感，给人的感受是这个手机的拍照系统捕捉细节的能力不够。而众多消费者们每天拍照的场景条件千奇百怪五花八门，没有一种自动锐化技术是放之四海皆准的，ISP一定要能自动地检测识别场景中的一些特征来决定锐化进行到何种程度。这类ISP研发中的难点反应到产品上，就是大家经常会争论的各家智能手机拍照系统的“出片风格”、“出片质量”了。

  在当前流行的在无人驾驶系统构架设计中，总的来说一般来说都会有一个很强的AI系统，去判断拍照系统传回的当前场景信息，例如当前场景存在哪些车辆，行人，障碍物，估计速度，估计距离等等。让这个AI系统要想实现高度准确判断的前提，是拍照系统传回的当前场景信息尽可能准确无误。

  可以说相比手机这样的大众消费品，无人驾驶更加需要ISP。因为对于手机来说，ISP只是决定照片质量的好坏，无非是一个观感问题，而在高速运动的车辆上，如果ISP不能准确地将场景特征暴露给后继系统部件，导致的结果就可能会是灾难性的。

  例如，由于车辆会处在高速运动当中，所以摄像头拍摄到的照片往往会带有一定的“拖尾”或者“重影”，这对于图像处理系统中的后继算法去识别物体特征是不利的，因此ISP的重要职责之一就是减少这种“拖尾”和“重影”。这在ISP当中是一个很重要的子领域叫做“运动估计”。

  再例如，如果是在夜间行车，那么由于当前摄像头传感器技术的限制，夜间的成像往往会暴露比日间成像更多的问题，摄像头传感器为了捕捉更多的场景细节，就必须延长曝光时间，提高进光量，但这样一来又会带来明显的噪点。例如在这组对比图片中，左图经过处理后明显暴露出了更多的场景信息，树木，草地的细节和边缘都更加清晰锐利，但与此同时在背景的夜空中，在远处的建筑上，都存在着更多的噪点。

  再考虑到无人驾驶系统中应用的电子元器件还有经过车规级验证，难度又更上一层楼。据笔者所知，一些车规级电子元器件需要耐受125度的工作时候的温度，而一般大众消费级市场上的芯片，例如IntelCPU，只要求100度，接近这个温度就会触发过热保护，电脑会自动掉电重启。与此同时车规级芯片对可靠性也有额外要求，因此能毫不夸张地说，ISP在整个自动驾驶系统中的地位是至关重要的，ISP的研发也是很具有技术上的含金量和挑战性的一个领域。

  经过20年的发展，阿里从一家电商公司发展成为一家科技巨头公司，并且今天慢慢的开始扮演全社会数字化的经济的基础设施。今天的阿里不仅在经营事物的规模上进行横向扩张，同时在业务深度上也在进行纵向扩张。所以我们正真看到过去几年里，阿里进入了芯片等基础研研究领域，成立了达摩院，设立了公司，并且在量子计算等很多前沿的领域展开研究。

  自动驾驶毫无疑问是未来十年中可能带来颠覆性变化的赛道，阿里没理由缺席，更不要说阿里的很多业务场景也需要自动化升级。而顶级的自动驾驶系统，必然是软件-硬件的配合（AI算法+ 传感器），同样也有硬件-硬件间的配合（多传感器融合）。

  理想的自动驾驶系统要在复杂的道路光线环境/恶劣天气环境下仍旧能得到满足深度学习算法所需要的图像数据，这需要算法设计和硬件设计之间的相互配合，与此同时，预知图像传感器的曝光时间非常非常重要，能够保证雷达扫描到某一位置时刻同时触发图像传感器曝光，这需要硬件与硬件之间的相互配合。因此达摩院选择了自研ISP去追求这一极致。

  从目前接触到的评测结果来看，达摩院的自研ISP已经毫无疑问地跻身业界一流水平，经过自研ISP与深度学习算法的互相配合，夜间场景的识别准确率提升了十个百分点。不要小瞧这十个百分点的提升，这背后有深层算法的创新，对于提升无人驾驶设备的感知能力有着非常大的提升作用。

  开发案例 /

  开发案例 /

  ) 进行校准和调整。该流程涉及在各种光照条件下捕捉数百张专对于目标对象的图

  算法DPC流程 /

  芯原股份今日宣布3D视觉和AI（AI）解决方案提供商银牛微电子（简称“银牛”）在其量产的NU4100视觉AI

  ），它诞生于美国登月探测时代。彼时NASA在月球探测中发现，月球车上的模拟相机拍摄的照片非常微弱且不清晰，根本看不清月球

  芯片技术解析 /

  芯原股份（芯原，股票代码：688521.SH）今日宣布以色列人工智能（AI）芯片制造商Hailo在其Hailo-15TM高性能AI视觉

  ）厂商名录 /

  国内手机生产厂商在高端化进程中，自研芯片不是新鲜事，从小米澎湃C系列、vivo芯片V系列，到OPPO曾经发布的专用NPU芯片MariSilicon X，这些自研芯片均与

  有哪些产品趋势？ /

  映射为 SRAM , 这样当 FMC 操作 Flash 内存时, UART 函数能正常工作 。 您可以在下列时间下载样本代码

  算法 /

  ，因此我们将执行以下步骤：A。我们做了引导模式 0 GPIO 引脚高，将

  AMD Versal AI Edge自适应计算加速平台之PL通过NoC读写DDR4实验(4)

  AMD Versal AI Edge自适应计算加速平台之PL LED实验（3）

  使用Altera Interface Planner高效设计FPGA引脚布局

  I.MX6ULL-飞凌 ElfBoard ELF1板卡- 移植zbar的方法