近日，索尼发布了全球首款具有AI处理功能的智能视觉传感器。不过，大家不要太过兴奋，这些传感器是1/2.3型的，它们的目的是用于配备了AI的相机，用于零售和工业设备行业的应用。

那么，我为什么要写这篇文章呢？好吧，任何新的传感器技术都是有趣的，只是因为这些特殊的传感器并不是用于专业的视频用途，所以它们确实给了我们一个窗口，让我们看到了传感器可能的发展方向。

你可能会问，AI处理到底是什么，放在传感器上能做什么？这是个好问题。在不涉及技术问题的情况下，它可以让使用传感器的摄像头同时输出复杂的元数据、实时跟踪和图像。例如，配备了这种传感器的摄像头可以安装在商业或安防环境中，不仅可以捕捉和流媒体图像，还可以执行复杂的AI任务。这些AI任务可以是多种多样的，范围很广。最好把这些传感器看成是智能传感器，它的作用远不止捕捉图像。

在未来，没有理由不把具有AI处理功能的传感器放到我们可能有一天使用的相机中。当你在拍摄时，可以处理和收集到的信息是无穷无尽的可能性。它们可以用于VFX、动作捕捉应用以及其他各种任务。
索尼做了什么？


索尼将AI处理功能放在了图像传感器本身上。这样可以实现高速的边缘AI处理，只提取必要的数据，在使用云服务时，可以减少数据传输延迟，解决隐私问题，降低功耗和通信成本。

随着物联网的普及，各种类型的设备都被连接到了云端，这使得信息处理系统的使用变得很普遍，从这些设备中获取的信息通过AI在云端进行处理。物联网(IoT)是由相互关联的计算设备、机械和数字机器组成的系统，这些设备被提供了唯一的标识符(UID)，并能够通过网络传输数据，而不需要人与人、人与机器之间的交互。

随着在云端处理的信息量不断增加，企业面临着一些问题，如数据传输延迟增加，阻碍了实时信息处理；用户对在云端存储个人身份数据的安全问题的担忧；以及其他问题，如云服务带来的功耗和通信成本的增加等。

那么，这些问题是如何解决的呢？

进入IMX500和IMX501

新的传感器产品采用了由像素芯片和逻辑芯片组成的堆叠配置。


像素芯片采用背照式设计，拥有约1230万有效像素，可在广角范围内捕捉信息。除了传统的图像传感器操作电路外，逻辑芯片还配备了索尼独创的DSP（数字信号处理器），专门用于AI信号处理，以及AI模式的内存。这样的配置无需高性能处理器或外置内存，是边缘AI系统的理想选择。
image007

像素芯片获取的信号通过ISP（图像信号处理器）运行，在逻辑芯片上的处理阶段进行AI处理，提取的信息作为元数据输出，减少了处理的数据量。确保图像信息不被输出，有助于降低安全风险，解决隐私问题。除了传统的图像传感器记录的图像外，用户可以根据自己的需求和用途选择数据输出格式，包括ISP格式输出图像(YUV/RGB)和ROI(兴趣区域)特定区域提取图像等。

它们和普通传感器有什么区别？


在使用传统图像传感器录制视频时，需要对每一帧输出的图像进行AI处理，这就导致数据传输量增加，难以实现实时性能。而索尼的新型传感器产品在逻辑芯片上执行ISP处理和高速AI处理（MobileNet V1*2的处理速度为3.1毫秒），在一帧视频中完成整个处理过程。这样的设计使得在录制视频的同时，可以实现对物体的高精度实时跟踪。
MobileNet V1*2的MobileNet V1。用于移动设备上的物体识别的图像分析AI模型。

用户可以将自己选择的AI模型写入嵌入式存储器中，并可以根据系统的需求或使用地点的条件进行重写和更新。例如，当在一个零售场所安装多个采用该产品的摄像头时，可以在不同的地点、不同的环境、不同的时间、不同的用途下，使用单一类型的摄像头。

例如，当安装在设施的入口处时，可用于统计进入设施的访客人数。如果它安装在商店的货架上，可以用来检测缺货情况。如果它是安装在天花板上，它可以用于对商店的访客进行热图统计（检测人多的地方）。此外，可以将特定摄像头中的AI模型从用于检测热力图的AI模型改写为用于识别消费者行为的AI模型等。

主要规格

传感器的零售价格如下，预计将在以下时间段上市。

这些价格大约在93美元和185美元左右。