特别说明：本文由米测技术中心原创撰写，旨在分享相关科研知识。因学识有限，难免有所疏漏和错误，请读者批判性阅读，也恳请大方之家批评指正。

原创丨米测MeLab

编辑丨风云

（封面文章）    

图像传感器在广泛的应用中发挥着至关重要的作用，然而，在处理开放世界应用中的动态、多样和不可预测的场景时面临巨大挑战。图像传感器向高速、高分辨率、大动态范围和高精度发展受到功率和带宽的限制。

基于此，清华大学施路平教授、赵蓉教授等人提出了一种受人类视觉系统启发的互补感知范式，该范式涉及将视觉信息解析为基于基元的表示，并将这些基元组装成两条互补的视觉通路：一条用于准确认知的认知导向通路，一条用于快速响应的行动导向通路。为了实现这一范式，开发了一种名为 “天眸芯” 的视觉芯片，它结合了混合像素阵列和并行异构读出架构。利用互补视觉通路的特点，“天眸芯”实现了高达10,000 fps的高速感知、130 dB的动态范围及空间分辨率、速度和动态范围方面的先进品质因数。此外，它还可以自适应地将带宽降低 90%。作者展示了如何将“天眸芯” 芯片集成到自动驾驶系统中，展示其即使在开放道路上遇到具有挑战性的极端情况时也能实现准确、快速和稳定的感知。基于原始的互补传感范式有助于克服为各种开放世界应用开发视觉系统的基本限制。    

互补视觉芯片的设计

“天眸芯”采用90纳米CMOS背照式技术制造，由两个核心部分组成：用于将光信息转换为电信号的混合像素阵列和用于构建两个CVP的并行异构读出架构。沿两条路径传播的电信号表现出不同的特征，包括数据分布和稀疏性的差异。这些差异需要使用不同的方法以适当的速度和精度将信号编码为数字数据。为了应对这一挑战，该芯片采用并行和异构读出架构，该方法提供了自适应能力来减少带宽并进一步提高AOP的运行速度。

图  开放世界视觉感知的挑战以及互补视觉范式的解决方案    

图  天眸芯片架构

天眸芯表征

作者对“天眸芯”芯片的量子效率、动态范围、响应速度、功率和带宽等性能指标进行了全面评估。该芯片在COP和AOP中都表现出高量子效率，通过利用互补COP和AOP中不同增益模式的动态范围可实现高动态范围。通过检测最低功率密度2.71×10⁻³ µW cm⁻²和最高功率密度8.04×10³ µW cm⁻²，实现了130 dB的整体动态范围。“天眸芯”芯片的互补路径可实现高空间分辨率和精度及在不可预测环境中的高稳定性。此外，“天眸芯”实现了先进的FOM，超越了现有的神经形态传感器和传统图像传感器，同时仍保持低功耗和低带宽消耗。

图  芯片评测总结

开放世界中的表现

为了在开放世界场景中评估芯片能力，作者开发了一个集成“天眸芯”芯片的汽车驾驶感知系统。评估在开放道路上进行，涉及各种极端情况，例如闪光干扰、高动态范围场景、域移位问题（异常物体）和具有多个极端情况的复杂场景。实验结果表明，“天眸芯”可以有效适应极端光环境并提供域不变的多级感知能力。

图  开放世界感知实验

参考文献：

Yang, Z., Wang, T., Lin, Y. et al. A vision chip with complementary pathways for open-world sensing. Nature 629, 1027–1033 (2024). 

https://doi.org/10.1038/s41586-024-07358-4