机器之心报道
编辑：泽南、小舟
在开放世界中，智能系统不仅要处理庞大的数据量，还需要应对各种「长尾问题」，如自动驾驶中面临的突发危险、出入隧道的剧烈光线变化、夜间强闪光干扰等。在这类任务上，传统视觉感知芯片由于受到「功耗墙」和「带宽墙」的限制，往往面临失真、失效或高延迟的问题，严重影响系统的稳定性和安全性。
为了克服这些挑战，清华大学精密仪器系类脑计算研究中心聚焦类脑视觉感知芯片技术，提出了一种基于视觉原语的互补双通路类脑视觉感知新范式。
5 月 30 日，该研究的论文《面向开放世界感知、具有互补通路的视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）登上《自然》杂志封面。这是该团队继 2019 年 8 月的类脑计算芯片「天机芯」后，第二次登上《自然》封面，标志着国内芯片领域在类脑计算和类脑感知两个重要方向上均已取得基础性突破。
5 月 30 日新一期《自然》杂志封面。
论文链接：https://www.nature.com/articles/s41586-024-07358-4
据介绍，新研究提出了一种受 HVS 多级特性启发的互补感知范式，其借鉴人类视觉系统的基本原理，将开放世界的视觉信息拆解为基于视觉原语的信息表示，并通过有机组合这些原语，模仿人视觉系统的特征，形成两条优势互补、信息完备的视觉感知通路。
基于这一新范式，团队研制出了世界首款类脑互补视觉芯片「天眸芯」（Tianmouc）， 它可以在极低的带宽（降低 90%）和功耗条件下，实现每秒 10000 帧的高速、10bit 的高精度、130dB 的高动态范围视觉信息采集 。它不仅突破了传统视觉感知范式的性能瓶颈，而且能够高效应对各种极端场景，确保系统的稳定性和安全性。
类脑互补视觉芯片「天眸芯」的测试系统。被处理的数据首先会传输到 FPGA 版上，FPGA 板采集原始数据，然后通过 PCIe 传输到主机，主机再负责数据处理，以完成测试等任务。
基于「天眸芯」，清华团队自主研发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的巨大应用潜力。
天眸芯的成功无疑是智能感知芯片领域的一个重大突破。它不仅为新一代 AI 技术的发展提供了算力支持，更为自动驾驶、具身智能等重要应用开辟了新的道路。清华大学表示，结合团队在类脑计算芯片天机芯、类脑软件工具链和类脑机器人等方面已应用落地的技术积累，天眸芯的加入将进一步完善类脑智能生态，有力地推动人工通用智能的发展。
「天眸芯」互补视觉芯片设计
在物理传感系统中，想实现互补传感范式有几个必须解决的挑战。首先，设计像素阵列至关重要，这需要同时解析同一焦平面上相应图元的光电信息转换。其次，两条路径的读出架构必须包含异构构建块，这些构建块可以使用不同的数据分布和格式对电信息进行编码。
如图 2 所示，「天眸芯」采用 90 nm CMOS 背照式技术制造，由两个核心部分组成：
受感光细胞的启发，混合像素阵列包括锥体和杆体像素，具有不同的特性，如颜色、响应模式、分辨率和灵敏度。这些像素可以将视觉信息解析为特定的颜色（红色、绿色、蓝色）和白色光谱，充当颜色对立图元。
研究团队对「天眸芯」的量子效率、动态范围、响应速度、功率和带宽等性能指标进行了全面的评估。该芯片在 COP 和 AOP 中均表现出较高的量子效率，530 nm 最高可实现 72% 的 AOP 和 69% 的 COP。「天眸芯」通过利用互补的 COP 和 AOP 中不同增益模式的动态范围来实现高动态范围。
开放世界表现
「天眸芯」的互补感知范式为自动化系统提供了巨大的想象空间，它可以作为感知算法的优质数据源。为了在开放世界场景中评估这些能力，研究人员开发了一个集成「天眸芯」的汽车驾驶感知系统（图 4a），以评估在开放道路上行驶，涉及各种极端情况，例如强光干扰、高动态范围场景、域偏移问题（异常物体）和具有多个极端情况的复杂场景。
图 4：开放世界感知实验。
为了利用天眸芯架构的优势，作者设计了一种多路径算法，专门用于利用 AOP 和 COP 的互补特性。在感知层面，图元的完整性使得原始场景的重建和对极端照明的适应成为可能。同时在感知层面，AOP 提供对变化、纹理和运动的即时感知，而 COP 提供精细的语义细节。通过同步这些结果，我们可以让 AI 系统全面了解场景。
图 4b 所示的第一种场景评估了突然强光环境的感知能力，在光照快速变化的情况下，传感器的鲁棒性受到了考验。天眸芯对这种强光表现出了极强的适应能力，同时在正常情况下也保持了较高的感知性能。对于实时高动态范围感知（图 4c），两条通路的互补灵敏度使天眸芯能够感知高亮度对比度而不会牺牲速度。
在感知层面，AOP 上的高速光流滤波器补充了异常检测能力，其中 AOP-TD 和 AOP-SD 之间的协作可以精确计算运动方向和速度以识别异常（图 4d）。图 4e 显示了自然光照昏暗、交通环境混乱、人造光突然干扰的复杂场景，需要在采样速度、分辨率和动态范围方面具有不同的感知能力。CVP 上的算法提供了互补和多样化的结果，为这些场景中的进一步决策提供了充足的空间。
根据 mAP_0.50（平均精度），与图 4 中所有情况下仅使用单一路径相比，CVP 具有更优的整体检测性能。值得注意的是，它在实现这一目标的同时消耗了不到 80 MB s^(-1) 的带宽和 328 mW 的平均功耗。实验结果表明，天眸芯可以有效适应极端光环境并提供领域不变的多级感知能力。
天眸芯擅长捕捉复杂的认知细节，同时可对快速不可预测的突发情况和运动作出响应。它提供高速、高动态范围和高精度，同时保持了自适应低带宽的特性。同样重要的是，它的高可扩展性允许通过先进的制造工艺实现高级空间分辨率，从而促进具有低功耗和带宽要求的分辨率敏感应用。作者认为，新的范式为开发用于开放世界应用的先进计算机视觉理论、算法和系统开辟了一条新途径。
该工作的论文通讯作者为清华大学精密仪器系施路平教授和赵蓉教授，此外精密仪器系杨哲宇博士（现北京灵汐科技有限公司研发经理）、精密仪器系 2020 级博士生王韬毅、林逸晗为论文共同第一作者。
参考内容：
https://www.tsinghua.edu.cn/info/1175/111803.htm
清华科学家打造出世界首款异构融合脑类芯片-天机芯，对人类有什么影响？
清华大学开发了世界上第一个异构融合类脑芯片。基于这一研究成果，论文《面向人工通用智能的异构行星芯片架构》于8月1日作为封面文章发表在权威科学期刊《自然》 (Nature)上，实现了中国在发表论文零芯片和人工智能方面的突破。
据悉，这项研究是由清华大学大脑类计算研究中心的施路平教授的团队进行的，该研究依赖于精密仪器部门，并展示了一种由新型人工智能芯片驱动的自行驾驶自行车。这种混合芯片被命名为“天机芯”，具有多个高度可重构的功能内核，能够支持机器学习算法和现有的大脑类计算算法。
研究人员使用自动自行车系统来验证混合芯片的处理能力。这是一个异构的、可扩展的人工通用智能开发展示平台，它利用天体机器芯片展示自行车的自平衡、动态感知、目标检测、跟踪、自动避障、越障、语音理解、自主决策等功能。实验中，无人自行车不仅能识别语音指令，实现自平衡控制，还能自动检测和跟踪前方行人，避开障碍物。
人们普遍认为，实现一般人工智能有两种方式，即计算机科学取向和神经科学取向。由于两条道路在理念、概念和实施方案上存在根本差异，依赖不同的开发平台，互不兼容，极大地阻碍了人工智能技术的发展。“天空运动”可以为人工智能技术提供一个混合合作的开发平台。它只需一个芯片，就可以在无人驾驶自行车系统中同时处理多种算法和模型，实现实时目标检测、跟踪、语音控制、避障和平衡控制。本研究有望为开发通用性更高的硬件平台开辟一条新的道路。
清华大学开发出的异构融合类脑计算芯片登上《自然》杂志的封面，这个芯片为什么那么厉害？
近日，清华大学类脑计算研究中心施路平教授团队展示了一辆自动驾驶自行车。这不是全球第一辆自动驾驶自行车。但它配备了一种人工智能芯片——神经形态计算机芯片——它可能是最接近于独立思考的机器。
该芯片是面向人工通用智能的世界首款异构融合类脑计算芯片，由清华大学依托精密仪器系的类脑计算研究中心的施路平教授团队研发，是世界上首个既支持脉冲神经网络又支持人工神经网路的人工智能芯片。基于此研究成果的论文面向人工通用智能的异构天机芯片架构（Towards artificial general intelligence with hybrid Tianjic chip architecture）作为封面文章登上了8月1日《自然》（Nature）杂志。
据了解，当前人工智能芯片主流研究方向可概括为深度学习加速器(支持人工神经网络)和类脑芯片(主要支持脉冲神经网络)。但是由于算法和模型的差别，当前人工智能芯片均只支持人工神经网络或者脉冲神经网络，难以发挥计算机和神经科学两个领域的交叉优势。而天机芯是世界首款异构融合类脑芯片，也是世界上第一个既可支持脉冲神经网络又可支持人工神经网络的人工智能芯片。
其实早在2015年，清华团队就完成了第一代天机芯片，2017年进化为第二代，速度更快，性能更高，功耗更低，相比于当前世界先进的IBM TrueNorth，也具备功能更全、灵活性、扩展更好的优点，密度高出20%，速度高出至少10倍，带宽高出至少100倍。
2019年中国的重大科技创新成果
2019年，国家发展起得了重要成就。主要成就有克隆杂交稻种子、盾构机穿海工程、国际顶尖机场、海射型固体运载火箭发射、高速磁浮试验样车、人造太阳”等。
1 、造福世界 我科学家成功克隆出杂交稻种子
1月，中国水稻研究所水稻生物学国家重点实验室王克剑团队，利用基因编辑技术建立了水稻无融合生殖体系，成功克隆出杂交稻种子，首次实现杂交稻性状稳定遗传到下一代。该成果在线发表于《自然·生物技术》杂志。
2、中国技术 北京大兴国际机场创多项“世界之最”
说到2019年频频上头条的重大科技成果，北京大兴国际机场自然不能错过。大兴国际机场占地面积140万平方米，是世界上规模最大的单体航站楼，于2016年被英国媒体评选为“新世界七大奇迹”之首。
3、海射首秀 中国火箭解锁发射“新姿势”
6月5日12时6分，长征十一号海射型固体运载火箭在我国黄海海域实施发射，将捕风一号A、B星等7颗卫星送入约600公里高度的圆轨道，宣告我国运载火箭首次海上发射技术试验圆满成功。
4 、超级装备 最聪明盾构机挑战穿海工程
离大连市中心不远，有个梭鱼湾，大连地铁5号线要穿过这个海湾，考虑到巨轮出入，不能架设跨海桥梁，因此采用海底隧道。而这项工程催生出一台超级装备。
1月18日，海宏号盾构机在大连始发，它堪称中国研发的最聪明的盾构机。海宏号盾构机是中国中铁专门为该工程研发、也是世界上现有功能最全的盾构机，核心部件设计全球领先。
5、 时速600公里 国产高速磁浮试验样车下线
“高速磁浮列车”成为2019年点击率颇高的关键词。5月23日，我国首辆时速600公里高速磁浮试验样车在青岛下线，实现了我国在高速磁浮技术领域的重大突破。
6、 中标ITER 中国企业为“人造太阳”装“心脏”
7月16日，中核集团收到国际热核聚变实验堆（ITER，俗称“人造太阳”）组织中标通知书，由中核集团中国核电工程有限公司（以下简称中核工程）牵头，核工业西南物理研究院等参与，携手法国法马通公司等单位组成国际联合体，以工程总承包形式正式中标在法国建设的国际热核聚变实验堆TAC1安装标段。
