天眸芯 登Nature封面!全球首款类脑互补视觉芯片 清华

清华类脑计算研究中心施路平团队新成果,登上最新一期Nature封面。

团队研发出世界首款类脑互补视觉芯片——“天眸芯”

“天眸芯”实现了一种基于视觉原语的互补双通路类脑视觉感知新范式,模仿了人类视觉系统特征。

性能上,“天眸芯”能够 以每秒10000帧的高速、10bit的高精度、130dB的高动态范围进行视觉信息采集,并大幅减少带宽需求

△图源:清华大学官方公众号

将“天眸芯”集成到自动驾驶系统中,即使面对突然闪光干扰、隧道等高动态范围场景、异常物体移动等复杂情况,配合互补多通路算法,系统也能实现精准认知和快速响应。

这回是真开“眸”了~

“天眸芯”长啥样?

随着自动驾驶、机器人、AI等开放世界应用的发展,现有图像传感器面临诸多挑战,难以处理超出其传感范围的动态、多样化和不可预测的情况。

比如快速骑自行车的人、意外行为、光线从明亮到阴暗的快速变化……

然鹅,图像传感器要向高速度、高分辨率、大动态范围和高精度发展,还受功率和带宽限制。

反观人类视觉系统(HVS),具有超强的适应能力和鲁棒性。

人类视觉系统将视觉刺激解析为多种视觉原语,比如颜色、方向、动作等,并以互补的方式将它们分配到 腹侧路径 (what)和 背侧路径 (where、how)这两条神经通路,有效地提供了视觉场景的统一表征。

受此启发,清华类脑计算研究中心团队 提出了一种基于视觉原语的互补双通路类脑视觉感知范式

如下图所示,此范式中的原语包括颜色、精度、灵敏度、空间分辨率、速度、绝对强度、空间差分(SD)和时序差分(TD)。

两条互补的视觉路径(CVP)为 面向认知的路径 (COP)和 面向行动的路径 (AOP),对应人类视觉系统的腹侧和背侧路径。

COP使用颜色、强度、高空间分辨率和高精度的原语来实现准确的认知,最小化空间混叠和量化错误;AOP使用SD、TD和高速度的原语来实现快速响应。

为实现上述范式,研究团队设计了视觉芯片“天眸芯”。

“天眸芯”整体架构设计如下图所示,包含两个核心组件:

其中,混合像素阵列由锥状像素和杆状像素组成,具有不同的颜色、响应模式、分辨率和灵敏度特性。

这些像素可以将视觉信息解析为特定颜色(红、绿和蓝)和白光谱,作为颜色对立原语,还可以通过使用高增益或低增益的电荷转换模式来调节灵敏度,扩展动态范围。

锥状像素采用4μm的细粒度间距实现绝对强度感测,杆状像素有两种不同的8μm和16μm的感受野(指一个神经元或神经元集群能够响应的特定区域内的刺激),用于检测时序差分和空间差分。

此外,杆状像素内嵌高密度存储器,使用“乒乓行为”(ping-pong behaviour)缓冲历史电压,以连续计算时序差分。

再来看并行异构读出架构。

其中,COP采用单斜率模数转换器,对密集的绝对强度信号进行高精度编码。

AOP使用专门的读出架构,通过可编程阈值滤波器(programmable threshold filter)来最小化冗余和噪声,同时保留关键信息;采用具有可配精度的快速自适应数模转换器(fast polarity-adaptive digital-to-analog converter)进行信号量化;使用数据打包器(data packetizer)实现稀疏可变精度时序差分和空间差分信号的无损压缩,以统一协议进行打包。

并行读出电路分别对应COP和AOP,COP使用高精度并行ADC,AOP使用多精度自适应ADC和稀疏编码器,支持可重构速度/精度并减少带宽需求。

高速度、高动态范围、低带宽

研究团队从量子效率、动态范围、响应速度、功耗和带宽等关键性能指标上对“天眸芯”的进行了全面评估。

“天眸芯”在COP和AOP两个路径上都展示了高量子效率,在530nm波长下,AOP的量子效率最大值达72%,而COP达到69%。

通过COP和AOP不同增益模式的动态范围叠加,“天眸芯”实现了 130dB的整体动态范围 。它能检测从2.71×10^-3 μW/cm^2到8.04×10^3 μW/cm^2的光功率密度。

该动态范围测试遵循EMVA1288标准,使用了专门设计的均匀光源和滤光装置。

此外,“天眸芯”展现出了高空间分辨率和精度,以及在不可预测环境中的高鲁棒性。

在具有快速运动、旋转和突变光照的极端场景中,COP和AOP能对视觉信息进行互补感知和重建。比如,为消除AOP中由运动引起的空间混叠和量化误差,“天眸芯”利用COP的高空间分辨率和精度进行补充。

响应速度方面,AOP可重构速度范围从每秒757帧到10000帧,精度从±7bit到±1bit,补充了COP每秒30帧和10bit分辨率相对较慢的速度。

在瞬态闪电测试中,“天眸芯”能够以±1bit在50毫伏的阈值下以10000fps的速度捕捉快速闪电。

由于高稀疏性,AOP在瞬态现象期间的峰值带宽消耗仅约50兆字节每秒(MB s^-1),与具有相当时空分辨率和精度的 传统相机相比 减少了90% (640×320×10000×2)。

更多高速响应展示:

研究团队还使用一个综合的性能评估指标(FOM),结合最大采样率和动态范围,以衡量芯片的整体性能。

“天眸芯”在FOM方面表现出色,超越了现有的神经形态传感器和传统图像传感器,同时保持了低功耗和低带宽消耗。

为测试天眸芯在开放世界场景下的性能表现,研究团队开发了一个集成了“天眸芯”的 自动驾驶感知系统 ,用于在开放道路上进行评估。

评估涵盖了多种复杂场景,包括:突发的光照变化,如闪光灯干扰;高动态范围场景,如隧道入口和出口;领域偏移问题,涉及异常物体的检测;多种角落。

为充分利用天眸芯架构的优势,研究团队设计了一个 多路径算法 ,专门针对“天眸芯”的AOP和COP互补特性进行了优化。

当场景涉及突然光闪,“天眸芯”在这种光闪情况下表现出了显著的抵抗力,同时在正常情况下保持高感知性能。

对于实时高动态范围感知,两条路径的互补灵敏度使得“天眸芯”能够感知高亮度对比度而不牺牲速度。AOP-TD和AOP-SD的协作,使得系统能够精确计算运动方向和速度,以识别异常物体。

此外,天眸芯能够同时处理多个角落案例,通过CVP的合作,提供多样化的结果,为进一步决策提供空间。

研究团队使用平均精度均值(mAP0.50)来评估算法性能。CVP在所有案例中都显示出比单一路径更优越的整体检测性能。

而且“天眸芯”在测试中消耗的带宽不到80MB/s,平均功耗为328毫瓦,这证明了其在保持高性能的同时,也实现了低功耗和低带宽消耗。

总的来说,实验结果表明,天眸芯能够高效适应极端光照环境,并提供领域不变的多级感知能力,这对于自动驾驶系统在开放世界中的性能至关重要。

清华类脑计算中心再进击

该研究来自清华大学类脑计算中心团队,论文通讯作者为施路平教授和赵蓉教授。

△施路平教授(右一)和赵蓉教授(左二)指导学生实验,图源:清华大学官方公众号

精密仪器系杨哲宇博士、精密仪器系2020级博士生王韬毅、林逸晗为论文共同一作。

△天眸芯研究团队,图源:清华大学官方公众号

清华大学类脑计算中心由施路平教授2013年3月全职入职清华大学后组建,从基础理论、类脑计算系统芯片和软件系统全方位进行类脑计算研究。

在最新“天眸芯”这项成果中,北京灵汐科技有限公司为合作单位,论文共同一作杨哲宇现为北京灵汐科技有限公司研发经理。

在“天眸芯”之前,清华大学类脑计算中心团队还在2019年凭借异构融合类脑计算“天机芯”登Nature封面。

顺便一提,与“天眸芯”同一天,清华还有一项研究登Nature。中国科学院院士、清华大学交叉信息研究院教授段路明带领研究组首次实现基于数百离子量子比特的量子模拟计算。

Nature审稿人称其是量子模拟领域的巨大进步。

论文链接:https://www.nature.com/articles/s41586-024-07358-4


北京有什么好的大学,最好给个排行榜...

北京高校拥有国家级重点学科排名1.清华大学 49个2.北京大学 81个3.人民大学 25个4.中国农大 19个5.北京师大 16个6.北京航空11个7.北京理工 11个北京高校一级博士点排名1.北京大学32个2.清华大学24个3.北京师大14个4.北京航空12 个4.人民大学 12个6.中国农大11个7.北京理工10个 (10个以上的比较牛)8.北京工业大学 68.北京科技大学 610.北京交通大学 411.北京林业大学 311.北京中医药大学 311.北京邮电大学 314.北京化工大学 215.北京外国语大学 1北京高校博士点总数(全部学科)排名:1.北京大学 195个2.清华大学 158个 (100以上的就这两所)3.北京师大 96个4.人民大学 73个5.中国农大44个6.北京航空44个7.北京理工43(40以上的为第二档次)8.北京交通28个(以下为第三档次)9.北京工业28个10.北京林业26个11.首都师范26个12.首都医科24个13.北京科技21个14.北京中医15个15.北京化工13个16.中央财经12个17.北京外语11个18.北京邮电11个19.中央民族11个北京高校博士后流动站排名1.北京大学27个2.清华大学23个3.北京航空11个3.北京理工11个5.中国农大10个5.北京师大10个7.人民大学 8个

清华大学文科社科这么差,理科也不如北大,只有工科很好,为何能与北大相并列?

……这,我是清华的。 我觉得评价一所学校不能只关注官方的排名,它的综合实力是体现在多方面的,比如科研成果,人才培养情况,校园环境,学术氛围,校园活动开展等等。 另外,在招生简章的分类上,清华目前还属于理工类大学,而北大则标明综合性大学。 清华最大的优势在于工科无可厚非,北大的工科相比之下还是有很大差距的。 但是清华一直有很明显的发展成为综合性大学的趋势,就近几年的情况来看,除工科外,无论是文、理、法,还是社科、经济甚至美术都迅速跻身全国最前列,从雄厚的师资力量上可见一斑,全国各领域的人才都汇聚于此,而且带有一批顶尖聪明的学生们,还是有着有非常巨大的发展潜力。 清华的发展历史稍逊于北大,而且发展过程中也历经磨难,但迄今为止,在诸多方面可以与北大一比高下的。 这个问题要客观地看待,不能单一的只看某一方面定下排名,两个学校这种局势未必是坏事,有竞争才有进步。

中国知网查重查脚注吗?

大概当今所有的研究生毕业论文都会经过中国知网的“学术不端检测”,即便最后不被盲审。 这个系统的初衷其实是很好的,在一定程度上能够对即将踏入中国科研界的硕士研究生们一个警示作用:杜绝抄袭,踏实学问。 但正所谓“世界万物,有矛就有盾”的哲学观,中国知网的这个“学术不端检测系统”并不是完善的。 原因有二,其一是目前的图文识别技术还不够先进;其二是目前的机器识别还达不到在含义识别上的智能化。 求索阁一贯的观点就是“战略上蔑视,战术上重视”和“知己知彼百战百胜”。 要破敌,必先知敌;要过学术检测这一关,当然必先了解这一关的玄机。 一、查重原理1、知网学位论文检测为整篇上传,格式对检测结果可能会造成影响,需要将最终交稿格式提交检测,将影响降到最小,此影响为几十字的小段可能检测不出。 对于3万字符以上文字较多的论文是可以忽略的。 对比数据库为:中国学术期刊网络出版总库,中国博士学位论文全文数据库/中国优秀硕士学位论文全文数据库,国重要会议论文全文数据库,中国重要报纸全文数据库,中国专利全文数据库,个人比对库,其他比对库。 部分书籍不在知网库,检测不到。 2、上传论文后,系统会自动检测该论文的章节信息,如果有自动生成的目录信息,那么系统会将论文按章节分段检测,否则会自动分段检测。 3、有部分同学反映说自己在段落中明明引用或者抄袭了其他文献的段落或句子,为什么没有检测出来,这是正常的。 中国知网对该套检测系统的灵敏度设置了一个阀值,该阀值为5%,以段落计,低于5%的抄袭或引用是检测不出来的,这种情况常见于大段落中的小句或者小概念。 举个例子:假如检测段落1有字,那么引用单篇文献500字以下,是不会被检测出来的。 实际上这里也告诉同学们一个修改的方法,就是对段落抄袭千万不要选一篇文章来引用,尽可能多的选择多篇文献,一篇截取几句,这样是不会被检测出来的。 4、一篇论文的抄袭怎么才会被检测出来?知网论文检测的条件是连续13个字相似或抄袭都会被红字标注,但是必须满足3里面的前提条件:即你所引用或抄袭的A文献文字总和在你的各个检测段落中要达到5%。 二、快速通过论文查重的七大方法方法一:外文文献翻译法查阅研究领域外文文献,特别是高水平期刊的文献,比如Science,Nature,WaterRes等,将其中的理论讲解翻译成中文,放在自己的论文中。 优点:1、每个人语言习惯不同,翻译成的汉语必然不同。 因此即使是同一段文字,不同人翻译了之后,也 不会出现抄袭的情况。 2、外文文献的阅读,可以提升自身英语水平,拓展专业领域视野。 缺点:英文不好特别是专业英文不好的同学实施起来比较费劲。 方法二:变化措辞法将别人论文里的文字,或按照意思重写,或变换句式结构,更改主被动语态,或更换关键词,或通过增减。 当然如果却属于经典名句,还是按照经典的方法加以引用。 优点:1.将文字修改之后,按照知网程序和算法,只要不出现连续13个字重复,以及关键词的重复,就不会被标红。 2.对论文的每字每句都了如指掌,烂熟于心,答辩时亦会如鱼得水。 缺点:逐字逐句的改,费时费力。 方法三:google等翻译工具翻译法将别人论文里的文字,用google翻译成英文,再翻译回来,句式和结构就会发生改变,再自行修改下语病后,即可顺利躲过查重。 优点:方便快捷,可以一大段一大段的修改。 缺点:有时候需要多翻译几遍,必须先由中文翻译成英文,再翻译成阿尔及利亚语,再翻译成中文。 方法四:转换图片法将别人论文里的文字,截成图片,放在自己的论文里。 因为知网查重系统目前只能查文字,而不能查图片和表格,因此可以躲过查重。 优点:比google翻译法更加方便快捷。 缺点:用顺手了容易出现整页都是图片的情况,会影响整个论文的字数统计。 方法五:插入文档法将某些参考引用来的文字通过word文档的形式插入到论文中。 优点:此法比方法四更甚一筹,因为该方法日后还可以在所插入的文档里进行重新编辑,而图片转换法以后就不便于再修改了。 缺点:还没发现。 方法六:插入空格法将文章中所有的字间插入空格,然后将空 格 字 间距调到最小。 因为查重的根据是以词为基础的,空格切断了词语,自然略过了查重系统。 优点:从查重系统的原理出发,可靠性高。 缺点:工作量极大,课可以考虑通过宏完成,但宏的编制需要研究。 方法七:自己原创法自己动手写论文,在写作时,要么不原文复制粘贴;要么正确的加上引用。 优点:基本上绝对不会担心查重不通过,哪怕这个查重系统的阈值调的再低。 缺点:如果说优缺点的话,就是写完一篇毕业论文,可能会死掉更多的脑细胞。 呵呵。 。 。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://srwj168.com.cn/keji312/15983.html
逆水寒手游2.0定档6月28 国奖CCTV卫星发射荣誉拉满
中日混动之争 比亚迪向左 钛度车库 丰田向右