该文章的作者团队来自于哈工大社会计算与信息检索研究中心，作者团队构成：郑子豪、张梓涵、王泽鑫、付瑞吉、刘铭、王仲远、秦兵。
多模态表示
多模态命名实体识别，作为构建多模态知识图谱的一项基础而关键任务，要求研究者整合多种模态信息以精准地从文本中提取命名实体。尽管以往的研究已经在不同层次上探索了多模态表示的整合方法，但在将这些多模态表示融合以提供丰富上下文信息、进而提升多模态命名实体识别的性能方面，它们仍显不足。
本文，研究团队提出了，一个创新的迭代推理框架，它遵循“分解、优先、消除”的策略，动态地整合了多样化的多模态表示。该框架巧妙地将多模态表示的融合分解为层次化且相互连接的融合层，极大地简化了处理过程。在整合多模态信息时，该团队特别强调了从“简单到复杂”和“宏观到微观”的渐进式过渡。此外，通过显式地建模跨模态的相关性，研究团队有效地排除了那些可能对MNER预测造成误导的不相关信息。通过在两个公共数据集上进行的广泛实验，研究团队的方法已被证实在提升多模态命名实体识别的准确性和效率方面具有显著效果。本文为 LREC-COLING 2024 1558篇录用论文中的十篇最佳论文候选之一 。
动机
多模态命名实体识别的一个实例。研究团队展示了对于命名实体识别决策可能有用的多种多模态表示。人类通常在心中以迭代的方式处理这些信息。
为解决这一问题，研究团队从 复杂问题解决 （Sternberg 和 Frensch，1992）这一领域中获得灵感。该领域专注于研究人类和计算机在解决包含多个变量、不确定性和高复杂性的问题时所采用的方法和策略。首先他们认为，当面对复杂问题时，人类一般会采用迭代的处理方式，如图所示，研究团队在处理MNER时其实也是个迭代的过程。其次，人类会运用特定策略来简化这些问题，比如分解、优先排序和排除不相关因素。
该研究团队认为，将多模态命名实体识别（MNER）视为一个整合多模态信息的迭代过程，并运用这些策略，非常适合于MNER任务。与单一步骤的方法相比，多步骤的方法能够在迭代优化命名实体识别（NER）结果的过程中，更全面地利用多样化的多模态表示。
此外，这三种策略非常适合于多模态NER中多种表示的整合：
分解策略鼓励我们将多模态表示的融合拆分为更小、更易于处理的单元，这些单元能够在不同的粒度级别上探索多模态交互。
优先排序策略建议根据“由易到难”和“由粗到细”的顺序来整合多模态信息；这种渐进式的整合有助于MNER预测的逐步优化。这使得模型能够逐步将注意力从简单但粗糙的信息转移到复杂但精确的细节上。
不相关性消除策略启发我们显式地筛选并排除不同多模态表示中的无关信息；这可以消除那些可能影响MNER性能的无关信息。
方法
研究团队设计了一个迭代的动态融合多种多模态特征的多模态实体抽取框架，其包含一个迭代过程以及预测网络。
迭代建模MNER
实验结果
主实验
作者团队对比了MNER的一些典型的方法。实验结果表明该方法在两个常用的数据集上取得了最佳的性能。
消融实验
研究者分别去除了我们论文中关于优先级、层次化、以及消除的设计，来观察模型性能，结果表明移除各个设计均带来了性能的下降。
与静态特征融合方法的对比
他们对比了一些典型的静态多模态融合方法，例如最大池化，平均池化，基于MLP以及MoE的方法，结果表明他们所提出的动态融合框架能达到最好的性能。
典型样例分析
研究团队选取了两个有代表性的样例来表明迭代过程。可以看到最开始的迭代步骤里，time square和cubs的类型被错误地预测了；然而根据图片中的重要特征线索，迭代地修正为了正确的实体类型。
结论
本文旨在多模态命名实体识别（MNER）领域内，充分地发挥各种多模态表示的潜力，以期获得卓越的识别效果。为此，作者们设计并提出了一种创新的迭代推理框架——DPE-MNER。DPE-MNER通过将MNER任务分解为多个阶段，巧妙地简化了对这些丰富多样的多模态表示的整合过程。在这一迭代过程中，多模态表示依据“分解、优先排序和消除”的策略，实现了动态的融合与整合。通过一系列严谨的实验验证，研究团队充分展示了DPE-MNER框架的显著效果和优越性能。
参考文献：
[1] Knowledge Graphs Meet Multi-Modal Learning: Comprehensive Survey, arxiv
[2] Decompose, Prioritize, and Eliminate: Dynamically Integrating Diverse Representations for Multi-modal Named Entity Recognition,2024,Joint International Conference on Computational Linguistics, Language Resources and Evaluation
[3] Complex problem solving : Principles and mechanisms,1992, American Journal of Psycholog
[4] DiffusionNER: Boundary Diffusion for Named Entity Recognition, ACL23
[5] DiffusionDet: Diffusion Model for Object Detection, ICCV23
[6] Language-Guided Diffusion Model for Visual Grounding, arxiv23
哈尔滨工业大学深圳研究生院的办学规模
学院为研究生开设体系完善、结构合理的课程，保证学生的知识结构在纵向上的专业性和横向上的互补性，大部分课程采用双语授课或全英文授课，专业课与专业基础课使用国外一流原版教材。 学院还开设创业工程学等实践类课程，全力培养学生的创新和独立思维能力。 在为学生夯实专业基础和科研功底的同时，也十分重视学生的综合素质培养，坚持“创新、自立、合作”原则，推行“全人发展”的教育理念。 学院毕业生知识结构合理、思维体系创新，在人才市场中具备竞争优势，就业率达100%，遍布国内外著名高新技术企业、大型研究机构、高等院校。 未来五年内，通过深圳市政府和哈尔滨工业大学的共同努力，将哈尔滨工业大学深圳研究生院建设成为“哈尔滨工业大学（深圳）”。 哈尔滨工业大学（深圳）是在哈尔滨工业大学统一品牌、统一学术教学标准、统一管理的前提下，以培养全日制研究生、本科生为主的高等院校，经过若干年的努力，建设成为以理工科为主的“高精特”研究型大学。 现有全日制在校生近3000人，包括英才班本科生、硕士研究生、博士研究生，以及来自近20个国家和地区的近百名在校留学生，有全职教师174人、在站博士后123人。 现阶段，哈工大深圳研究生院正着力于筹备本科生教育建设，预计在2020年之前，未来的哈尔滨工业大学（深圳）全日制学生将达到9000人，其中本科生5500人，硕士研究生2700人，博士研究生800人。 哈尔滨工业大学（深圳）现有占地16.28公顷，总建筑面积12.72万平方米，包括教学楼、科研楼、行政办公楼、会议中心、活动中心、学生公寓、学生食堂等配套建筑。 另有在建教学科研楼2.6万平方米，学生公寓2.7万平方米。 未来规划总占地面积将达到33公顷，建筑面积18万平方米。 以特色求生存、以创新求发展、以贡献求支持，哈尔滨工业大学（深圳）遵循“规格严格，功夫到家”, 致力于以创新的办学思维践行高等教育改革，以丰硕的科技成果支撑社会经济发展，以国际化的教学科研环境培育高素质复合型人才，为国家经济、文化、教育事业做出哈工大人的应有贡献而努力奋斗。
武汉大学好还是清华大学好
清华大学好很多。 清华大学，国内高校中排第一。 清华大学，由中华人民共和国教育部直属，中央直管副部级建制，位列“211工程”、“985工程”、“世界一流大学和一流学科”，入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”，被誉为“红色工程师的摇篮”。
哈尔滨工业大学 威海的光信息科学与技术专业好吗
这个专业挺不错的，全校师资最强的专业，一年招50多个学生，但是老师却有30多个，有一半是博士后。 专业课老师必须具有博士学位才能上讲台。 哈工大（包括哈尔滨）总共5个科技创新团队，其中光子技术创新团队在威海校区。 去年该专业考研录取率54%，其中90%被清华大学、中科院、哈工大录取。 就一个人因为自己不学习挂了好多科没就业，其他的月薪都在3500以上。 我认为很不错的，而且从今年开始这个系进行了改革，去掉了物理的好多课程加了好多信息、通信方面的课程，现在更有竞争力了。
