新智元报道
编辑：LRST
【新智元导读】 现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题，传统偏好学习方法依赖可能不适配的外源数据，存在成本和质量问题。Calibrated Self-Rewarding（CSR）框架通过自我增强学习，利用模型自身输出构造更可靠的偏好数据，结合视觉约束提高学习效率和准确性。
多模态大模型展现出了多种多样的能力，这些能力都通过SFT和预训练从庞大的训练数据集中学习。
但是模态之间的简单对齐可能会使得模型存在幻觉，细粒度图像感知能力差等各种问题。
已有的多模态大模型对齐方案一般采用DPO，POVID等偏好优化方法，或是蒸馏 GPT-4等昂贵闭源模型的方式来提升模型能力。
这些方法大多需要外源模型数据，这些数据构造存在很多问题，一是需要昂贵的价格，二是缺乏质量和多样性的保证。
再者说，这真的适合需要提升模型本身的分布偏好吗？
在Calibrated Self-Rewarding Vision Language Models文中，通过模型自身输出概率证明了，外来模型构造的偏好数据可能不适合用于模型的偏好学习，相较于模型自身的response，外源模型所构造的数据模型自己说出的概率很小，简单来说对于偏好数据中的负样本模型并不会犯一样的错误，对于偏好数据中的正样本模型也不会讲出那么好的response。
这种偏好数据用于偏好学习可能会引入模型自身分布的偏差导致其他错误，同时因为模型自身说同样话的概率低，用这样的数据来偏好学习增强模型收益很小。
同时传统纯文本大模型领域的Self-rewarding范式存在一定缺陷。
在此前self rewarding提供reward的模型是模型自身，当模型自身无法准确分辨偏好、所具有的知识不够强大的时候，它所提供的反馈可能不够精准或者没用导致所更新的模型的分布无法向着目标分布更新。
为了解决上述问题，来自UNC ,芝加哥大学，UMD和罗格斯大学的研究团队提出了Calibrated Self-Rewarding（CSR），多模态大模型的自我增强因为会存在一个真实图像的参照，这会使得self-rewarding的过程更加可靠。
论文地址: https://arxiv.org/pdf/2405.14622
项目地址：https://github.com/YiyangZhou/CSR
项目页面：https://dongjie-cheng.github.io/CSR.html
整个Calibrated Self-Rewarding（CSR）框架如下：
1. 通过模型本身在beam search过程中的输出构造偏好数据对，过程中的奖励来自于校准的自我奖励：LVLM对于每句话的自我生成概率 + 结合视觉约束奖励，用于奖励校准。
2. 基于每一轮构造的偏好数据在线通过DPO迭代学习。
实验
CSR相较于数据驱动的偏好学习对齐方法和模型自我反馈的方法均有较大提升。
更值得注意的是，在CSR多轮在线迭代过程中，模型能逐步提升自我能力！可以看到在多个轮次中以LLaVA-1.5为例，模型在多个benchmark上的均分逐步提升。
同时也可以看到特别是幻觉，在多轮迭代中是逐步减少的：
同时CSR也适用于其他模型，例如Vila：
那么在Calibrated Self-Rewarding（CSR）的过程中究竟发生了什么呢？通过可视化经过CSR迭代前后模型自身的正样本和负样本输出可以发现，经过多轮CSR学习后，模型自身说出的回复会有更高的分数：这代表模型的response更加符合图像信息；同时负样本和正样本的gap更小：这说明模型所输出的负样本倾向于正样本，模型的误差和性能下界提升。
通过可视化attention可以看到，CSR能使得LVLM更加偏重于视觉模型，同时能缓解文本attention中存在的上下文依赖问题。
参考资料：
https://arxiv.org/pdf/2405.14622
临沂大学好吧51网是临沂大学学生自己经营的吗
好吧51网百科名片临沂大学好吧51网是于2010年11月份，经过临沂大学一学生团队长期的筹划和开发工作而正式成立的，网站秉承以服务广大学生的宗旨，力求为同学们提供最快捷的校内外资讯，给同学带来我们商业合作伙伴提供的最大优惠。 希望为同学们创造最便捷、最时尚的大学生活！好吧51网立足临沂大学，面向全市大学生，在提供本地化服务的同时，也努力辐射全国。 同时,好吧51网也为商业合作伙伴提供最准确的目标消费群体、最有效的市场营销效果以及客户关系管理等多方面、多层次的服务。 网站扫描网站名称：好吧51网 经营范围：网络外文名称：haoba51 经营性质：民营网站总部：中国临沂成立时间：2010年11月网站简介好吧51网主要包含贴吧和购吧两大部分，同时涵盖阅读分享、校内外最新资讯发布等内容。 在贴吧上，我们为大家提供一个展示个性和相互交流的平台，同时，也集成了信息获取以及发布等双向互动功能，并针对大学生进行了富有特色以及人性化的优化。 在购吧板块，主要是为同学们提供优质的团购服务，让同学们足不出户就可以享受到商业伙伴提供的最大的优惠。 在阅读分享上，网站收集最受现代大学生关注和最感兴趣的话题读物，竭力丰富大学生的精神生活。 在校内外资讯发布板块内容中，网站随时发布更新各种与学习生活息息相关的资讯，让同学们通过网站就能获得最新最重要的新闻资讯，同时，用户也可以通过网站免费发布各种类别的信息，让大学生活更加便捷！文化使命我们的目标：成为中国大学生活的优化者的领跑者致力于打造一个建立覆盖全国范围的大学生活服务平台，整合中国高校人力资源、信息资源、市场资源，面向中国三千万在校大学生，提供网络论坛、网络购物等便捷网络生活解决方案，为大学生提供最佳的生活服务平台。 我们的产品：个性服务，共同分享大学校区门户网系统，集成了大学生个人门户系统、论坛系统、团购系统等，是种全新的大学社区门户型网站。 好吧51网是专业为全国三千万大学生设计开发的，充分体现大学生的个性化、互动性、娱乐性、知识性，具有很强的市场竞争力和市场前景！ 我们的服务：绝对的专注和执行为同学们提供最快捷的校内外资讯，给同学带来合作伙伴提供的最大优惠。 希望为同学们创造最便捷、最时尚的大学生活！为商业合作伙伴提供最准确的目标消费群体、最有效的市场营销效果以及客户关系管理等多方面、多层次的服务。 我们的宗旨：让生活更好吧用户是我们永远的伙伴，人才是好吧的资本，我们将持续提供超越用户期望的产品和服务，让用户骄傲；持续提供超越加盟投资者期望的回报，让加盟投资者满意；持续提供超越员工期望的发展空间和报酬，让员工自豪。 为最好的大学生活而竭尽全力！
组织结构有哪些基本模型
一.直线职能结构特点: 这是最常见到的一种,无论是机关学校,企业,用的最多.组织特点是按照一定的专业分工,各级都建立职能机构作为担负计划,生产,人事,销售,财务等各方面的管理工作,分工比较专业,责任比较明确.管理人员也有指挥人员和职能人员所构成.优点: 这种结构只所以被广泛采用是因为有许多优点,如分工细,任务明确,职责界限明确,职责转椅,效率高等.缺点:其不利因素就是部门之间往往缺乏信息交流和全局观,容易各自为政.另外就是不利于培养全面的人才,手续复杂,反映也慢.适合管理不太复杂,产品构成相对较少的中小企业.二.事业部式特点:这是欧美,日本大企业所采用的典型组织形态.所谓事业部,就是一个企业对于具有独立的产品和市场,独立的责任和利益的部门实行分权管理的一种组织形态.它具有3个要素,独立的产品和市场,独立的责任和利益核算,独立的分权单位自主营.把政策制定和和行政管理分开.注意上层人员一定要拥有绝对的事业发展决策权,资金的有效分配权和人事安排权.优点:它使最高管理部门摆脱日常行政事务,成为有力的决策机制,并使各个部门之间充分的发挥自主性和适应性,有利于培养人才,同时由于加大了管理的跨度和管理面.缺点:对管理人员水平要求较高,管理成本也较高,集权和分权关系也比较难以介定,,只适合规模比较大和产品项目单位比较多的企业.三.矩阵式结构特点:是专门从事某项工作的工作小组形式发展而来的一种组织结构.具体又可分为二维矩阵和三维矩阵.优点:把任务所需要的各种人才集合起来,把所有人的目标统一起来,既发挥了团队作战的高校优势,又避免了陷入各自为政,单兵作战的管理误区,并且加强了组织之间的沟通协调和信息传递,把员工凝聚成了一个整体.对于大规模的企业较为实用.缺点:项目负责人的责任大于权利,造成权责难以对等.另外多重指挥的模式也很容易造成管理的冲突和人员配合问题的出现,还有相继衍生的责任模糊问题.这种结构使用于产品较多的且变化较多的组织,特别适用于以开发与实验项目为主的单位项目.
美赛控制页步骤没有确认可以提交论文吗？
可以，但是最好还是按着步骤来，以免错过一些重要信息。 相关简介：国大学生数学建模竞赛（MCM/ICM）由美国数学及其应用联合会主办，是唯一的国际性数学建模竞赛，也是世界范围内最具影响力的数学建模竞赛。 赛题内容涉及经济、管理、环境、资源、生态、医学、安全、等众多领域。 竞赛要求三人（本科生）为一组，在四天时间内，就指定的问题完成从建立模型、求解、验证到论文撰写的全部工作，体现了参赛选手研究问题、解决方案的能力及团队合作精神。 为现今各类数学建模竞赛之鼻祖。 MCM 始于 1985 年，ICM 始于 2000 年，由 COMAP（the Consortium for Mathematics and Its Application，美国数学及其应用联合会）主办，得到了 SIAM，NSA，INFORMS 等多个组织的赞助。 2019年，共有来自美国、中国、加拿大、英国、澳大利亚等17个国家和地区共支队伍参加，包括来自哈佛大学、普林斯顿大学、麻省理工学院、清华大学、北京大学、上海交通大学等国际知名高校学生参与此项赛事角逐。
