新智元报道
编辑：alan
【新智元导读】 最公平的大模型基准测试诞生了！来自LLM竞技场，最接近人类偏好，数据新鲜、速度快、成本低，严格分离学渣和学霸。
大模型排行榜哪家强？还看LLM竞技场~
截至此刻，已有共计90名LLM加入战斗，用户总投票数超过了77万。
然而，在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时，
人家竞技场背后的组织LMSYS，已经悄悄完成了成果转化：从实战中诞生的最有说服力的基准测试——Arena-Hard。
而Arena-Hard所展现出的四项优势，也正是当前的LLM基准测试最需要的：
中译中一下就是，首先这个大模型的考试要有区分度，不能让学渣也考到90分；
其次，考试的题目应该更贴合实际，并且打分的时候要严格对齐人类偏好；
最后一定不能泄题，所以测试数据要经常更新，保证考试的公平；
——后两项要求对于LLM竞技场来说，简直像是量身定做。
我们来看一下新基准测试的效果：
上图中将Arena Hard v0.1，与之前的SOTA基准测试MT Bench进行了比较。
我们可以发现，Arena Hard v0.1与MT Bench相比，具有更强的可分离性（从22.6%飙升到了87.4%），并且置信区间也更窄。
另外，看下这个排名，与下面最新的LLM竞技场排行榜是基本一致的：
这说明Arena Hard的评测非常接近人类的偏好（89.1%）。
——Arena Hard也算是开辟了众包的新玩法：
网友获得了免费的体验，官方平台获得了最有影响力的排行榜，以及新鲜的、高质量的数据——没有人受伤的世界完成了。
给大模型出题
下面看下如何构建这个基准测试。
简单来说，就是怎么从竞技场的20万个用户提示（问题）中，挑出来一些比较好的。
这个「好」体现在两方面：多样性和复杂性。下图展示了Arena-Hard的工作流：
总结一波：首先对所有提示进行分类（这里分了4000多个主题），然后人为制定一些标准，对每个提示进行打分，同一类别的提示算平均分。
得分高的类别可以认为复杂性（或者质量）高——也就是Arena-Hard中「Hard」的含义。
选取前250个得分最高的类别（250保证了多样性），每个类别随机抽2位幸运提示，组成最终的基准测试集（500 prompts）。
下面详细展开：
多样性
研究人员首先使用OpenAI的text-embedding-3-small转换每个提示，使用UMAP减少维度，并使用基于分层的聚类算法（HDBSCAN）来识别聚类，然后使用GPT-4-turbo进行汇总。
复杂性
通过下表的七个关键标准来选择高质量的用户查询：
对于每个提示，使用LLM（GPT-3.5-Turbo、GPT-4-Turbo）标注其满足了多少个标准（打分0到7），然后，计算每组提示（聚类）的平均分数。
下图展示了部分聚类的平均分排序：
我们可以观察到，得分较高的聚类通常是比较有挑战性的主题（比如游戏开发、数学证明），而分数较低的聚类则属于琐碎或模棱两可的问题。
有了这个复杂性，就可以拉开学霸与学渣之间的差距，我们看下面的实验结果：
在上面的3个比较中，假设GPT-4比Llama2-70b强、Claude的大杯比中杯强，Mistral-Large比Mixtral强，
我们可以看到，随着（复杂性）分数的增加，更强的模型的胜率也在提高——学霸获得区分、学渣获得过滤。
因为分数越好高（问题越复杂），区分度越好，所以最终选取了250 个平均得分>=6分（满分7分）的高质量分类。
然后，随机抽取每个类别的2个提示，形成了这版基准测试—— Arena-Hard-v0.1。
判卷老师靠谱吗？
试卷出完了，谁来判卷是个问题。
人工当然是最准的，而且因为这是「Hard模式」，很多涉及领域知识的问题还需要专家前来评估——这显然不行。
那么退而求其次，选择目前公认的最聪明的模型GPT-4来当判卷老师。
比如上面的那些图表中，涉及打分的环节，都是交给GPT-4来做的。另外，研究人员使用CoT提示LLM，在做出判决之前先生成答案。
GPT-4 判出的结果
下面使用gpt-4-1106-preview作为判断模型，用于比较的基线采用gpt-4-0314。
上表中比较并计算了每个模型的Bradley-Terry系数，并转换为相对于基线的胜率作为最终分数。95%置信区间是通过100轮引导计算得出的。
克劳德表示不服
——我Claude-3 Opus也是排行榜并列第一啊，凭啥让GPT当判卷老师？
于是，研究人员比较GPT-4-1106-Preview和Claude-3 Opus作为判卷老师的表现。
一句话总结：GPT-4是严父，Claude-3是慈母。
当使用GPT-4打分时，跨模型的可分离性更高（范围从23.0到78.0）。
而当使用Claude-3时，模型的得分大多都提高了不少：自家的模型肯定要照顾，开源模型也很喜欢（Mixtral、Yi、Starling），gpt-4-0125-preview也确实比我更好。
Claude-3甚至爱gpt-3.5-0613胜过gpt-4-0613。
下表使用可分离性和一致性指标进一步比较了GPT-4和Claude-3：
从结果数据来看，GPT-4在所有指标上都明显更好。
通过手动比较了GPT-4和Claude-3之间的不同判断示例，可以发现，当两位LLM意见不一致时，通常可以分为两大类：
保守评分，以及对用户提示的不同看法。
Claude-3-Opus在给分时比较宽容，给出苛刻分数的可能性要小得多——它特别犹豫是否要宣称一个回答比另一个回答「好得多」。
相比之下，GPT-4-Turbo会识别模型响应中的错误，并以明显较低的分数惩罚模型。
另一方面，Claude-3-Opus有时会忽略较小的错误。即使Claude-3-Opus确实发现了这些错误，它也倾向于将它们视为小问题，并在评分过程中非常宽容。
即使是在编码和数学问题中，小错误实际上会完全破坏最终答案，但Claude-3-Opus仍然对这些错误给予宽大处理，GPT-4-Turbo则不然。
对于另外一小部分提示，Claude-3-Opus和GPT-4-Turbo以根本不同的角度进行判断。
例如，给定一个编码问题，Claude-3-Opus倾向于不依赖外部库的简单结构，这样可以为用户提供最大教育价值的响应。
而GPT-4-Turbo可能会优先考虑提供最实用答案的响应，而不管它对用户的教育价值如何。
虽然这两种解释都是有效的判断标准，但GPT-4-Turbo的观点可能与普通用户更接近。
有关不同判断的具体例子，参见下图，其中许多都表现出这种现象。
局限性测试
LLM喜欢更长的回答吗？
下面绘制了在MT-Bench和Arena-Hard-v0.1上，每个模型的平均token长度和分数。从视觉上看，分数和长度之间没有很强的相关性。
为了进一步检查潜在的冗长偏差，研究人员使用GPT-3.5-Turbo对三种不同的系统提示（原始、健谈、详细）进行了消融。
结果表明，GPT-4-Turbo和Claude-3-Opus的判断都可能受到更长输出的影响，而Claude受到的影响更大（因为GPT-3.5-Turbo对GPT-4-0314的胜率超过40%）。
有趣的是，「健谈」对两位裁判的胜率影响不大，这表明输出长度不是唯一的因素，更详细的答案也可能受到LLM评委的青睐。
实验使用的提示：
GPT-4 判断的方差研究人员发现，即使温度=0，GPT-4-Turbo仍可能产生略有不同的判断。
下面对gpt-3.5-turbo-0125的判断重复三次并计算方差。
由于预算有限，这里只对所有模型进行一次评估。不过作者建议使用置信区间来确定模型分离。
参考资料：
https://lmsys.org/blog/2024-04-19-arena-hard/
WUSTL,USC哪个学校LLM好？
安全：Wustl治安较差，尤其今年的Ferguson案件之后，黑人冲突不断。 USC治安较好；费用：USC>Wustl。 USC学费比较贵，生活费也高。 排名：USC>Wustl。 位置：USC位于加州洛杉矶，较发达，华人也多，找实习比较容易。 而且各种Chinatown，中国美食特别多。 不得不说华人在加州是很强势的。 个人学历提升：你是CUPL的，本科学历已不错，这两间在这方面对你没什么差别。 不过许多人对USC评价不高，Party school，似乎学风不浓，但我觉得这个看个人啦。 USC常年处专业排名18，说明一定实力。
美国硕士留学的申请条件及费用是什么？
硕士生去美国留学的条件： 1、美国硕士留学：标准化考试成绩申请美国的研究生，必须参加托福或者雅思考试，其中托福成绩在美国的适应性更广。 这个是针对国际学生的语言能力测试。 除了这一测试外，考试准备最重要的是知识能力的测试，即大家所熟知的GRE或者GMAT考试，GRE是申请理、数、工等专业的必备考试，每年只有6月和10月两次考试，即使对有相当英文基础的学生而言，要考出理想成绩(1350-1500)也不是容易的事情，需要充分的准备时间，良好的英文知识、技巧和宽泛知识面。 而GMAT，是申请MBA和商科硕士的必要考试。 这一考试虽然每月都有，但也需要有良好的英文应用技能外，在商业管理知识、经验有相当的积累，那么才能把GMAT这门考试考试700 分以上的理想分数。 牙科专业要求DAT成绩，医科专业要求MCAT成绩，法律专业要求 LSAT成绩等。 但也有些美国大学对于申请研究生课程的学生不要求GRE或GMAT成绩。 当然部分院校还提供无语言双录取项目。 2、美国硕士留学：学术能力这一点分两个方面：1)、指学生的本科成绩，尤其是专业课成绩部分，所以学生需要特别注意整个大学期间的学术表现。 通常入读名校学生的GPA平均3.5-3.8。 2)、学生的科研能力，比如与专业相关的项目课题研究经历，实践经历、学术论文的发表等。 3、美国硕士留学：重量级的推荐信在研究生阶段推荐信是比较重要的，学校希望通过你周边熟悉了解你的人来全面了解你的能力、性格、品质。 尤其是申请读博士的学生，推荐信是非常有份量的材料。 所以需要找有说服力、有份量的人来写。 4、美国硕士留学：优质的文书想申请美国硕士留学名校，提供优质的文书是一个比较基础的要求，文书中需要展现你对某一专业的看法、观点、需要有明确的职业规划，如果自己都不知道为什么要学这个专业或学了想干什么的人，应该不是名校所需要的。 5、美国硕士留学：个人特长名校不希望招收一群都只善长学习、非常同类的学生，所以如果您除了以上几点以外，还有与众不同的个人特长，一定也会受名校的亲昵。 6、美国留学硕士费用要多少美国的硕士学习时间从一年到两年不等，也分终结硕士学位(职业性硕士学位)和研究性硕士学位。 对于终结硕士学位，时间一般是一年到一年半，学费生活费加起来，每年在2.5-5万美金之间。 比如对于大部分商科硕士(MBA除外)，法律硕士(LLM)，一般都是一年就可以获得硕士学位，相对节约时间成本和留学费用(一年在18-35万人民币之间)。 而理工科的学位需要区分是研究型还是职业型，职业型的硕士学位学习时间也有1年到1年半的。 美国留学费用一直大概在18万-25万左右，但是留学的奖学金也比较多。 原文来源：
波士顿评分
展开全部以下是美国法律研究生申请要求1.语言考试：美国大学唯一的标准化考试就是toefl成绩。 由于专业本身的特性，大部分LLM专业的TOEFL录取最低要求都是100分(部分学校还有单项要求，特别是口语要求一般高于20分)，而TOP14法学院的平均录取分数更是在110分左右。 同样是法学专业，LLM与JD相比较有不小的差别。 最大的区别是申请JD需要LSAT成绩，而LLM只需要TOEFL。 从就读角度来说，JD签证难，一般是3年制且奖学金不多，而LLM相对好些。 但就从业和学术角度来说，JD的含金量远远高于LLM。 2.申请方式：对于LLM的申请，有个专门的叫LSAC的，很多学校明确要求要通过这个来申请，像NYU，有些学校建议通过LSAC申请，像DUKE,UVA。 LSAC要求学生把成绩单包括托福成绩全部寄到他们，然后由他们直接把TOEFL和评估好的GPA发送给学校。 开成绩单时，注意要开排名证明，如无排名证明也要开一份相关说明性文件，解释本科院校不做排名，说明学校的评分体系，评分标准，在班级和系里的排名及参与排名的人数，其实也就是学校要同个这个陈诉更加清楚的了解学生在学校的学习情况。 大部分法学院申请都要求通过LSAC，这个会对学生的本科成绩单进行评估，然后通过LSAC直接进行网申和交费，也有一些学校表示如果不想通过LSAC申请也可以在学校进行网申或纸申。 3.申请难度：GPA是录取的另一个可以量化的标准，一般申请者的GPA在3.5左右，而很多顶尖法学院录取平均GPA更是达到3.6-3.8之间，竞争十分激烈。 除了标准化成绩，各种相关经历也不可或缺。 法院、检察院、律所的相关实习经历，各种社会调查和实践，法律援助活动，法律学术交流活动等等都作为大学评判申请者的标准。 由于每位申请者的经历和关注点各不相同，建议申请人根据自己的特点选择申请切入点。 。 4.费用去美国读LLM专业一般只需要1年学习时间(部分大学是9个月)，修完4到8门专业课程并完成论文。 然而，美国LLM专业的学费也相对较贵，大部分学校的学费在5~6万美元一年，加上各地的生活费不等(以NY和LA最贵)，总共的花费估计在50万人民币左右，LLM费用每年都在增长，基本上每年的增长率为10%。 对于国际学生来说，LLM基本没有奖学金，所以每一个申请人必须抱定自费的打算。
