除了OpenAI自己，居然还有别人能用上 GPT-4-Base 版？？
也就是未经微调的预训练版，还不会对话聊天，只会补全句子的模型。
（瑞士洛桑联邦理工）团队申请到了访问权限，用于研究 “上下文学习足以让大模型跟随指令吗？” 。
也就是不用监督微调、也不用RHLF或其他强化学习对齐方法， 只靠提示词能走多远？
预训练模型，究竟能不能一步登天，直接改造成聊天机器人或AI助手？
如果可行，将大大降低类ChatGPT大模型的开发难度。
免微调对齐靠谱吗？
免微调对齐，让刚出炉的预训练模型不止会“文本补全”，只从提示词中学会和用户对话、跟随指令，一直是业界关注的研究方向。
目前的SOTA方法来自艾伦研究所，使用系统提示词+少数风格示例就能达到不错的效果。
但EPFL团队发现，URIAL仍无法完全弥补与指令微调模型的差距，尤其在多轮对话中的表现更差一些。
实验中，在Llama系列、Mistral系列和一般人接触不到的GPT-4-Base都观察到这种现象。
其中GPT-4-Base的API访问权限从OpenAI Researcher Access Program项目中申请到。
EPFL团队从这里出发，尝试了各种办法来提升上下文学习的效果。
首先他们 增加示例的数量 ，但发现帮助不大，没有随着例子数目增加性能就提升的趋势。这一点跟图像分类、机器翻译等任务还不太一样。
然后他们使用了 贪心搜索 算法，从一大堆示例中选择最佳的添加到上下文。
这种方法可以进一步提高性能，但与指令微调模型的差距仍然存在，特别是在 AlpacaEval 2.0基准测试中。
此外他们还发现，贪心搜索为某个特定模型找到的最佳示例，对于其他模型不能可靠地迁移。
也就是说， 不同的示例适合不同的模型 。
团队还进行了一系列消融实验，以更多地了解上下文学习的工作原理。
他们发现，在MT-Bench这样的综合评测中，示例包含 正确的“问题-答案对”至关重要 。
这与此前大模型在分类任务中，只要有大量示例，部分标签错了也无所谓的发现非常不同。
所以最终得出的结论是：t即使采用更多复杂的改进方法，完全缩小上下文学习和指令微调之间的差距也有挑战，即使对于非常长上下文的大模型也是如此。
论文最后分析，大语言模型可能通过上下文学习只学会了如何模仿例子里的回答风格，但还没有真正理解执行指令的逻辑。
指令跟随任务相对还是比较复杂和开放的，没那么容易掌握。
目前来看，想让AI助手更“听话”，暂时还是很难有捷径可走。
论文地址：
https://arxiv.org/abs/2405.19874
参考链接：[1]https://x.com/maksym_andr/status/1796574297894318136
— 完 —量子位 QbitAI · 头条号签约关注我们，第一时间获知前沿科技动态
如何将MBR分区转换成GPT分区模式
将MBR分区转换成GPT分区模式的具体步骤如下：我们需要准备的材料分别是：电脑、想改为GPT分区表模式的目标盘。 1、首先我们打开运行，点击输入框输入“cmd”，之后回车。 2、然后我们在弹出来的窗口中输入“diskpart”。 3、由于将转换的是磁盘2，于是我们输入命令“select disk=2”。 4、之后我们点击输入“convert gpt”回车确定即可。
chatGPT是什么？
chatgpt是OpenAl开发的一个大型预训练语言模型，通俗一点说就是一个聊天机器人。 它是GPT-3模型的变体，ChatGPT经过了训练，可以根据接收到的输入生成类似人类的文本响应，具有更自然、更多样化的特点。 用户可以向它提出无数问题，而且通常会得到有用的答案。 GPT英文全称为Generative Pre-trained Transformer（生成式预训练转换器），是一种基于互联网可用数据训练的文本生成深度学习模型。 ChatGPT“脱胎”于OpenAI在2020年发布的GPT-3，后者是目前训练参数量最大的AI模型，当时发布后便引发了广泛的关注。
硬盘分区工具怎样将系统硬盘改为gpt
具体步骤如下：1. 运行软件后，在软件中选中需要转换为GPT的硬盘，然后点击菜单“硬盘”并选择“转换分区表类型为GUID格式”。 2. 在弹出的窗口上点击“确定。 3. 点击左上角的“保存更改”按钮，让转换生效。
