新智元报道
编辑：alan
【新智元导读】 近日，又一惊人结论登上Hacker News热榜：没有指数级数据，就没有Zero-shot！多模态模型被扒实际上没有什么泛化能力，生成式AI的未来面临严峻挑战。
生成式人工智能已经触及峰顶了吗？
在大模型正火的时候提这个问题，似乎不合时宜。
毕竟，随着数据和模型规模的增大、计算能力的增加，我们似乎不再怀疑拥有超强人工智能的未来。
——但是！来自University of Tübingen、剑桥和牛津大学的最新研究，用实验告诉我们：没有指数级数据，就没有Zero-shot！
论文地址：https://arxiv.org/pdf/2404.04125
换句话说，模型要想达到AGI水平，所需的训练数据量是我们无法提供的。
根据实验数据，模型未来的性能提升将越来越缓慢，最终会因为拿不到指数级的数据而触及瓶颈。
——所以，你以为大模型真的实现了zero-shot，真的在吸收和记忆的基础上，涌现了推理甚至创新，实际上都是人家见过千万次，早已倒背如流的答案。
你以为是素质教育出英才，其实人家走的是题海战术、应试教育路线。
Youtube上239万订阅的Computerphile频道，根据这篇文章的结果发表了类似的看法和担忧，立时受到广泛关注。
视频地址：https://www.youtube.com/watch?v=dDUC-LqVrPU
对数魔咒
当前，由于大模型展现出的zero-shot learning能力，人们乐观地预计大模型的性能可以相对于训练数据呈指数级增长，——这也是人们对AGI抱有期望的原因。
就算再退一步，两者呈线性关系，我们也能接受，毕竟只要多花时间、多花钱、多喂数据，到达了某个临界值之后，大模型就将无所不能。
但是，这篇论文指出，实际上训练数据（样本或概念的数量）和性能（在下游任务上对应概念的表现）呈对数关系。
也许现下的模型还能在一段时间内快速提升，但以后会越来越难，付出的代价也会越来越大，
——比如万亿token换来1%的性能，比如GPT-5,6,7的性能可能没啥差别。
文章通过大量的实验得到了类似的数据和图表，
这些曲线的走向一致，证明了在当前的情况下，无论用什么样的训练方法、什么样的数据集、执行什么样的下游任务，都难逃对数关系的魔咒。
而且，虽然这篇工作针对于多模态模型，但LLM也会有相同的问题，比如我们熟知的幻觉就是一种表现形式，面对训练数据中没有的东西，LLM就开始胡编。
另一方面，训练数据的分布往往都是不均匀的，有些种类的数据频度高，那么对应到推理结果上的表现自然就好。
这种情况被称为长尾分布（Long-Tail Distribution），指在分类任务中，训练数据的分布呈现长尾形状，少数类别拥有大量样本，而大多数类别只有很少的样本。
这种现象在现实世界中很常见，也就加剧了前面提到的指数级数据的难题。
当下模型的训练数据主要来自于互联网，咱也不知道数据是不是已经被吃得差不多了，反正这种指数级关系总会有无法满足的一天。
未来，我们可能需要「something else」，比如新的方法、新的数据表示、或者是不同于Transformer的新架构。
网友热议
除了油管上一天23万的播放量，Hacker News上也是热闹非凡。
「这感觉像是当前人工智能炒作的最坏结果」。
网友表示，我们基本上已经把整个互联网都喂给模型了，这几乎是目前能得到的最大的数据集，而且由于AI生成的废品数据也在不断进入互联网，以后可能也不会有更大更好的数据集了。
给大模型喂这些数据花费了数十亿美元，却只得到了有一些用处，又没有太大用处的人工智能。——如果这些人力物力财力花在别的地方，我们可能会过得更好。
对于人工智能产生废品数据所带来的影响，网友们表示赞同。
也有网友认为，数据还是有的，但是很多人正在利用技术手段，拒绝人工智能爬取自己的数据。
「这意味着谷歌搜索变得更糟，生成式AI变得更糟，互联网变得更糟」。
还有网友表示，相比于互联网上那点数据，现实世界要复杂几个数量级。
不过，对于Computerphile在视频中表达的略显悲观的结论，有大佬表示质疑。
前谷歌高级工程师、现任RekaAI CMO的Piotr Padlewski认为：
「我认为没有人期望LLM能在zero-shot的情况下证明出P=NP，可能发生的情况是利用Agent找到所有相关文件并从中学习。」
「首先需要开发更好的算法和智能体，但我们也需要更好的基础模型。」
没有指数级数据，就没有Zero-shot
目前，人们对于AI发展的一个主要争论是，规模的扩大能带来真正的泛化能力吗？看了一辈子猫狗的大模型真的能认识大象吗？
——大模型的zero-shot似乎已经为自己正名。
不需要在训练集中出现某个分类的样本，凭借已经学到的语义信息，就可以识别从来没有见过的类别。
比如下面这个例子，模型在之前的训练中学到了马的形状、老虎的条纹和熊猫的黑白色，
这时你再告诉模型：斑马长得像马，并且有黑白相间的条纹，模型就可以在从没有见过斑马的情况下对其进行分类。
当前，CLIP模型是零样本图像识别，和图像文本检索的事实标准，而Stable Diffusion则是零样本文生图的事实标准。
CLIP：把文本decoder和图像decoder（VIT）对应到同一个嵌入空间
——不过这种zero-shot的泛化能力，究竟在多大程度上是靠谱的？或者说：这种能力的代价是什么？
实验
为了回答这个问题，研究人员决定用实验数据说话。
首先，问题涉及两个主要因素的比较分析：
研究人员从涵盖分类、检索和图像生成的27个下游任务中，提取出4029个概念，根据这些概念来评估模型性能。
评估指标
对于分类任务，计算平均零样本分类精度。对于检索，使用文本到图像和图像到文本检索任务的传统指标来评估性能（Recall@1，Recall@5，Recall@10）。
而在文生图这边，评估包括图像-文本对齐和美学分数（aesthetic score）。
使用预期和最大CLIP分数来衡量图像-文本对齐，并使用预期和最大美学分数来衡量美观度。
在以上的16个图中，我们可以观察到概念频率和zero-shot性能之间，存在明显的对数关系。
实验考虑了多个不同的维度：
而结果表明，对数线性缩放趋势在所有七个实验维度上都持续存在。
因此，CLIP和Stable Diffusion等多模态模型令人印象深刻的zero-shot性能，在很大程度上归因于其庞大的预训练数据集，而并不是真正的零样本泛化。
恰恰相反，这些模型需要一个概念的数据呈指数级增长，才能以线性方式提高它们在与该概念相关的任务上的性能，——极端的样本低效率。
参考资料：
https://arxiv.org/abs/2404.04125
我想买指数基金，但是我看了一下全都是股票指数基金，就没有纯粹的指数基金吗？
股票指数基金包含指数基金呀，纯粹的指数基金当然有呀。 1.国内代表型的指数基金：宽基指数：上证50，沪深300，中证500，创业板，红利指数，基本面指数，央视50，50AH，红利机会等。 行业指数：行业指数又被称为窄基指数，像宽基指数包含了各行各业，并不限制行业，而窄基指数对行业有一定的要求。 根据标普和摩根士丹利在2000年联合推出的全球行业分类标准，分为10个一级行业，24个二级行业，和67个子行业，并建立了行业指数（我国也是按照这个标准进行划分）。 最主要的10个一级行业分别是：材料：金属、采矿、化学制品等可选消费：汽车、零售、媒体、房地产等必须消费：食品、烟草、家具等能源：能源设备与服务、石油、天然气等金融：银行、保险、券商等医药：医疗保健、制药、生物科技等工业：航空航天、运输、建筑产品等信息：硬件、软件、信息技术等电信：固定线路、无线通信、电信业务等公共事业：电力、水等这10个行业都是社会不可或缺的组成部分。 2.中国香港的代表性指数基金：恒生指数、国企指数（H股）3.国外的代表性指数基金：美国：纳斯达克100指数、标普500指数德国：DX30指数境内指数基金7只，分别是深证红利、基本面50、中证红利、中证消费、央视财经50、中证500和沪深300，排名分前后；境外指数基金3只，分别是纳斯达克100、标普500和恒生指数，排名分先后。 如果只定投1只基金，那就是深证红利；如果只定投2只基金，那就是深证红利+基本面50；如果只定投3只基金，那就是深证红利+基本面50+中证红利；如果只定投4只基金，那就是深证红利+基本面50+中证红利+纳斯达克100；如果只定投5只基金，那就是深证红利+基本面50+中证红利+中证500+纳斯达克100；如果只定投6只基金，那就是深证红利+基本面50+中证红利+中证500+沪深300+纳斯达克100；如果只定投7只基金，那就是深证红利+基本面50+中证红利+中证500+沪深300+纳斯达克100+标普500；你可以从中选择适合你的指数基金投资
《指数型组织》简书
指数型组织——撬动世界的新杠杆 指数型组织 ：指在运用了高速发展的技术的新型组织的方法的帮助下，让影响力（或产出）相比同行发生不成比例的大幅增长的组织（至少10倍）。 根基 ：信息技术，将原本的实体去物质化，转变成需求最大的数字世界中的东西。 一、指数型组织的前世今生 世界500强作为企业界的指示标，1920年的平均寿命是67岁， 2015年平均寿命只有12岁。 这就意味着，曾经的老牌大公司逐渐被新兴公司取代，其间的根本原因在于传统的线性思维被指数型思维打得一败涂地。 1、颠覆一切的信息技术 正在“信息化”的一切：指数级增长已成为主流，线性模型不再适用； 现代经济建立了以信息为基础的新范式。 2、线性的诺基亚VS指数的谷歌 诺基亚斥资81亿美元收购Navteq，谷歌却以11亿美元买下了Waze。 Navteq耗费巨大财力在街道两边埋了大量的传感器，以获取街道信息。 Waze的策略是利用其用户手机上的GPS传感器来获取交通信息。 Navteq是线性思考的经典范例，Waze则是指数型思考的典型代表。 指数型思维最经典的理论当数“ 摩尔定律 ”：就是集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。 这样每一次更新就是一种指数级的累积，类似于数学的幂次曲线。 线性思维造就线性组织；大型矩阵型组织难以应对高速或颠覆性的变化；指数型组织是最有希望的组织，更擅长利用基于信息的外部因素。 二、指数型组织的11个属性 MTP：崇高而热切的目标 ——指数型组织最重要的属性 Massive Transformative Purpose宏大变革目标。 举例：谷歌的口号是“管理全世界的信息”，Quirky的理想是“让发明触手可及”，樊登读书会的使命是“帮助3亿国人养成阅读习惯”。 在我们创业时候的发心很重要，你想为这个世界带来一些什么样的变化，把这个东西用MTP的方式描述出来。 它既包含了足够的宏大，又有着变革的思想，同时是一个伟大的目标 ，它能帮助你吸引一些志同道合者和你一起推动这个目标前进。 指数型组织的5大外部属性 （SCALE）—— 有利于组织的快速扩张外部属性1：随需随聘的员工（Staff on Demand） ，聘用灵活的外包团队，取代传统的岗位聘任制 对时下公司而言，拥有永久性的员工充斥着越来越多的风险。 而外部的临时劳动力可以保持更新，以填补专业能力的空缺，降低用人成本。 掌阅电子书，需要将大量的纸质书转化为电子书，如果招聘专职员工来做，势必花费巨大。 掌阅的解决办法就是建立一个工作平台，雇佣兼职大学生来做，如果作品审核合格，掌阅就会打款给他，这样既保证了质量，同时也节省了成本。 外部属性2：社群与大众（Community&Crowd） ，把一大群充满热情的专业技能爱好者组成社群 一般而言，围绕指数型组织建立一个社群需要经历以下三个步骤： ①利用MTP来吸引早期成员参与：MTP是将成员吸引到轨道上的一股强大的力量。 特斯拉、TED等均是个中翘楚。 ②培育社群：培育的要点包括倾听和反馈。 ③创建一个平等参与和自动化的平台：如Airbnb的房东和用户会都会填写评价表格。 外部属性3：算法（Algorithms） ，获取海量的数据 当今世界的发展很大程度上要依赖算法，优步也好，Airbnb也好，其快速增长的最大功臣当属算法。 所谓算法即HVVBH，即首先收集数据；再组织这些数据；然后开始应用这些数据，从中找出关键点，归纳潮流风向；最后释放这些数据，让它变成一个平台，利用开放数据，开发出有价值的服务和新的功能。 外部属性4：杠杆资产（Leveraged Assets） ，取代实体资产 优步并没有自己的车，但是它可以通过平台让全世界的车为它赚钱；Airbnb并没有自己的房间，但它可以通过平台让家家户户把多余的房间贡献出来，这就是杠杆资产。 所以任何一个指数型组织最重要的东西，都不是实体资产，而是数据。 其他的都可以通过外包或杠杆资产来实现。 外部属性5：参与（Engagement） ，采取巧妙的方法让用户参与进来 参与会创造出超大范围的网络效应和积极的反馈回路，从而提高用户的忠诚度，或将大众转变成社群，还可以借助市场的宣传力量等。 指数型组织的5大内部属性（IDEAS）—— 仔细而高效的管理内部属性1：用户界面（Interface） 用户界面是指指数型组织连接和管理SCALE外部属性的过滤和匹配过程。 良好的用户界面，是组织扩张的重要条件。 在我们的生活中，优步、淘宝、大众点评等用户界面都非常友好，操作简单便捷。 内部属性2：仪表盘（Dashboards）—— 衡量和管理组织的工具 实时显示关键指标信息的仪表盘，能够让组织内部的每一个人都能了解关键信息。 这就需要在公司的运营中嵌入度量指标，并进行实时跟踪。 例如：OKR工作法内部属性3：实验（Experimentation） ，通过实验实现快速迭代 扎克伯格认为“最大的风险就是不承担任何风险”，持续不断地实验是如今唯一可行的降低风险的方法。 无论在何种行业和组织中，经过适当筛选的、许多自下而上的创意，总是比自上而下的思维方式更为优秀。 在理想的情况下，指数型组织应该是双管齐下，即创意自下而上产生，而支持则是自上而下。 内部属性4：自治（Autonomy） 在遵循MTP的情况下，实现员工高度自治，这种组织风格可以创造社交化、开放和信赖的文化，带来了更愉悦的员工团队。 要实行员工自治，就要求要有伟大的愿景，及时反馈的能力以及每天仪表盘上的OKR数据展示。 内部属性5：社交技术（Social Technologyies） 社交技术由7个关键元素组成：社交对象、活动流、任务管理、文件共享、远程交流、虚拟世界、情感感应。 在实现这些元素后，我们就能创造出透明性和连通性，降低组织的信息延迟，而后者是至关重要的。 其终极目标就是高德纳提出的零延迟企业（zero latency enterprise），即构思、接受和实现三者之间不浪费任何时间的公司。 实现更快的对话、更短的决策周期、更快的学习能力、还有更稳定的团队，产生极高的投资回报率。 指数型组织形成的9大驱动因素 因素1：信息让一切变得越来越快 在一个又一个行业里，产品和服务的开发周期正在不断缩短。 现在许多产品都会以未完成版和测试版姿态提前发布，目的就是尽早地收集用户数据，确定该如何“完成”这一产品。 因素2：“去货币化”势不可挡 互联网在过去10 年里最重要、却最不为人所知的一大成就就是，它将市场营销和销售的边际成本降到了近乎为零的地步。 案例：Uber的车队里增加一辆车和一名司机的成本基本为零。 因素3：“颠覆”已成创新常态 诚如史蒂夫· 福布斯所言：“你要么颠覆自己，要么等别人将你毁灭。 ”颠覆式创新中都有一些固定步骤： ◆ 领域（或技术）信息化 ◆ 成本以指数速度降低，获取的难度也因去货币化而降低 ◆ 业余爱好者聚在一起组成开源社群 ◆ 带来新的技术组合和混合学科 ◆ 推出品质提高、价格降低好几个数量级的新产品和服务 ◆ 现状被颠覆（该领域朝信息化发展）因素4：“专家”不再值得信赖 因素5：“5年计划”过时了 未来的变化速度实在太快，超前思考很容易会产生错误的预期。 在指数型组织的世界里，目标胜于战略，执行胜于计划。 MTP+1年计划+不断调整前进方向因素6：小公司的优势更大 小型团队的一项关键优势在于，它能承受的风险要比大型团队高得多。 公司的适应力和敏捷程度的重要性会逐渐超过大小和规模。 因素7：“租赁”取代“拥有” 以低成本获取技术和工具，意味着任何个人或小型团队都可通过租借设备，从而获得与财大气粗的老牌公司一样的制造能力。 “租赁”而非“拥有”的哲学是构成指数型组织的敏捷性和灵活性，并继而带来成功的主要因素。 因素8：“信赖”胜于“控制”，“开放”胜于“封闭” 传统组织大多采用控制和封闭的框架，公司往往要在管理层和团队之间漫长的反馈回路上浪费大量资源，不得不进行监督和干涉。 在过去的几年里，一批全新的协作工具的出现让组织能在无监督、全员工自我管理的情况下，管控一支小团队。 因素9：一切皆可测量和知晓 传感器革命是时下最为重要却最不广为人知的技术革命之一，因为有了它，我们可以了解我们想要的数据。 正如飞机引擎的传感器多达3000个，每次飞行都会记录下数十亿个数据点。 指数型组织正从两种角度加速趋势：在现有的数据流上建立新的商业模式，或在旧的范式上添加新的数据流。 三、如何创建指数型组织 在评估一家创业公司的投资价值时，投资者通常考虑三类主要的风险领域： ◆ 技术风险：是否可行？ ◆ 市场风险：人们会买这个产品吗？ ◆ 执行风险：这支队伍能合格地运作吗？1、创建指数型组织的12个关键步骤 第1步：选择一个MTP。 首先问自己，我想要解决的最大问题是什么，找到问题领域，然后构思一个相对应的MTP，保证自己对准备攻克的问题领域有强烈的热情和激情。 第2步：加入或创建与MTP相关的社群。 无论你从事什么行业，为目标拼搏的人组成的社群，都会为相同的目标倾力投入。 第3步：建立一支团队。 在任何一家创业公司，初创团队的慎重构建都是性命攸关的事情。 组建成功的指数型组织初创团队的关键就在于每个人都拥有朝MTP奋发的热情。 第4步：找到突破性的创意。 可以利用社群或大众来发现突破性创意或新的实现模式。 第5步：建立商业模式蓝图。 一旦找到了核心创意或突破性想法，下一步就是详细计划该如何让它走向市场。 第6步：寻找商业模式。 寻找新的商业模式，使它在长期战略上与特定行业的关系密切的其他指数型组织合作。 第7步：建立MVP。 MVP就是一种应用性质的实验，用来确定一个最简单的产品能否闯入市场，以及能获得怎样的用户反馈（同时也有助于在下一轮开发中寻找投资者）。 随后，你就可以在反馈回路中快速更新和优化产品，实现开发路线。 第8步：验证市场和销售。 一旦产品得到了目标市场的使用，那么就需要建立起客户获取渠道来促使新的访问者发现你的产品。 戴夫·迈克鲁尔的AARRR就是一个很好的模型： ◆ 获取（Acquisition）：用户发现你的速度快吗？（增长指标） ◆ 激活（Activation）：用户的第一印象好吗？（价值指标） ◆ 保留（Retention）：用户会回来吗？（价值指标） ◆ 收益（Revenue）：你如何赚钱？（价值指标） ◆ 推荐（Referral）：用户会告诉别人吗？（增长指标） 第9步：实现SCALE和IDEAS。 好的指数型组织并不意味着实现所有11项的SCALE和IDEAS属性。 好的MTP加上三四项其他属性，通常就足以带来成功了。 关键在于确定你应执行的是哪些属性。 第10步：塑造文化。 在高速扩张的组织中，文化、MTP和社交技术就是在指数型组织的两边条约中保持团队凝聚力的胶水。 要做到这一点需建立OKR系统，然后让团队习惯于透明、责任、执行、高效风格，并不断持续深化。 第11步：定期回顾关键问题。 在建立创业公司时，你需要思考8个关键性问题，而且要定期回顾这些问题。 每一个能获得满意回答的问题，都会让你一步步接近目标。 ①你的顾客是谁？ ②你解决的顾客问题是什么？ ③你的解决方案是什么？至少现状改善了10倍吗？ ④你会如何为产品或服务进行市场销售？ ⑤你的产品或服务的销售情况如何？ ⑥你如何利用病毒效应和净推荐值将顾客转变为宣传者，从而降低需求的边际成本？ ⑦你如何扩大客户群体？ ⑧你如何将供应的边际成本降至零。 第12步：建立和维护平台。 建立一个成功的平台，需要以下四个步骤： ①找出某个消费用例的“痛点” 。 ②找出生产者与消费者之间任何互动当中的核心价值单元或社交对象。 ③设计出一个促进这种交互的方法。 ④决定如何围绕这一交互建立一个网络。 当万事俱备，即构思了巧妙的MTP并具备了相应属性，结果将会是惊人的。 2、中型公司如何获得指数级成长 将原有的企业转变为指数型组织需要两个条件： 第一，是公司文化，要能够迅速适应快速，且往往是根本性的变化。 第二，塑造一个得到董事会和高级管理层全力支持的梦想家领袖。 小米的雷军就是一个梦想家领袖，思想远大，行动果敢。 为他赢得了董事会的大力支持，他拥有大量的粉丝，大众更容易帮他，一起来实现某个目标。 格力的董明珠、华为的任正非都是梦想家领袖的代表人物。 3、大型公司向指数型组织靠拢的4大策略 策略1：改变领导层 改变领导层级的方法：教育、董事会管理，实现多样化、技能和领导力。 教育： 让领导层开始转变思路，慢慢接受指数型思维方式。 在这种情况下，可以引入外部资源，基于加速技术更新你的高级管理层和董事会。 董事会管理 ：为董事会成员普及知识，让他们能认同首席执行官的大手笔变革计划。 此外，利用OKR来跟踪董事会的表现。 实现多样化 ：在性别、经验和年龄上的多样化会带来更好的结果。 打破旧派思维方式的壁垒，将墨守成规者替换成在经验和观念上有着多样性的个人和团队。 要记住，多样性的一个最重要方面就是要让年轻人站在权利和影响力的位置上。 技能和领导力 ：员工的类型包括优化者、扩张者和传道者。 公司常犯的一大错误就是将一个领域表现最好的人调到另一个领域期望他们能同样做得好。 然而，只有从内部找到求新求变的传道者更利于塑造指数型组织。 所以，在指派管理层和顾问团的时候要始终考虑多样性，定期让高层参与个人改变计划，认真审视自己的领导技能。 策略2：结盟、投资和收购 大型公司可以制定计划，本着观察、合作、投资和收购的目的找出并跟踪这些具有颠覆性的指数型组织。 而且大型公司必须采取行动，才能降低投资的门槛并在竞争中占据先机。 策略3：颠覆 传统公司的组织结构会将颠覆性的影响力压制住，所以可以将企业中比较确定的变革者转换到组织边缘，让他们自由创建指数型组织去颠覆其他市场。 观察他们与母公司的相互联系，随后增加更多的变革。 乔布斯在做苹果手机的时，从苹果调集了大概二三十名程序员，悄悄开始研发手机。 公司研发电脑的程序员并不清楚他们在试验什么，直到苹果手机成功问世，成为公司的主流产品。 策略4：打造“精简版”指数型组织 对于大公司来讲，可以把指数型组织与原来的主体业务分开经营。 如果这个指数型组织成长地特别快，它就会成为公司的主体。 即便大公司必须维持现状，并因无法转变成指数型组织，也并不意味着他们就不能培养一些指数型性组织属性，并以此加速公司运营。
指数级和几何级有什么联系和区别？ 几何级Y=A^n 指数级Y=2^n 是这样吗？
几何级增长就是以指数形式增长(A的n次方) 。 如2,4,8,16,32,64...(2^1,2^2,2^3,2^4,2^5,2^6...)。 举个例子，比如变形虫的分裂繁殖，1个变成2个，2个变成4个，4个变成8个...，于是形成一个等比数列。 而指数级是指增长或递减成指数函数的形式，如y=2^x几何级数是一个数学上的概念，可以表示成a*x^y，即x的y次方的形式增长。 通常情况下，x=2，也就是常说的翻几（这个值为y）番与代数级数相比，几何级数的增长更可观。 如几何级数的“翻三番”就是a*2^3。 无穷级数中，几何级数又称为等比级数。 几何级数（即等比级数）的和为：当︱q︱<1时a+aq+aq^2+……+aq^n+……=a/(1-q)当︱q︱≥1时a+aq+aq^2+……+aq^n+……=+∞
