新智元报道
编辑：alan
【新智元导读】 在GPT-4发布后14.5个月里，LLM领域似乎已经没什么进步了？近日，马库斯的一句话引发了全网论战。大模型烧钱却不赚钱，搞AI的公司表示：难办！
Scaling law走到尽头了吗？
近日，马库斯的一句「Is scaling all you need?」引发了正反两方的论战。
马库斯表示，距离GPT-4发布已经过去了14.5个月，在那之后，又有大约有500亿美元投资在芯片上，但仍然没有模型能够真正打败GPT-4。
业界和学界砸了这么多资源在LLM上，但证据似乎表明，我们已经很长时间停滞不前了。
展望未来，模型性能提升所需的算力已经很难满足（远超摩尔定律），
而又有研究表明LLM性能的线性增长，很可能需要指数级的数据，
——「也许，是时候考虑替代方案了。」
德克萨斯大学心理学教授Art Markman表示，「我们已经把所有数据都榨干了」。
另有专业人士认为，问题出在数学层面，「我们现在处于一个平台期，因为大部分数据已经被消耗掉了，而使用模型自己生成的数据会破坏系统」。
「除非再次改变整个结构，否则大多数人工智能将逐渐消失」。
Scaling is all you need.
对此反方表示，你们太消极了，咱们这不是天天都有进步吗？
模型越来越小，速度越来越快，并且能保持接近SOTA的性能，——还要啥自行车？
「Llama 3 70B比GPT-4（1.8T参数）小约25倍，性能相似。GPT-4o的大小可能是GPT-4的一半，但性能优于GPT-4，并且包括音频和图像生成。」
还有网友说，你又没看到在10倍算力和10倍数据上训练的模型，怎么能说撞墙了？
我们已从数据中榨取一切
许多迹象表明，我们已经进入了回报递减的时期。
我们都知道GPT-3比GPT-2好得多，而GPT-4比GPT-3好得多，——但之后呢？
OpenAI曾用这张图表来吹捧GPT-4 Turbo在过去一段时间的改进：
确实看上去有一些提升，但问题是，从长期的历史数据来看，进步的比例有多少。
马库斯在自己的博客中给出了下面这张图：
能作为对比的基准测试只找到了MMLU，里面也没有GPT 3.5，算是管中窥豹吧。
当然了，没有再进步的一个原因可能是触及基准测试的上限了，毕竟100分很可能只是代表着过拟合。
所以，让我们来看另一项有趣的测试：来自《纽约时报》的Connections游戏。
聪明的人类可以在任何给定数据上获得90以上的分数，但目前的模型得分还比较保守，完全不存在摸到天花板的问题。
我们可以看到，在性能获得巨大飞跃之后，GPT-4系列好像就熄火了。
那堵墙要来了
从另一个角度看，模型的性能似乎也正在收敛。
下图给出了开源和闭源两个阵营的战况：
红点代表的闭源模型领先于同时期的开源模型，但通过拟合红绿双方的数据，我们可以发现，开源和闭源的性能差距在逐渐缩小。
另外，从2022年大模型爆火到今天，LLM仍然会时不时犯一些愚蠢的错误，幻觉问题也依然没有得到解决。
比如已经学会画图的ChatGPT，仍然可能不会数数：
如果LLM无法解决自身的问题，如果人们对于GenAI的热情开始减弱，这个领域的市场估值将会暴跌。
当然，AI不会消失，LLM也不会消失，而是会成为一种近似的工具占有一席之地，但那个黄金时代再也不会到来了。
AI 小厂苦苦挣扎
在Sequoia Capital的一项统计中，初创公司大概花了500亿美元购买NVIDIA的芯片来训练大模型，
但结果是，他们总共只赚了30亿美元，——这样的买卖显然做不成。
大多数公司都在苦苦挣扎，寻找能赚钱的路子，另一方面，迫于经济压力，很多公司也在裁员或者转型。
最近几周，Inflection AI基本上关闭了商店，首席执行官和大部分员工已经离职加入了微软；
Character.ai的产品很受欢迎，但报告的年收入仅有不到2000万美元；
基于LLM的自动驾驶公司Ghost关闭了商店；
「差点取代了程序员」的AI编码系统Devin受到严重质疑；
还有早已不再「stable」的Stability AI，风雨中飘摇但身残志坚，发不起工资也不耽误开源，如今四处找钱寻求「卖身」。
除了头部的OpenAI和Anthropic，大部分AI小厂的日子都不好过，哪怕是曾风光一时的独角兽，没有靠谱的商业模式，钱烧完也就完了。
一位AI领域的CEO表示，风险投资者也开始变得谨慎了，希望控制成本，希望看到收益。
生成式AI的初创公司目前也倾向于选择计算需求较小的道路，省钱、省电、省人，赶紧想办法搞钱，而不是先给英伟达爸爸上贡。
同时，我们也看到了开源模型的崛起，Meta和Mistral等公司为世界提供了更低成本的解决方案，小厂可以在此基础上前进。
AI产业的整条链路上，最不担心的就是老黄了。
老黄表示，聊天机器人正在向多模态迈进，对于图片和声音的处理会消耗掉所有的GPU。
而且有很多GenAI初创公司还拿不到所需的GPU，老黄估计有15,000到20,000个不同领域的公司都需要训练端到端模型。
然而，这些模型的大小以及他们需要的计算能力如何，还是一个问题。
我们通常认为英伟达的最大客户是那些大型云服务提供商，但自动驾驶、边缘计算、机器人等，已经成长为一个巨大且重要的市场。
特斯拉有几百万辆汽车行驶在世界各地，终端和云端都需要处理大量的数据。
马老板买了35000个GPU，这还只是个开始，未来这个领域的变化会非常快，会有更多的新动态，和层出不穷的新技术。
在这方面，很多公司应该向马老板学习，先赚到钱才是王道。
参考资料：
https://x.com/GaryMarcus/status/1794867195446808779
EPS是什么意思？
EPS是每股盈余（英文全称Earnings Per Share）的缩写，指普通股每股税后利润，也称为“每股收益”。 EPS(每股盈余)=盈余/总股本，传统的每股收益指标计算公式为：每股收益=期末净利润÷期末总股本。 企业的每股获利,通常也代表着该年度所能配发的股利。 如果以股利收入的角度来选股,则可以eps作为替代变数。 扩展资料；EPS是投资者用来评价企业的盈利能力、成长潜力以及投资风险用的。 EPS是股票投资的基本分析工具之一，其计算公式为：EPS=普通股股东的当期净利润/正发行在外的普通股加权平均数。 每股收益突出了分摊到每一份股票上的盈利数额，是股票市场上按市盈率定价的基础。 如果一家公司的净利润很大，但每股盈利却很小，表明它的业绩背过分稀释，每股价格通常不高。 此外EPS还有一个传统的计算公式，EPS=(本期毛利润- 优先股股利)/期末总股本，按照方法计算出的每股收益并不是越高越好，因为每股股票都有股价。 参考资料来源；网络百科-EPS
“AI制药”时代到来，能否降低国内药价?是否存在风险?
大家好。 我是夏念薇，这个AI制药我认为有利有弊。 A:AI制药的普及市面上的仿制药就多了，那么药价肯定是便宜的，特别是癌症患者收益，这将是令全国老百姓满心欢喜的一件事。 B:为什么我会认为这东西存在弊端呢?原因如下。 这样我想起了一件事，很多大医院现在都开始人工智能给病人配药，有人因为机器的配药过量导致死亡。 这还是存在一定风险的，这就涉及一个药成分精准度的问题。 想想还是挺复杂的，所以我人为还是需要有人工进行看护外一机器出错了怎么办?是不是会导致人的生命危险?这也是我比较疑惑的方面……因此，我认为，有利有弊，不可能马上就能马上替代工人，但这也确实是一件造福百姓的一件好事。
支付宝里面的蚂蚁财富怎么把钱转出来
解决方法：一，首先打开支付宝，进入“财富”页面。 二，然后点击“基金”。 三，选择需要卖出的基金，点击进入。 四，在基金详情页面，点击屏幕下方的“卖出/转换”。 五，最后根据需要卖出份额即可。 如果当天15点前卖出，第二天就到账。 如果15点后卖出，则后天到账。 拓展资料：蚂蚁财富：蚂蚁财富是蚂蚁金服旗下的一站式理财平台“蚂蚁聚宝”的升级版，2017年6月14日正式上线“财富号”，全面向基金公司、银行等各类金融机构开放，同时向金融机构开放最新的AI技术。 全面向基金公司、银行等各类金融机构开放，同时向金融机构开放最新的AI(人工智能)技术。 开放+AI将是蚂蚁金服财富领域开放的两大基石。 根据蚂蚁金服的研究，AI的能力将从“理解用户”、“优化投资策略”和“用户与金融产品匹配”三个层面助力金融机构。 参考资料：网络百科-蚂蚁财富
