OpenAI员工们开始反抗了!

智东西 编译 陈骏达 编辑 Panken

智东西6月5日消息,OpenAI安全疑云又有新瓜了。据AI行业媒体Transformer今日报道,前超级对齐部门成员奥波德·阿申布伦纳(Leopold Aschenbrenner)透露了他被开除的真实原因——他给几位董事会成员分享了一份OpenAI安全备忘录,结果招致OpenAI管理层的不满。

今年4月,阿申布伦纳被OpenAI以泄露公司机密为由解雇。他说OpenAI当时很清楚地告诉他,开除他的主要原因就是这份备忘录。之后阿申布伦纳上线了一个网站,用165页PDF文件汇总了他在OpenAI工作期间所了解的信息,还创办了一家专注于通用人工智能(AGI)的投资公司。

地址:https://situational-awareness.ai/

感到“背叛”的不只是阿申布伦纳。昨天,13位来自OpenAI和Google DeepMind的前员工与现员工联合发布一封公开信,揭发OpenAI的鲁莽和保密文化,强调前沿AI技术的严峻风险,表达了对AI公司在开发和推广AI技术时利益优先、打压异见者和规避监管等种种行径的担忧。

这封公开信还获得了两位2018年图灵奖得主约书亚·本吉奥(Yoshua Bengio)、乔弗里·辛顿(Geoffrey Hinton)的署名支持。加州大学伯克利分校伯克利分校计算机科学教授、人类兼容人工智能中心主任斯图亚特·拉塞尔(Stuart Russell)也在公开信末尾署名。

▲OpenAI和Google DeepMind前员工与现员工公开信原文部分截图

OpenAI最初是一个非营利研究实验室,在官网上OpenAI将公司的使命定义为“确保通用人工智能(AGI)造福人类”。但签署公开信的OpenAI前员工们称,OpenAI目前的重点是利润和增长。其中一位签署人丹尼尔·科科塔约洛(Daniel Kokotajlo)说道:“公司对构建AGI感到十分兴奋,正在与其它公司进行鲁莽的竞争,力求成为第一家实现AGI的公司。”

一、公开信呼吁OpenAI优化内部监督渠道,但OpenAI认为自己在安全上做得很好

签署这封公开信的各大AI公司的员工们呼吁,AI公司不应继续签订或执行任何不诋毁条款、提供匿名监督的程序、支持公开批评的文化,并保证不会对批评者进行任何报复。

以下是对此封公开信的完整编译:

警告先进AI的权利

我们是各大前沿AI公司的现任和前任员工,我们相信AI技术有潜力为人类带来前所未有的好处。

我们也理解这些技术带来的严重风险。这些风险包括加剧现有的不平等、操纵和误导信息、以及失控的自主AI系统可能导致人类灭绝。AI公司自身已经承认了这些风险,政府和其他AI专家也有类似的看法。

我们希望这些风险能够在科学界、政策制定者和公众的充分指导下得到有效的缓解。然而,AI公司有强烈的财务动机避免有效的监督,我们不相信公司为自己量身定制的治理结构能够改变这一点。

AI公司拥有大量关于其系统能力和局限性的非公开信息,这些信息涉及系统的保护措施以及系统的各种风险水平。然而,他们目前只需要向政府分享部分信息,并不背负着向政府汇报的强烈义务,更没有义务向社会公众分享任何信息。我们不认为他们可以完全自愿地分享这些信息。

只要这些公司没有有效的政府监督,那现任和前任员工就是少数能够让公司负起责任的公众人士之一。然而,广泛的保密协议阻止了我们表达担忧,除非是向那些可能未能解决这些问题的公司报告。普通的举报者保护不足以应对此类问题,因为它们主要关注非法活动,而我们关心的许多风险尚未受到监管。考虑到行业历史上一些案例中的各种报复行为,我们中的一些人合理地担心会受到各种形式的报复。我们并不是第一个遇到或谈论这些问题的人。

因此,我们呼吁先进的AI公司承诺以下原则:

签署人:

雅各布·希尔顿(Jacob Hilton),前OpenAI员工丹尼尔·科科塔约洛(Daniel Kokotajlo),前OpenAI员工拉玛纳·库马尔(Ramana Kumar),前Google DeepMind员工尼尔·奈达(Neel Nanda),现Google DeepMind员工,前Anthropic员工威廉·桑德斯(William Saunders),前OpenAI员工卡罗尔·怀恩莱特(Carroll Wainwright),前OpenAI员工丹尼尔·齐格勒(Daniel Ziegler),前OpenAI员工匿名,现OpenAI员工匿名,现OpenAI员工匿名,现OpenAI员工匿名,现OpenAI员工匿名,前OpenAI员工匿名,前OpenAI员工

支持者:约书亚·本吉奥(Yoshua Bengio)乔弗里·辛顿(Geoffrey Hinton)斯图亚特·罗素(Stuart Russell)

2024年6月4日

OpenAI驳斥了本次公开信事件中对OpenAI内部AI安全问题的指控,他们向外媒Android Authority做出如下回应:

“我们公司过去便一直提供最强大和最安全的AI系统。我们对此感到自豪,并相信我们能利用科学的方法来应对风险。我们同意,鉴于这项技术的重要性,进行严格的辩论是至关重要的,我们将继续与政府、社会和世界各地的其他群体进行接触。这也是为什么我们为员工提供了表达担忧的途径,包括一个匿名的诚信热线以及由我们董事会成员和公司安全部门领导组成的安全与保障委员会。”

二、安全委员会被架空,内部监管几近失效

在此封公开信中,来自各家开发AI系统的企业的现任和前任员工们呼吁,在OpenAI和其他AI公司停止使用不诋毁和保密协议。他们写道,“广泛的保密协议阻止我们表达自己的担忧”。

他们还呼吁AI公司“支持公开批评的文化”,并建立一个报告流程,让员工匿名提出与安全相关的担忧。

劳伦斯·莱西格(Lawrence Lessig)是一位知名的法律学者,同时担任签署本次公开信的团体的公益律师。他在接受采访时称,传统的举报人保护适用于非法行为的举报,但鉴于AI技术的重要性,AI公司有必要为公司员工创造开放自由的讨论空间,让员工表达对技术风险和潜在危害的看法。

莱西格认为,公司员工是一道重要的安全防线,如果他们不能自由地表达观点并不受报复,那么这条防线就会失效。

丹尼尔·科科塔约洛(Daniel Kokotajlo)是联名签署此封公开信的OpenAI前员工之一。他在2022年加入OpenAI,所任职务是公司的治理研究员。今年4月份他正式从OpenAI辞职,原因是他对公司“失去了信心,认为OpenAI无法在AI系统实现接近人类水平表现时负责任地行事”。

▲OpenAI前员工丹尼尔·科科塔约洛(Daniel Kokotajlo)

在OpenAI,科科塔约洛看到,尽管公司已经制定了安全相关的规章制度,但这些规章制度常常处于被架空的状态。例如,OpenAI与微软共同建立了部署安全委员会,此委员会的主要目的是为了在正式发布模型之前评估新模型中可能包含的种种风险,但这一委员会似乎并没有起到应有的作用。

科科塔约洛称,2022年,微软开始在印度秘密测试新版必应(Bing)搜索引擎,部分OpenAI员工认为这一版本的搜索引擎使用了当时还未发布的GPT-4模型。OpenAI和微软的联合部署安全委员会对这一测试并不知情,他们是在收到一系列来自用户对必应搜索引擎在测试期间异常行为的报告后,才知道此次测试的存在。而这并没有减慢微软推出新版必应搜索引擎的步伐。

微软的发言人弗兰克·肖(Frank Shaw)否认了这些指控。他说在印度的测试中没有使用任何OpenAI的模型,包括GPT-4。微软首次发布基于GPT-4模型的产品是在2023年初,并且获得了部署安全委员会的批准。

科科塔约洛称,他对OpenAI的自我监管持怀疑态度。OpenAI采取了种种措施避免监督,这也包括来自前员工的批评和曝光。

在离开OpenAI时,公司员工需要签署一份极为复杂的离职文件,其中就包含不诋毁条款和保密协议。若不签署,OpenAI就将收回离职员工的既得股权,而这些股权占据了OpenAI员工薪酬方案的绝大部分。

但仍有部分员工拒绝签署这些协议,科科塔约洛便是其中一员。他称自己的既得股权价值大约为170万美元,这构成了他净资产的绝大部分,而他已经准备好放弃这些财产。

在外媒Vox报道了这些协议后,OpenAI迅速作出回应,称公司从未从前员工处收回过既得股权,也不会这么做。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)称自己感到特别尴尬,因为他不知道这些协议的存在。但Vox披露的相关文件上却有阿尔特曼本人的签名。

▲有阿尔特曼本人签名的文件

三、安全问题劣迹斑斑,曾直接开除表达担忧的员工

OpenAI已经不是第一次面临安全相关的问题了。在OpenAI的GPT-4o模型发布不久后,OpenAI原首席科学家,同时也是支持罢免阿尔特曼的4位前董事会成员之一的伊尔亚·苏茨克维(Ilya Sutskever)正式官宣离职。他曾在《卫报》拍摄的纪录片中,对强大的AI系统的潜在风险发出警报。

伊尔亚离职不久后,OpenAI超级对齐团队联合负责人杨·莱克(Jan Leike)也在推特上宣布离职。他称OpenAI领导层关于公司核心优先事项的看法一直不合,超级对齐团队过去几个月一直在逆风航行,在提升模型安全性的道路上受到公司内部的重重阻碍。莱克在官宣离职的一系列推文中称,“(OpenAI的)安全文化和安全流程已经让位给闪亮的产品”。

▲莱克在X平台上的推文

此外,根据AI行业媒体Transformer今日报道,今年早些时候因为“泄密”而被解雇的OpenAI安全研究员利奥波德·阿申布伦纳(Leopold Aschenbrenner)实际上是因为向董事会提出安全问题而被解雇的,他也否认自己向董事会提供备忘录包含任何敏感信息。

▲OpenAI前安全研究员利奥波德·阿申布伦纳(Leopold Aschenbrenner)

阿申布伦纳在工作时写了一份关于OpenAI安全性的内部备忘录,认为OpenAI的模型权重和算法关键机密极易遭到窃取。

在他完成这份备忘录的几周之后,OpenAI遭遇了一场重大安全事件,这促使他与几位OpenAI董事会成员分享这份备忘录。然而,他说公司领导层对他与公司董事会分享备忘录的行为极为不满,因为董事会在安全方面给领导层带来了麻烦。

阿申布伦纳在上述事件几个月后被解雇,而解雇时OpenAI清楚地告诉他,这份安全备忘录就是他被解雇的主要原因。

结语:安全等问题频繁暴雷,OpenAI深陷舆论风波

本次公开信事件只是OpenAI近期面临的诸多危机中的一个。OpenAI目前仍未完全从去年的那场“未遂政变”中恢复过来,OpenAI近期的人事动荡便是最好的证据。

OpenAI还面临着与内容创作者的法律斗争,他们指控OpenAI窃取版权作品来训练其模型。

好莱坞知名演员斯嘉丽·约翰逊(Scarlett Johansson)更是指控OpenAI在未经许可的情况下使用了她的声音。根据美国全国公共广播电台(NPR)的最新报道,来自美国亚利桑那州州立大学的声音鉴识专家认为,斯嘉丽的声音比98%的女演员都要更接近OpenAI的Sky语音。

OpenAI的前董事会成员海伦·托纳(Helen Toner)也在近期指控OpenAI首席执行官阿尔特曼在公司内部的种种不当行为,并质疑阿尔特曼能否带领公司安全地实现AGI的目标。

或许,正如OpenAI前员工科科塔约洛所说,我们需要的是某种民主问责且透明的治理结构,来负责管理AI技术的发展,而不是只有几家不同的私营公司相互竞争,并将一切都列为机密。


今日头条怎么发布淘宝产品链接,在今日头条里,有些文章可直接点购买,直达淘宝店铺是如何实现的?

1 最新版本要求 粉丝数2000以上;头条号指数600以上 可申请开放 商品 功能2商品功能开通后,可在头条号后台「账号设置」位置,进行PID绑定,一个头条号只能绑定一个PID3完成以上操作,通过备案后,就可以在发表文章时,选择商品,添加相关商品了.不绑定PID的话,也可以发,但是没有推广佣金收益.

如何才能管理好小公司

1、公司必须制定好基本的管理制度。 基本的管理制度包括人事制度、薪酬制度、工作流程、部门管理规定等等。 这些制度之所以称为基本管理制度,是因为这是保证公司正常运营的基本保障,是必须的。 比如说:招聘一个什么样的人担任什么样的岗位,需要制定怎样的薪酬制度,上下班时间、工作内容,还有,不同的部门要根据实际情况做一个部门管理规定等等。 这些制度对于很多小型公司来说,有的形成了文字,有的是老板口头通知员工,并在员工心中形成了习惯。 但是,如果公司要作大作强,从一开始就应该形成公司的文字制度,并随着公司的发展而不断变化和完善。 为以后公司发展成大公司了,进行制度管理的法治阶段打下基础。 2、公司要极力推行人性化管理。 大公司靠制度管人,小公司靠老板管人。 所以,小型公司的人性化管理就非常重要,人性化主要表现为老板的人格魅力、领导魅力、处事能力、管控能力等等。 我见过很多小型公司,员工和老板称兄道弟,关系非常融洽,就是我们经常说的人治。 人性化与人治是不一样的,人治没有规章制度或说制度存在于员工的心中,人性化是有制度的,但是不仅仅依赖制度,还有老板的为人处事的作风起很重要的作用。 可以说,很多小型公司在开始时都是人治,慢慢到人性化和制度管理阶段,最后发展到制度化管理的法治阶段。 3、想方设法留住优秀的人财,促使公司快速发展。 人们常说企业最重要的资产是人,这话咋听起来好像没错,实则不然。 记得有一个资深人力资源总监告诉我说,企业的人分为4大类,第一类是人裁,就是能力很差、态度很差的人,走到那个企业都会很快被裁掉的人;第二类是人材,这种人能力很差,但是态度很好,所以企业还是留着可以用的;第三类是人才,这种人能力很强,但是态度很差,很难领导和管理,对于企业来说,这种人用得好就有很大的价值,用得不好就有很大的破坏性。 第四类是人财,这种人能力很强,态度很好,这是任何一个公司都想要的人,这种人才能为公司带来滚滚财源。 那么我们如何才能留住优秀的人财,除了制度和人性化管理之外,公司的快速发展让人财看到希望和前景,才是留人的关键,另外,留住了优秀的人财,公司也才能快速发展。 二者相辅相成,相得益彰。 4、加强职业培训,全面提升人员素质。 这个社会生存就两种方式:一是自己当老板,二是给老板打工。 对于打工的人来说,主要需求有两个方面:一是钱途,二是前途。 想要钱途,主要是努力工作,业绩优秀;而想要前途,就必须参加培训,坚持学习,不断提高自己。 所以,公司要加强员工的职业、专业培训,全面提升人员素质,给员工一个美好的前程。 5、为公司描绘一个美好的未来。 在小型公司,企业理念、企业文化都没有有效地形成,但是,企业理念和企业文化是公司的灵魂,非常重要,所以,在企业理念和企业文化还没有形成的时候,为公司描绘一个美好的未来就显得非常重要,它起着和企业文化一样的作用,能够团结、激励公司全体人员为实现这个美好的未来而努力奋斗。

老板不开资员工考走自己制作的作品违法吗?

考(拷)走自己制作的作品不违法!因为首先“均为我自己设计制作作品”的知识产权属于其设计人员(你)。 其次,设计人员有权处分属于自己知识产权。 “均未签订合同”、“公司即不给我们开工资但又要求我必须交出稿件”等等,该公司的行为无任何法律依据。 收集你所描述的该公司违法(劳动法)行为的证据(证人证言、录音、录像等等),联合起来,到该公司所在地的劳动仲裁机构投诉,请求其依法支付劳动报酬。 或者到该公司所在地的法院直接起诉该公司,请求该公司依法支付劳动报酬。

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://www.srwj168.com.cn/caijing/22746.html
文化中国行 我家住在长城下 穿上这件红马甲 我自豪
一定要教孩子会吵架 不想孩子被欺负