警告AI存在 缺乏监管 OpenAI员工发公开信 严重风险

6月5日消息,美国时间周二,人工智能初创企业的多位在职及离职员工联名发表了一封公开信,表达了对人工智能行业快速发展中的潜在风险的担忧。他们警告称,人工智能领域存在“重大风险”,同时缺乏必要的监管,并且对那些愿意发声的人缺乏举报人保护。

这些员工在信中指出:“ 人工智能公司 存在强烈的财务动机来规避有效监管,我们认为现有的公司治理结构不足以改变这一现状。”

OpenAI、 谷歌 、微软、Meta等公司正在人工智能的竞争中抢占先机,预计该市场在未来十年内将突破1万亿美元。各行各业的公司都急于引入AI驱动的聊天机器人和智能代理,以免在竞争中落后。

这些员工进一步说明,人工智能公司掌握了大量的非公开信息,包括其技术的能力、已实施的安全措施以及该技术可能导致的不同类型的风险。

“我们也清楚这些技术所带来的严重风险,”他们写道,并补充说,“目前这些公司仅对政府有限度的信息披露义务,对民间社会则无任何义务。我们认为不能依赖它们会自愿分享这些信息。”

此外,这封公开信还详细描述了这些员工对于人工智能行业中举报人保护不足的担忧,他们认为在缺乏有效政府监督的情况下,员工处于向公司追责的独特位置。

“广泛的保密协议阻止我们表达担忧,只能向那些可能未能解决这些问题的公司反映,”信中的签名者写道,“传统的举报人保护措施不足,因为它们主要关注非法行为,而我们关注的许多风险还未受到监管。”

他们在信中呼吁人工智能公司承诺不签订或执行贬低性保密协议;建立匿名机制,让在职和离职员工能向公司董事会、监管机构及其他相关方表达担忧;支持开放批评的文化;以及在内部报告机制失效时,不对公开揭露问题的人进行报复。

这封公开信由四名匿名的OpenAI在职员工和七名离职员工签署,离职者包括 丹尼尔 ·科科塔伊洛(Daniel Kokotajlo)、雅各布·希尔顿(Jacob Hilton)、威廉·桑德斯(William Saunders)、卡罗尔·温赖特(Carroll Wainwright)和丹尼尔·齐格勒(Daniel Ziegler)。此外,签名者还包括曾在谷歌工作的拉玛娜·库马尔(Ramana Kumar)以及目前在谷歌DeepMind工作、之前曾在Anthropic工作的尼尔·南达(Neel Nanda)。值得一提的是,三位在人工智能领域享有盛誉的计算机科学家——杰弗里·辛顿(Geoffrey Hinton)、约书亚·本吉奥(Yoshua Bengio)和斯图尔特·罗素(Stuart Russell)也对此信表示支持。

OpenAI的发言人表示:“鉴于人工智能技术的重要性,我们坚信认为开放和严格的辩论非常关键。我们将继续与全球的政府、民间社会及其他社群进行交流。”该发言人还强调,OpenAI已经设立了一条匿名诚信热线,并拥有一个由董事会成员和OpenAI领导层组成的安全委员会。

OpenAI的争议越来越大

今年5月,OpenAI撤销了一项颇具争议的决策,该决策原本要求离职员工选择签署一份永久有效的非贬低协议,以保留他们在公司的股权。

一份发送给每位离职员工的备忘录指出,离职时,“你可能被告知需要签署一份包含非贬低条款的通用释放协议,以保留你的股权。”

对此,OpenAI的一位发言人当时向CNBC表示:“我们非常遗憾现在才更改这些措辞;它们并未能真实反映我们的价值观或我们渴望建立的公司形象。”

今年5月,随着OpenAI联合创始人兼首席科学家伊利亚·苏茨凯弗(Ilya Sutskever)及其下属高管简·雷克(Jan Leike)的离职,该公司决定解散其专注于研究人工智能长期风险的团队。尽管该团队成立仅一年,部分成员正被重新安排至公司内的其他团队。

雷克在X上发帖称,OpenAI的“安全文化和流程已让位于引人注目的产品。”

OpenAI首席执行官萨姆·奥特曼(Sam Altman)在X上表示,他对雷克的离开感到遗憾,并表示公司还有很多工作要做。不久后,OpenAI联合创始人兼总裁格雷格·布罗克曼(Greg Brockman)也在X上发表声明,声称该公司正在“提高对通用人工智能(AGI)风险和机遇的认识,以便全球更好地做好准备。”

雷克在X上的帖子中写道:“我加入OpenAI是因为我认为这里是世界上进行这项研究的最佳地点。然而,长期以来,我一直与OpenAI的领导层在公司的核心优先事项上存在分歧,直到最终达到了分歧的顶点。”

他表示,公司应将更多精力放在安全、监控、准备工作及其对社会的影响上。

“这些问题很难解决,我担心我们不在正确的轨道上。”他写道,“在过去几个月中,我的团队一直在逆风中艰难前行。我们常常为了争取计算资源而挣扎,进行关键研究的难度越来越大。”

雷克还表示,OpenAI必须成为一家“以安全为首的通用人工智能公司”。“构建比人类更聪明的机器本身就充满危险,”他写道。“OpenAI肩负着代表全人类承担这一巨大责任。但在过去几年中,安全文化和流程已逐渐被追求光鲜的产品所取代。”

几个月前,OpenAI经历了一场涉及奥特曼的领导层危机。去年11月,OpenAI董事会宣布罢免奥特曼,并在一份声明中指出,他在与董事会的沟通中“并未始终保持坦诚”。

此事的复杂性逐日增加,多家媒体报道称,苏茨凯弗一直专注于确保人工智能不会对人类造成伤害,而奥特曼等人则更热衷于推动新技术的快速发展。

奥特曼的离职引发了公司内部的一系列动荡,几乎所有OpenAI员工都签署了公开信,而微软等投资者也反应强烈。不到一周,奥特曼重返公司,而投票罢免他的董事会成员海伦·托纳(Helen Toner)、塔莎·麦考利(Tasha McCauley)和苏茨凯弗则相继离开了公司。尽管苏茨凯弗当时留在了公司,但他不再担任董事会成员。同时投票罢免奥特曼的亚当·德安吉洛(Adam D’angelo)则继续留在了董事会。

今年5月,OpenAI推出了新的人工智能模型和ChatGPT的桌面版本,同时更新了用户界面和音频功能,这是该公司扩大其广受欢迎的聊天机器人使用范围的最新努力。然而,在OpenAI首次推出这一系列音频功能仅一周后,该公司宣布将撤回其中一款名为“Sky”的聊天机器人声音。

“Sky”的声音因其与好莱坞女星斯嘉丽·约翰逊(Scarlett Johansson)在人工智能电影《她》中的声音极为相似而引发争议。这位好莱坞明星声称OpenAI未经授权使用了她的声音,尽管她曾明确拒绝让该公司使用。(小小)

  • 声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
  • 本文地址:https://srwj168.com.cn/caijing/22355.html
文化中国行丨G219线 新疆段 玩法上新故事多
世界环境日 Get绿色生活的N种打开方式