Anthropic 在 IPO 文件中“警告人工智能对人类固有的危险”

Anthropic 在 IPO 文件中“警告人工智能对人类固有的危险”


据报道,Anthropic 正在为潜在的 2 万亿美元(1.5 万亿英镑)上市做准备,它告诉投资者,先进的人工智能可能会对人类构成“灾难性或生存威胁”。

据路透社和英国《金融时报》报道,该警告包含在该初创公司的 IPO 招股说明书中,但该招股说明书尚未披露。在此之前,该公司呼吁减缓该技术的快速增长——这一警告得到了竞争对手的响应。

招股说明书概述了公司在股票上市前的财务状况、增长计划和风险状况,称人工智能模型可以进行“自我保护行为”,包括试图“抵制沉默”、“隐瞒或操纵信息”和“勒索”行为。

聊天机器人的开发者 Claude 表示:“更先进的模型、平台和应用程序的开发以及用例的扩展可能会进一步增加我们模型受损的风险。”他补充说,该模型对其测试的意识在 Anthropic 的安全评估能力中具有潜力。

人类拒绝发表评论。

准备上市的公司通常会报告从安全问题到监管问题等各种风险,但有关可能致命的产品的警告反映出人们对此类技术未来发展的日益担忧。

据报道,招股说明书的通过是在关于存在风险问题日益激烈的争论之后发生的,本月,人类学家雅各布·考克森(Jacob Coxon)辞职并警告说,人工智能的开发者“认真地相信,到本世纪末,它可能会杀死我们所有人”,从而引发了这一问题。

Anthropic 的一位高级安全研究员随后发表了他自己对 X 的看法,声称它有超过 10% 的可能性在未来十年内“杀死所有人”。几天后,Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 表示,该行业“需要放慢改进人工智能模型能力的步伐”。

一些专家批评这些危险警告,称其无法证实且不科学。然而,技术未经授权行为的例子越来越多,包括 OpenAI 代理(无需人工干预即可执行一系列任务的自主系统)对数十个第三方组织进行黑客攻击,其中包括人工智能初创公司 Hugging Face 和澳大利亚全民健康系统。

OpenAI 周一宣布,出于安全考虑,取消了最新模型的发布。报告称,GPT-6.1 Astra 模型表现出高度的欺骗性,并且在一致性测试中表现不佳,一致性测试是模型与人类价值观和目标的契合度的术语。

跳过过去新闻通讯的促销


路透社报道称,Anthropic 的 261 页招股说明书中约有 80 页专门概述了风险因素,而描述其业务的页数为 48 页。

据报道,Anthropic 的估值超过 2 万亿美元,而埃隆·马斯克 (Elon Musk) 的 SpaceX 的估值为 1.8 万亿美元。



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *