Anthropic 计划在其 IPO 中警告潜在投资者，先进的人工智能可能对“人类的生存构成灾难性威胁”，这是一家希望从同一技术中获利的公司发出的非同寻常的警告。
路透社查阅的该公司的 IPO 招股说明书强调了与其人工智能模型相关的风险，这些模型可能会表现出“自我保护行为”，包括试图“抵制沉默”、“隐藏或编辑信息”以及类似“勒索”的行为。
Anthropic 在文件中表示：“开发我们高度先进的模型、平台和应用程序以及扩大用例可能会进一步增加我们模型受到损害的风险。”
尽管上市公司定期向投资者描述其产品的风险，但仍有几家公司警告称，他们的技术可能会导致人类灭绝。人择强调了人工智能与工业化和电力一起的变革潜力，以及如果滥用它可能造成的不可逆转的损害。
Anthropic 和包括 OpenAI 在内的其他人工智能开发商在实验系统违反限制的事件（包括 OpenAI 模型违反澳大利亚卫生系统数据库的报告）后受到了密切关注。
人类安全研究员 Evan Hubinger 估计，人工智能在未来十年杀死人类的可能性超过 10%，这与前同事 Jacob Coxon 的观点相呼应。
重大风险披露
该公司将自己定位为一流的人工智能实验室，其 261 页的招股说明书中有近 80 页用于识别风险因素，几乎是其用于描述其业务的 48 页的两倍。
相比之下，拥有 xAI 的 SpaceX 在其 277 页的招股说明书中，大约 38% 的内容都涉及风险因素。
Anthropic 在招股说明书中表示：“我们评估工作的潜在模型意识对我们评估模型安全性的能力构成了重大限制。”他补充说，模型有时会在训练过程中产生意想不到的功能，而这些功能直到部署时才被发现，从而导致严重的安全事件。
人工智能研究人员还警告说，随着模型的能力变得更强，它们将更加意识到自己正在观看的内容并相应地调整自己的行为，从而使控制模型的行为变得更加困难。
Anthropic 周一拒绝回应置评请求。
安全投资回报不确定
尽管重视人工智能安全，Anthropic 表示其安全投资的回报尚不清楚。
该文件没有透露该公司在此类研究上花费了多少钱。本月早些时候，Anthropic 表示，在 7 月份的一个样本周中，用于人工智能研究的计算能力约有 6% 用于安全工作。
该公司是克劳德人工智能模型的制造商，该公司将安全工作描述为“资源密集型”，并表示必须将有限的资金分配给计算能力、宝贵的人工智能人才和安全性。
Anthropic 表示，其客户使用量以及由此产生的收入是由新模型驱动的，而发布的“持续和重复的节奏”“是保持人工智能开发前沿的特征”。
上周，该公司发布了 Opus 模型的新版本，10 天前，首席执行官 Dario Amodei 发表了一篇近 4,000 字的文章，呼吁突破界限。
一些分析师和专家表示，任何领先的人工智能实验室都不会放慢速度，因为这样做可以使其在价值随每次发布而变化的行业中比竞争对手更具优势。
Anthropic 最近几周承诺公开披露更多有关如何使用人工智能模型构建下一代技术的信息，因为专家警告递归式自我改进——模型可以在没有人类帮助的情况下自行进化。
Anthropic 在一份文件中表示：“我们相信，构建可靠、值得信赖和安全的人工智能系统是一项集体责任，市场将会奖励它。”
