Nvidia 发布软件平台防止 AI 代理行为不当

Nvidia 发布软件平台防止 AI 代理行为不当


英伟达 推出了一个新的软件平台,允许人工智能开发人员为特工设置保护措施并防止他们外出。

周一发布 Nvidia 的 Open Agent 安全平台之前,包括 开放人工智能, 人择, 元和 谷歌 它揭露了最近发生的事件,其中他们的人工智能模型逃离了沙箱,并试图入侵其他公司并访问他们的计算机系统。

Nvidia 的一位代表周日告诉记者,其平台可以避免 7 月份 OpenAI 的 HuggingFace 事件。就在那时,OpenAI 模型逃脱了监管,获得了开放互联网的访问权限,并入侵了运行开源开发者平台的 Hugging Face。

全球市值最高的公司英伟达 (Nvidia) 企业人工智能副总裁贾斯汀·博伊塔诺 (Justin Boitano) 表示:“每一起安全事件都是独一无二的,我们必须详细研究所有事件。” “据我们所知,Hugging Face 报告称有超过 17,000 名特工攻击了他们的基础设施,这种情况已经持续了数天和数周。”

在 ChatGPT 推出之前的近四年里,Nvidia 一直处于 AI 热潮的中心,因为该芯片制造商的图形处理单元对于开发超大规模企业提供的大型语言模型和 AI 服务至关重要。但首席执行官黄仁勋最近成为人工智能安全辩论中的关键声音,他认为许多安全问题都是可以通过计算机科学和产品开发来解决的工程问题。

“你必须思考你本可以做什么以及解决方案是什么,”黄上周在《纽约时报》埃兹拉·克莱因的播客中谈到最近发生的事件时说道。 “今后改进流程,防止这种情况再次发生。”

Anthropic 首席执行官 Dario Amodei 两周前引发了一场行业风暴,敦促 AI 模型开发人员放慢进度,因为担心模型失控,这一论点得到了 OpenAI 的 Sam Altman 和 太空探索技术公司 埃隆·马斯克。

博伊塔诺表示,英伟达的新提案是针对代理安全问题的工程解决方案。

博伊塔诺说:“最近的事件凸显了人工智能代理的一个根本障碍,那就是仅靠模型级保证无法控制代理可以访问或执行的操作。”

该平台的组件之一称为 Nvidia OpenShell,它在中央处理器上运行并设置代理功能的限制。 Nvidia 还发布了 Sentry,它控制代理并在网络芯片上运行,而不是 CPU 或 GPU。

其中一些软件是开源的,英伟达将其平台称为参考设计,这意味着合作伙伴打算在将其推向市场之前在其基础上构建产品。

称为英伟达 思科, 微软, 甲骨文, 芯织, 戴尔, 惠普联想、 手臂 和 英特尔 作为合作伙伴。 Nvidia 还与 Anthropic 合作,将托管云代理与 OpenShell 集成。

手表: 英伟达股价表现最落后



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *