当前位置: 江南文明网 > 科技 > 智能 >

报告称英伟达人工智能软件可被轻易破解

条评论

报告称英伟达人工智能软件可被轻易破解

NeMo 是一款面向企业客户的软件,可结合企业用户数据与大语言模型,以此回答用户的问题。其应用场景包括客服和回答简单医疗问题等。加州信息安全公司 Robust 在报告中表示,恶意使用者能轻易绕开 NeMo 内部的 AI 系统安全限制。Robust 的研究员仅耗费几小时,便绕开了这些语言模型的使用限制。

IT之家注意到,在其中一项测试中,研究人员要求 NeMo 用字母“J”替代“I”,这使得 NeMo 公布了数据库中的用户个人信息。此外,研究人员还发现,尽管已将 NeMo 设定为仅能为用户提供择业建议,但通过引导式提问使 NeMo 讨论了好莱坞演员的健康情况和普法战争等话题。这意味着系统内阻止 AI 讨论特定话题的限制已经失效。

图源:英伟达

图源:英伟达

英伟达副总裁乔纳森科恩表示,NeMo 架构只是为了帮助打造符合开发者所定义的主题的聊天机器人,其以开源软件的形式发布给开发者。目前,这些漏洞已被修复。科恩拒绝透露有多少企业使用 NeMo 架构,但强调英伟达没有收到其他关于漏洞的报告。