随着下一代人工智能应用程序深深植根于日常业务工作流程甚至安全系统本身，红队不仅带来了安心，还可以发现传统被动安全系统几乎肯定会忽视的漏洞。
人类的交流是多模态的。我们用许多不同的方式接收信息，这使我们的大脑能够从不同的角度看世界，并将这些不同的信息“模式”转化为现实的综合图景。
如今，人工智能 (AI) 至少在一定程度上也能做到这一点。与我们的大脑非常相似，多模态 AI 应用程序可以处理不同类型的数据。例如，OpenAI 的 ChatGPT 4.0 可以跨文本、视觉和音频进行推理，从而赋予其更强的情境感知能力和更像人类的交互能力。
然而，虽然这些应用程序在注重效率和适应性的商业环境中显然很有价值，但其固有的复杂性也带来了一些独特的风险。
IBM CNE 能力开发主管 Ruben Boonen 表示：“针对多模态 AI 系统的攻击主要是让它们在最终用户应用程序中产生恶意结果或绕过内容审核系统。现在想象一下这些系统处于高风险环境中，例如自动驾驶汽车中的计算机视觉模型。如果你能欺骗一辆汽车，让它认为它不应该停下来，即使它应该停下来，那可能是灾难性的。”
多模式人工智能风险：金融领域的一个例子
以下是另一种可能的真实场景：
一家投资银行使用多模式人工智能应用程序来为其交易决策提供信息，处理文本和视觉数据。该系统使用情绪分析工具来分析文本数据（例如收益报告、分析师见解和新闻提要），以确定市场参与者对特定金融资产的看法。然后，它对视觉数据（例如股票图表和趋势分析图）进行技术分析，以提供有关股票表现的见解。
然后，一名对手（一名欺诈性的对冲基金经理）瞄准系统中的漏洞来操纵交易决策。在这种情况下，攻击者通过向在线新闻来源大量发布有关特定市场和金融资产的虚假新闻来发起数据中毒攻击。接下来，他们通过对股票表现图表进行像素级操纵（称为扰动）来发起对抗性攻击，这些操纵对于人眼来说是不可察觉的，但足以利用人工智能的视觉分析能力。
结果如何？由于输入数据被操纵和信号被错误，系统建议以人为抬高的股价买入。公司对漏洞毫不知情，听从了人工智能的建议，而持有目标资产股份的攻击者则将其出售，以牟取不义之财。
抢在对手之前到达那里
现在，让我们想象一下，这次攻击实际上并不是由欺诈性的对冲基金经理发起的，而是由红队专家发起的模拟攻击，目的是抢在现实世界的对手之前发现漏洞。
通过在安全的沙盒环境中模拟这些复杂、多方面的攻击，红队可以发现传统安全系统几乎肯定会错过的潜在漏洞。这种主动方法对于在多模式 AI 应用程序进入生产环境之前对其进行强化至关重要。
根据 IBM 商业价值研究院的调查，96% 的高管同意，采用生成式 AI将增加其组织在未来三年内出现安全漏洞的可能性。多模态 AI 模型的快速普及只会使这一问题变得更加严重，因此 AI 专业红队的重要性日益凸显。这些专家可以主动应对多模态 AI 带来的独特风险：跨模态攻击。
跨模式攻击：操纵输入以生成恶意输出
跨模式攻击涉及在一种模式下输入恶意数据以在另一种模式下产生恶意输出。这些攻击可以采取模型训练和开发阶段的数据中毒攻击或对抗性攻击的形式，后者发生在模型部署后的推理阶段。
“当你拥有多模式系统时，它们显然会接受输入，并且会有某种解析器来读取该输入。例如，如果你上传 PDF 文件或图片，就会有一个图片解析或 OCR 库从中提取数据。然而，这些类型的库存在问题，”Boonen 说。
跨模态数据中毒攻击可以说是最严重的，因为一个重大漏洞可能需要在更新的数据集上重新训练整个模型。生成式人工智能使用编码器将输入数据转换为嵌入——对关系和含义进行编码的数据的数字表示。多模态系统对每种类型的数据（如文本、图像、音频和视频）使用不同的编码器。最重要的是，它们使用多模态编码器来集成和对齐不同类型的数据。
在跨模式数据中毒攻击中，有权访问训练数据和系统的攻击者可以操纵输入数据，使编码器生成恶意嵌入。例如，他们可能会故意在图像中添加不正确或误导性的文字说明，以便编码器对其进行错误分类，从而产生不良输出。在正确分类数据至关重要的情况下，例如在用于医疗诊断或自动驾驶汽车的 AI 系统中，这可能会带来可怕的后果。
红队对于模拟此类场景至关重要，否则它们将对现实世界产生影响。“假设您在多模式 AI 应用程序中有一个图像分类器，”Boonen 说。“您可以使用一些工具来生成图像并让分类器给您评分。现在，让我们想象一下，红队以评分机制为目标，逐渐让它对图像进行错误分类。对于图像，我们不一定知道分类器如何确定图像的每个元素是什么，因此您会不断对其进行修改，例如添加噪声。最终，分类器将不再产生准确的结果。”
实时机器学习模型中的漏洞
许多多模态模型都具有实时机器学习功能，可以不断从新数据中学习，就像我们之前探讨的场景一样。这是跨模态对抗攻击的一个例子。在这些情况下，对手可以用操纵的数据轰炸已经投入生产的 AI 应用程序，以诱使系统对输入进行错误分类。当然，这也可能是无意中发生的，这就是为什么有时人们说生成式 AI 越来越“愚蠢”的原因。
无论如何，结果是，经过不良数据训练和/或重新训练的模型最终不可避免地会随着时间的推移而退化——这一概念被称为人工智能模型漂移。多模态人工智能系统只会加剧这一问题，因为不同数据类型之间不一致的风险会增加。这就是为什么红队对于在训练和推理阶段检测不同模态相互作用方式中的漏洞至关重要。
红队还可以检测安全协议中的漏洞以及它们在不同模式下的应用情况。不同类型的数据需要不同的安全协议，但它们必须保持一致，以防止出现漏洞。例如，考虑一个允许用户通过语音或面部识别验证自己的身份验证系统。假设语音验证元素缺乏足够的反欺骗措施。攻击者很可能会瞄准安全性较低的模式。
监控和门禁系统中使用的多模态人工智能系统也面临数据同步风险。此类系统可能会使用视频和音频数据实时检测可疑活动，方法是将视频中捕捉到的嘴唇动作与口述的密码或姓名进行匹配。如果攻击者篡改反馈，导致两者之间出现轻微延迟，他们可能会使用预先录制的视频或音频误导系统，从而获得未经授权的访问权限。
多模态 AI 红队入门
尽管针对多模式 AI 应用的攻击仍处于早期阶段，但采取主动措施总是有好处的。
随着下一代人工智能应用程序深深植根于日常业务工作流程甚至安全系统本身，红队不仅带来了安心，还可以发现传统被动安全系统几乎肯定会忽视的漏洞。
多模式人工智能应用为红队开辟了新的领域，组织需要他们的专业知识来确保他们在对手之前了解漏洞。
来源 ：祺印说信安