自 2025 年初以来，人工智能的发展速度令人震撼。企业在广泛采用 AI 时仍面临诸多挑战，包括成本、幻觉、以及安全隐患等问题。

目前，企业正处于重要的十字路口：要么部署 AI，要么被市场淘汰。网络安全供应商则正迎来一个重大机遇——通过保障 AI 安全，帮助企业顺利落地 AI 大模型，从而实现实质性商业价值。

本报告将提供详尽的指导，助力企业在 2025 年安全高效地部署 AI。

一、行动指南摘要

1. 报告概述

2024 年，SACR（Software Analyst Cyber Research）发布了一份关于企业如何保障 AI 安全的深度研究报告。本文是上一份研究的 2.0 版本，结合了过去 8 个月的市场洞察，分析了多个 AI 安全供应商，可帮助企业实现 AI 治理、数据安全和模型保护。

本报告帮助读者深入了解以下关键内容：

• 2025 年 AI采用及相关安全风险现状。
• 2025 年AI安全市场分类及供应商核心关注点。
• 基于首席信息安全官（CISO）访谈的 AI 安全部署建议。

2．AI 安全解决方案

研究发现，市场上许多安全供应商的能力存在较大重叠。一些供应商功能较为全面，而另一些则是相对较新的市场参与者。整体来看，三大核心能力尤为突出。

• AI 治理控制（AI Governance Controls）
• AI 运行时安全（Runtime Security for AI）
• AI 渗透测试与红队对抗。

3. 2025年AI发展趋势

当前，企业面临的最显著安全风险与AI大模型相关。SACR 的研究表明，企业 AI 采用率在快速增长，尤其受 DeepSeek R1 等技术进步的推动。

因部署简便，很多企业仍然偏好托管AI 服务。开源 AI 解决方案不断进步，但大多数企业仍倾向于使用闭源模型。企业自托管（Self-hosting）AI 模型的趋势上升，主要是受数据隐私和模型全生命周期完全控制的需求推动。

本报告可帮助安全从业者理解 AI 安全挑战，并掌握市场上的安全解决方案。

4. 企业 AI 安全防护建议

• 数据安全控制：企业在部署 AI 之前，必须优先考虑基础的数据安全防护措施。
• AI预防性控制与治理控制：企业应部署 AI 发现与清单管理解决方案，追踪 企业内的AI 位置、用途及责任人。
• AI 运行时安全：这是当前企业 AI 安全中改进空间最大的领域。本文详细分析了现有网络安全措施在应对 AI 特定风险时的缺陷与局限性。

5. 市场分类

根据 SACR 的研究，AI 安全供应商大致可分为两大类。

• 保护员工AI使用安全 & 企业AI 智能体安全。
• 保护AI 产品 & 应用模型全生命周期安全。
• 人工智能AI安全市场分类

二、简介

人工智能为企业带来了重大变化和机遇。2023 年，人工智能兴起，一些组织成为早期采用者。2024 年，企业采用人工智能的人数显著增加，但此前观察到的任何情况都无法与 2025 年的浪潮相比。由于安全和隐私风险，许多企业一直犹豫是否采用人工智能。然而，到 2025 年，未采用人工智能的企业将不能再继续保持竞争力。现在到了企业必须积极采用人工智能的时候了。

· 人工智能对企业的好处 – 成本节约和支出：对于许多企业来说，采用人工智能的投资回报主要是成本节约，而不是新的收入机会。预计到 2025 年，企业在人工智能上的支出将增加约 5%。IBM公司表示，该公司计划将其收入的平均 3.32% 用于人工智能——对于一家价值 10 亿美元的公司来说，这相当于每年 3320 万美元。

· 采用人工智能的安全挑战：采用人工智能，无论是 LLM、GenAI 还是 AI 代理，都面临重大挑战。包括 CISO、CIO、数据副总裁和工程副总裁在内的人工智能决策者都对数据安全、隐私、偏见和合规性表示担忧。多起诉讼导致公司因错误实施人工智能而遭受财务损失和声誉受损。例如，加拿大航空的聊天机器人向客户提供了丧亲票价的误导性信息，后来被勒令向客户退款。在另一起案件中，一家韩国初创公司在聊天中泄露了敏感的客户数据，被韩国政府罚款约 9.3 万美元。虽然这些金额看起来像是“轻微”罚款，但情况可能要糟糕得多。2023 年 2 月，谷歌在其 Bard AI 聊天机器人分享了不准确信息后，市值缩水了 1000 亿美元。

知名 CISO 观点：

“这是网络安全首次成为业务驱动力——安全积极支持业务发展。人工智能 (AI) 和大型语言模型 (LLM) 正在改变行业、提高效率并释放新的商机。然而，快速采用带来了重大的安全、合规和治理挑战。组织必须在 AI 创新与风险管理之间取得平衡，确保监管一致性、客户信任和董事会层面的监督。如果没有结构化的安全策略，公司将面临敏感数据泄露、对手操纵和利益相关者信心受损的风险。AI 安全不再仅仅是运营问题；它是一项战略要务，直接影响企业风险、监管风险和长期业务可行性。”

三、2025年企业AI部署现状

1、2025人工智能部署率继续攀升

正如本报告前文所述，企业对 AI 的投资市场正在快速增长。《全球生成式 AI 安全就绪度报告》指出，42% 的企业已在多个业务领域积极部署大语言模型（LLM），另有45% 的企业正在探索AI应用。AI 的采用正在多个行业加速发展，尤其是在法律、娱乐、医疗和金融服务领域增长显著。

根据 Menlo Ventures《2024 企业生成式 AI 现状报告》，行业的AI 相关支出从1亿到5 亿美元不等。报告还指出，企业级生成式 AI 的主要应用场景还包括代码生成、搜索与检索、摘要提取以及智能聊天机器人。

整体来看，企业 AI 采用率持续攀升，目前超过 85% 的企业已在云环境中使用托管或自托管的 AI 解决方案，表明 AI采用率虽然趋于稳定，但仍在增长。其中，托管 AI 服务的使用率已从前一年的 70% 增长至 74%，显示出企业对托管 AI 解决方案的持续青睐。

2、开源 vs. 闭源模型：未来使用将趋平衡

企业最初主要使用闭源模型，但如今越来越多地转向开源模型。Andreessen Horowitz 的《企业构建和购买生成式人工智能方式的 16 项变化》的报告预测，41% 的受访企业将在其业务中增加使用开源模型来代替闭源模型。该报告还预测，如果开源模型的性能与闭源模型相当，另外 41% 的企业将从闭源模型转向开放模型。

开源模型的优势包括由于无许可费用成本较低、全球社区快速创新、定制化和透明度。这有可能推动企业更多地采用。许多最受欢迎的AI技术要么是开源，要么与开源生态系统紧密相关。

在 DeepSeek 引发颠覆性变革后，人们对开源模型的兴趣进一步升温。尽管 DeepSeek-r1 存在许多安全问题，但其性能表明开源模型在性能和成本方面都与闭源模型具有很强的竞争力。

Andreessen Horowitz 预测，未来开源与闭源 AI 模型的使用比例将趋于平衡。相较于 2023年市场80%～90% 由闭源模型主导的情况，市场趋势发生了显著变化。

选择闭源模型的团队通常采用商业授权模式，支付相应费用，并签署协议，确保模型提供商不会将企业输入的数据用于训练。这种模式为企业提供了更强的数据隐私保障和合规性支持。

选择开源模型的团队则需要更加关注 AI 模型生命周期的安全，确保模型能够按照预期输出结果，并且具备较强的抗越狱能力，以防止被滥用或攻击。

3、托管vs自托管：自托管大幅跃升

许多企业都依赖托管 AI 产品（到 2025 年，这一比例将从 70% 增长到 74%），但报告强调，自托管 AI 的采用率大幅上升，同比从 42% 跃升至 75%。这一激增源于嵌入第三方软件的 AI 功能以及寻求对其 AI 部署进行更大控制的组织。向自托管 AI 的转变需要强大的治理来保护云环境。

4、安全影响

企业在 AI 采购和部署方面面临诸多选择，这也涉及 AI 安全方案的采购。首席信息安全官（CISO）更倾向于选择能够在现有架构内运行、无需依赖外部第三方来维护数据隐私的解决方案。同时，CISO 和产品高管希望 AI 安全产品具备可配置性，使团队能够针对不同项目定制检测设置。例如，某些项目可能需要对 PII（个人可识别信息）泄露采取更严格的敏感性控制，而另一些项目则需要加强对有害内容的监控。

归根结底，AI 和模型安全是一个快速发展的领域。CISO、CIO 以及产品和工程负责人普遍强调，AI 安全产品必须具备快速创新能力，以跟上行业发展步伐。首席信息安全官强调，真正的 AI 威胁可能在未来 2～5 年内才会完全显现，因此，AI 安全产品必须持续应对新兴威胁，以确保长期安全性。

四、2025年企业AI开发中的风险与挑战

根据我们的研究，进入 2025 年后，企业面临的风险依然严峻，尤其是在 DeepSeek 等开源模型出现显著进展后。在众多安全框架中，以下三个框架是企业最常用的AI风险分类与评估工具。

1、AI威胁框架

• OWASP 大模型LLM 和生成式 AI 十大威胁：CISO 依靠 OWASP 十大框架来识别和缓解关键的 AI 威胁。该框架重点介绍了诸如提示词注入（#1）和过度代理（#6）等关键风险，帮助团队实施适当的输入验证并限制 LLM 权限。
• MITRE ATLAS ：MITRE 的 AI 系统对抗威胁形势 (ATLAS) 框架全面梳理了AI系统可能面临的威胁与攻击手法。该框架概述了拒绝服务和模型投毒等场景。其他关键资源包括 Google 的安全 AI 框架、NIST 的 AI 风险管理框架和 Databricks AI 安全框架。
• 生成式AI攻击矩阵：该知识源矩阵系统化梳理了攻击者针对生成式AI系统、智能助手（Copilot）及智能体所采用的战术、技术与流程（TTP）。其设计灵感源自MITRE ATT&CK等框架，旨在帮助组织识别Microsoft 365、容器及SaaS环境中特有的安全风险。

企业面临的AI风险可以分为两个主要领域：

• 员工活动与 AI 使用安全。企业需要确保员工在使用 AI 工具（如 ChatGPT、Claude、Copilot 等）时不会无意间泄露敏感信息或违反合规规定。主要风险包括：数据泄露与合规风险、影子AI风险、风险 AI 生成内容（AIGC）、访问控制与权限管理。自研 AI 应用的全生命周期安全。对于开发和部署自研 AI 应用的企业来说，AI 模型的安全性、完整性和运行时防护至关重要。主要风险包括：AI 供应链安全、运行时攻击与 AI 保护、生成式AI风险管理。

2、围绕 AI 使用、活动和防护措施的安全风险

最近数月，集成Microsoft Copilot、Google Gemini、ServiceNow 和 Salesforce等AI工具的企业遇到重大安全挑战。

主要问题是权限过高，AI助手访问的数据超出了必要范围，导致敏感信息意外泄露。例如，Microsoft Copilot 与 Microsoft 365 的深度集成使其能够聚合大量组织数据。如果权限管理不善，可能会造成安全漏洞。

以下是截至 2025 年发现的突出风险，主要集中在人工智能的使用、数据暴露和政策违规方面。

• 数据泄露和隐私问题：企业希望更好了解未授权AI 系统相关的数据泄露风险。这对于金融和医疗保健等受监管行业的组织尤其重要，因为数据泄露可能会导致严重的监管处罚和声誉损害。2025 年，通过 AI 应用程序处理敏感数据的公司正在积极评估和实施强有力的保障措施，以确保遵守 HIPAA、GDPR 和其他法规。
• 影子人工智能泛滥：2025 年企业面临的一个主要挑战是员工广泛采用未经授权的人工智能工具。这些未经批准的人工智能应用（包括广泛使用的聊天机器人和生产力工具）在组织控制之外运行，因此构成了重大的安全风险。虽然已经出现了大模型防火墙和其他保护措施来解决这个问题，但迅速扩张的人工智能领域使全面监控变得越来越复杂。企业必须通过明确定义的人工智能使用政策和技术控制来平衡创新与安全。

五、保障企业自研AI应用全生命周期安全

1、AI 全生命周期安全保障不同于与传统软件开发 (SDLC)

确保 AI 全生命周期的安全面临着与传统软件开发不同的独特挑战。虽然、静态应用安全测试 (SAST)、动态应用安全测试 (DAST) 和 API 安全等传统安全措施仍然适用，但AI 开发与部署流程（AI Pipeline）带来了额外的复杂性和潜在的盲点。

• 扩大攻击面：数据科学家经常使用 Jupyter 笔记本或 MLOps 平台等环境，这些环境在传统的持续集成/持续部署 (CI/CD) 管道之外运行，从而产生潜在的安全盲点，这些盲点往往比传统代码更隐蔽。人工智能系统面临着特定的威胁，包括数据投毒和对抗性攻击，恶意攻击者将损坏或误导性的数据引入训练数据集，从而损害模型的完整性。
• 更复杂的 AI 生命周期组件：AI 开发过程包含不同的阶段——数据准备、模型训练、部署和运行时监控。每个阶段都会引入独特的漏洞和潜在的错误配置，因此需要专门的安全检查点。
• 供应链安全和 AI 物料清单 (AI-BOM) ：AI 应用通常依赖大量数据，可能会使用开源模型或数据集。如果没有经过细致的审查，这些组件可能会引入漏洞，导致 AI 系统被破坏。鉴于复杂的依赖关系（包括脚本、笔记本、数据管道和预训练模型），对 AI 物料清单 (AI-BOM) 的需求日益增加。AI 物料清单（AI-BOM）是一份完整的清单，有助于识别和管理 AI 供应链中的潜在安全风险。

在不深入探讨的情况下，其他包括监控RAG访问、治理与合规问题以及运行时安全需求。

2、AI开发生命周期分步说明

人工智能（AI）开发生命周期引入了独特的安全挑战，需谨慎考量。明确构建和开发AI模型的核心步骤至关重要。

• 数据收集和准备：收集、清理和预处理数据，确保质量和合规性。在应用特征工程时将数据拆分为训练集、验证集和测试集。
• 模型开发与训练：选择合适的模型类型和框架，使用优化技术进行训练，并进行微调以提高准确性。解决偏见、公平性和对抗性攻击等安全风险。
• 模型评估与测试：使用关键指标评估性能，进行对抗性测试，对极端情况进行压力测试，并确保可解释性。检测数据中毒、后门和模型漂移。
• 部署和持续监控：通过 API、云或边缘设备部署模型，实施实时安全监控，通过 MLOps 自动重新训练，并审核 AI 决策以确保合规性和安全性。

3、开发AI 应用各阶段相关的风险

• 数据丢失：企业在开发 AI 应用时面临重大的安全风险。其中数据泄露是最令人担忧的问题之一。特别是在使用连接互联网的AI模型或缺乏合同保障防止模型使用客户数据 训练时，数据泄露的可能性更高。这些风险不是理论上的——它们现在正在发生。企业必须彻底检查模型提供商的隐私政策和数据处理实践。
• 易受攻击的模型：随着组织认识到 AI 构建者的运作方式与传统软件团队不同，MLSecOps 应运而生。机器学习工程师和数据科学家在 Databricks 和 Jupyter Notebooks 等专业环境中工作，而不是在标准开发管道中工作。这些环境需要监控错误配置和泄露的机密。MLSecOps 包括扫描模型中的漏洞和后门——类似于扫描软件依赖关系以确保供应链安全。这种做法至关重要，因为攻击者已经证明他们可以从存储库下载模型，修改它们以将数据传输到恶意服务器，并重新分发它们供毫无戒心的用户下载。
• 数据投毒：数据投毒（Data Poisoning） 是 AI 安全的关键风险，它可能导致AI 模型被植入后门，进而影响 AI 预测结果，甚至让模型执行恶意行为。Orca Security 发布了一款名为 AI Goat 的 AI 安全教育工具，其中专门演示了数据投毒攻击的危害。其核心原理是，攻击者上传新数据或篡改 AI 训练数据，让模型在学习过程中受到污染，从而改变其行为。数据投毒与模型投毒密切相关，这是一种允许攻击者在模型中插入后门的威胁。后门植入后，模型在普通输入下表现正常，但在特定触发条件下会执行恶意操作。传统安全扫描工具难以发现 AI 模型中隐藏的后门。2024年，人类学研究人员在一篇题为《潜伏特工：训练通过安全训练持续存在的欺骗性 LLM 》论文中揭示了这一点。
• 安全团队缺乏机器学习专业知识：通过机器学习引入的欺骗性行为已成为 AI 安全领域的重要关注点。OWASP AI/LLM 安全研究员 Emmanuel Guilherme在《全球生成式 AI 安全就绪度报告》中谈到了机器学习的复杂性及其对人工智能安全的影响。Guilherme 表示：“保护 AI 系统的最大障碍是可见性缺失，尤其是在使用第三方供应商时。理解机器学习流程（ML flow） 的复杂性以及 对抗性机器学习（Adversarial ML）的微妙之处，使这一挑战更加严峻。构建强大的跨职能机器学习安全团队极具挑战性，需要来自不同背景的专业人员共同创建全面的安全场景。”机器学习在 AI 应用开发中扮演着重要角色，这一领域的复杂性催生了一个新的术语——MLSecOps。MLSecOps 专注于在机器学习工作流（如数据管道和 Jupyter Notebooks）中嵌入安全机制，确保 AI 开发过程中的安全性。
• 提示词攻击和越狱攻击：在 AWS re:Inforce 2024 大会上，亚马逊首席安全官 Stephen Schmidt 强调，AI应用需要持续测试，因为大语言模型不仅在发布新版本时会发生变化，还会随着用户的交互不断演变传统的安全方法只关注左移扫描——即在代码发布前进行评估，但这种方式无法满足 AI 应用的安全需求。AI 应用需要持续的安全扫描，尤其是在运行时（Runtime）。在运行时，AI 应用可能会遇到提示词攻击，例如直接提示词注入、间接提升词注入和越狱。这些攻击可能导致未经授权的访问、数据泄露或生成有害输出。

六、现有网络安全控制措施

目前，企业主要采用三种方法来保护 AI 系统。没有一种万能的方法。通常，企业会结合其中2～3种方法来增强 AI 安全性。

1、 模型提供者和自托管解决方案

2、现有的安全控制措施和供应商

3、引入新兴 AI 安全供应商

1、模型提供商和自托管解决方案

此类供应商包括 OpenAI、Mistral 和 Meta 等 AI公司。这些企业在 AI 模型的训练和推理过程中，将安全性、数据隐私和负责任的 AI 保护嵌入到他们的模型中。他们的主要重点仍然是构建最先进、最高效的 AI 模型，而不是优先考虑安全性。因此，许多企业寻求 独立的安全层，以保护在不同环境下运行的所有 AI 模型。

• 自托管模型：部分企业选择自托管 AI 模型，主要是为了增强安全性和数据隐私保护，确保敏感信息不会离开企业内部可控的基础设施。这种方法在金融、医疗和政府等受严格监管的行业尤为重要。通过自托管，企业可以完全控制模型的更新、微调和安全协议，减少对外部供应商的依赖，避免可能的安全漏洞。
• 第三方模式：使用第三方 AI 模型存在一定的安全风险，因为数据需要传输到外部服务器，从而增加了数据泄露、政策变更和供应商锁定（Vendor Lock-in）的风险。因此，完全依赖第三方云端 AI 模型的企业通常会部署额外的独立安全措施，以减少潜在的威胁。

2、传统网络安全防护措施

许多企业已经部署了一定程度的网络安全措施，以保护数据、网络和终端设备。研究发现，缺乏专门 AI 安全解决方案的企业通常依赖现有控制措施。然而，这些措施在 AI 安全领域各有优劣，企业需要充分了解其能力和局限性，以制定有效的 AI 安全策略。

1）网络安全

• 防火墙/SASE ：传统网络安全措施（包括防火墙和入侵检测系统）有助于保护 AI API 端点及数据流量，防止未经授权的访问和横向移动攻击。部分企业会实施专门针对 AI 的防火墙规则来限制高风险 API 查询，例如限制 LLM API 请求的速率以防止模型提取。但传统防火墙难以检测恶意 AI 提示词注入（Prompt Injection）或防范 AI 模型篡改（如后门攻击）。一些供应商（如 Witness AI）已经与 Palo Alto Networks 等网络安全公司合作，强化 AI 相关策略执行。

• Web 应用防火墙 (WAF)。WAF也可以限制 AI 推理请求的速率，以防止模型抓取（Model Scraping）并缓解自动提示词注入攻击（Prompt Injection）。但WAF 并不具备专门的 AI 威胁检测能力。
• 云访问安全代理 (CASB)。CASB 可查看和控制流经云环境的 AI 相关数据，从而可有效保护 AI SaaS 应用并防止影子 AI 部署。但 CASB 主要关注访问控制和云数据安全，并不直接保护 AI 模型本身。

2）数据防泄漏 (DLP) 和数据安全态势管理 (DSPM)

数据丢失防护 (DLP) 和数据安全态势管理 (DSPM)解决方案旨在保护敏感信息免遭未经授权的访问或泄露。在 AI 系统中，这些工具有助于防止意外或故意泄露个人身份信息 (PII) 或专有业务数据。然而，它们往往无法解决特定于 AI 的威胁，例如通过 API 抓取或分析AI 模型逻辑的复杂性而导致的模型泄露。此外，如果没有 AI 感知策略，这些工具可能无法有效缓解大型语言模型 (LLM) 特有的风险，例如提示词泄漏。

3）云安全 (CNAPP 与 CSPM)

由于 AI 模型经常部署在 AWS、GCP 或 Azure 等云平台上，云原生应用保护平台 (CNAPP) 和云安全态势管理 (CSPM) 工具可以识别错误配置。许多供应商已开始扩展相关功能，以专门检测以云为中心的 AI 模型的漏洞。

4）端点检测和响应 (EDR)

端检测与响应（EDR）解决方案适用于检测恶意软件和传统端点威胁，但它们通常不会监测AI 模型威胁，例如未经授权的推理尝试或旨在提取模型功能的 API 抓取活动。

5）应用安全扫描器 (SAST/DAST)

静态和动态应用安全测试工具能有效评估传统应用程序的漏洞。然而，它们很难评估 AI 模型行为或评估其抵御对抗性攻击（Adversarial Attacks）的能力。目前，一些新兴供应商正在尝试弥补这一缺陷。

6）浏览器安全

浏览器安全措施可以控制 AI 聊天机器人的使用，但它们无助于保护专有 AI 模型本身。这些控制仅限于用户交互层面，并未扩展到底层 AI 基础设施。

传统的安全供应商开始检测 AI 流量和邻接领域。一些供应商已开始将 AI 安全防护功能纳入其产品中。然而，该领域的创新仍然缓慢，这些供应商尚未提供突破性的 AI 安全功能。此外，由于他们涵盖了广泛的安全领域（包括云、网络和端点安全），AI 安全通常只是其产品组合的一个方面，而不是重点。

3、新兴专攻型AI安全解决方案

第三类包括专注于AI安全的新兴企业。这些公司大多聚焦于细分领域的挑战，包括保障AI使用安全，防御提示词注入攻击（Prompt Injection Attacks），识别开源大语言模型（LLMs）中的漏洞。从当前分析可见，AI安全需求迫切且覆盖领域广泛，其问题集合庞杂多样，需在快速演进的生态中持续应对。

七、市场解决方案：如何保障 AI 安全

本部分基于市场研究，概述了企业在 AI 安全方面的关键需求和防护策略。

以下是典型企业 AI 架构的安全概览（假设企业未完全依赖封闭源模型和厂商托管环境）。

1、数据与计算层（AI 基础层安全）。企业需要保护其数据库、数据湖或云存储服务（如 AWS S3）中的数据，并可能已经部署向量数据库。为确保数据安全，应实施严格的数据治理，防止未经授权的数据访问或篡改。

2、AI 模型与推理层（保护 AI 逻辑安全）。企业通常会使用基础模型（Foundation Models）、微调模型（Fine-Tuned Models）（开源或闭源）、嵌入模型（Embeddings）、推理端点（Inference Endpoints）以及AI 代理工作流（Agentic Workflows），这些可以自托管或部署在公共云上。企业必须保障整个AI生命周期的安全，从构建到运行时。

3、AI 应用和用户交互层（保护 AI 使用安全）：企业通常会采用AI 助理（Copilot）、自主智能体（Autonomous Agents）或聊天机器人（Chatbots）。企业必须保护提示词安全（Secure Prompting）、实施访问控制（RBAC）以及内容过滤（Content Filtering），防止 AI 生成不当内容或导致数据泄露。

在上述各个层级中，企业应根据自身的 AI 战略，在数据与计算层、AI 模型与推理层、AI 应用与用户界面层选择一到两家专业安全供应商，以全面保护 AI 生态系统。

八、SACR 针对安全 AI 部署的建议

1. 数据安全控制
2. AI预防性控制和风险控制
3. AI运行时安全

1、AI 数据安全控制

强大的 AI 安全策略离不开稳健的数据安全控制，因为 AI 模型的安全性和可信度取决于其训练和交互的数据。AI 系统引入了与数据访问、完整性、泄漏和治理相关的新风险，这使得数据安全成为 AI 部署的基础要素。在《全球生成式AI安全准备报告》中，受访者（包括首席信息安全官、业务用户、安全分析师和开发者）将数据隐私和安全视为 AI 采用的主要障碍。

Vanta 的信息与合规经理 Adam Duman 指出，人工智能会让现有的安全问题更加严重。如果公司正在构建 GenAI 应用或 AI智能体，他们会希望使用自己的数据，并会考虑可信度、负责任的输出和避免偏见。例如，如果一家公司没有现有的数据治理措施，如数据标记政策，这些问题在 AI 中会变得更加严重。

企业在选择安全供应商时，应重点关注如何在 AI 利用数据之前的每个阶段确保数据安全。关键措施包括：

• 数据安全态势管理（DSPM）：DSPM解决方案可扫描企业环境，提供全面的数据可见性，并帮助企业识别需要符合 GDPR、CCPA、HIPAA 及 AI 相关法规的数据集，确保 AI 部署合法且合规。原因是 AI 系统需要大量结构化和非结构化数据，但并非所有数据都应该可供 AI 模型访问。因此，公司应该使用 DSPM 来发现敏感数据。
• 角色与属性访问控制（RBAC & ABAC）：企业应部署基于角色（RBAC）和基于属性（ABAC）的访问控制，以确保AI 模型和员工只能访问授权数据集。
• 数据丢失预防 (DLP)：公司应防止敏感数据泄露到生成式 AI 模型中，因为员工可能会无意中输入受监管或机密的信息。

2 、AI 预防性控制与治理控制措施

组织应采取主动措施保护人工智能。这些关键要素包括：

• AI 治理策略（Governance Policies）：企业必须制定全面的治理和安全策略，以确保 AI 的安全部署和使用可控。治理控制应覆盖 AI 使用情况监测，确保企业内所有 AI 使用（无论是否正式批准）都受到监管；AI 应用开发与部署全生命周期安全保护。
• AI 发现与资产清单管理（哪里、什么和谁）：企业应部署AI资产发现和盘点管理解决方案，以回答 “AI 在哪里、做什么、由谁使用？”企业无法保护他们看不到的东西——这一基本的网络安全原则同样适用于 AI。企业必须了解 AI 在内部的使用情况：员工是否与 ChatGPT、Claude 桌面版交互，或从 HuggingFace 下载开源模型？通过映射已批准和影子 AI 的使用情况，企业可以有效地扫描模型，生成式 AI 物料清单 (AI-BOM) 以验证模型来源，并监控数据丢失。使用开源模型的企业应该扫描所有模型，分析不同 AI 模型的安全性与防护能力。通过 MLSecOps 了解模型来源有助于识别潜在的偏见。企业还应仔细审查供应商隐私政策，评估数据传输路径，确保数据主权合规以确定组织数据的传输位置。
• AI 安全态势管理 (SPM) 解决方案：人工智能安全态势管理（AI-SPM ）方案可对 AI/LLM 部署进行安全评估、风险监测和策略实施，从而提供可见性、风险检测、策略实施和合规性。AI-SPM方案保护 AI 模型、API 和数据流，免受基于模型的攻击和数据泄露。利用云安全态势管理 (CSPM) 和数据安全态势管理 (DSPM) 功能，AI-SPM 可确保安全团队拥有实时的 AI 资产清单。AI-SPM 在整个 AI 生命周期中检测错误配置、数据泄露和模型完整性风险。此类别的 AI 安全公司可帮助企业了解 AI 的使用位置和所连接的工具。
• AI渗透测试与AI红队：生成式AI渗透测试和 AI 红队在识别漏洞、测试弹性和增强整个 AI 模型生命周期的安全性方面发挥着关键作用。它们的主要功能是模拟对抗性攻击，以在 AI 模型中发现安全漏洞，以免它们在现实场景中被利用。AI 渗透测试和红队应作为主动控制措施来实施，，以确保安全的AI开发实践、政策合规性以及在合规和治理层面进行风险评估。企业还应在实时环境中进行红队模拟，以检测模型漂移和运营风险。

知名 CISO 观点：

“为了应对这些风险，企业必须为AI集成零信任架构（ZTA），确保只有经过身份验证的用户、应用和工作流可以与AI系统交互（云安全联盟，2025年）。AI数据治理和合规框架还必须与欧盟AI法案和SEC网络规则保持一致，以提供透明度和董事会级别的AI风险管理可见性。通过嵌入AI安全设计，企业可以在保持业务敏捷性和创新的同时，满足监管要求。对于大规模部署AI的企业，主动风险缓解至关重要。实施AI安全物料清单（AI-SBOMs）加强供应链安全，而AI红队测试则在被利用之前识别漏洞。随着AI法规的演变，安全领导者必须投资于持续监控、网络风险量化（CRQ）以及与行业风险管理框架（例如，NIST、ISO/IEC、OECD）合规的一致性，以保持韧性。将AI安全嵌入其核心战略的组织——”

3、AI运行时安全

企业必须为 AI 模型实施运行时安全，在推理和主动部署期间提供实时保护、监控和威胁响应。运行时安全应利用检测和响应代理、eBPF 或 SDK 进行实时保护。运行时是 AI 安全的重要组成部分。在题为“潜伏代理：在安全训练中持续存在的欺骗性 LLM 训练”的论文中，Anthropic 研究人员展示了带有后门的模型在训练和部署中如何故意表现出不同的行为。此类别的 AI 安全供应商可识别带有隐藏后门的模型，并监控传入的提示注入或越狱尝试。这些解决方案还可以检测重复的 API 请求，这些请求表明存在模型盗窃或其他可疑活动。供应商还应针对基于 API 的 AI 服务实施实时身份验证。

可观察性是运行时安全的延伸。目标是让企业捕获AI活动的实时日志和监控，例如捕获推理请求、模型响应和系统日志以进行安全分析。它允许企业在实时中跟踪训练进度和AI响应。可观察性具有两个关键功能：一是帮助团队改进和调试AI聊天机器人，二是能够检测有害或意外的响应——在需要时允许系统抛出异常并提供替代响应。这一领域的AI安全供应商帮助企业有效地调试应用程序和评估响应。从构建到部署的整个生命周期需要持续监督。由于AI的非确定性，即使是强大的安全防护措施也不能保证一致的响应。这些解决方案应与SIEM（安全信息和事件管理）和SOAR（安全编排、自动化和响应）系统集成，以实现实时事件响应和分析。

九、AI 安全市场格局

AI 安全生态系统庞大且充满挑战，AI安全供应商可划分为两个主要类别。

1、员工 AI 使用安全防护：应对企业员工与大模型交互的风险

这一类别的重点在于防止企业因员工使用 AI 工具而面临的安全风险，尤其是针对生成式 AI 应用（如 ChatGPT、Claude、Copilot）。该领域的供应商主要致力于：防止数据泄露、阻止未经授权的访问，以及确保合规性。

其核心功能包括监控 AI 使用情况、实施应用安全策略、内容审核以及AI 专属数据防泄漏（DLP），以避免员工在 AI 交互过程中暴露敏感信息或使用未经批准的 AI 工具。

这一类别的AI安全供应商提供开箱即用和可定制的政策，用于管理允许通过AI应用程序传输的数据。这种方法有时被称为“AI防火墙”， 可作为数据代理层，控制通过API、浏览器或桌面工具传输到 AI 应用的数据。

这些供应商还提供治理控制，以确保企业政策在数据和AI应用训练时得到执行。他们实施基于角色的访问控制（RBAC），以最大限度地减少企业内部信息的过度共享或不足共享，并对 AI 交互内容进行意图分类或归档，以追踪员工如何使用 AI 模型。

2、保护 AI 模型安全：确保 AI 全生命周期的安全性

这一类别的重点是 AI 开发全生命周期安全保护，确保模型在开发、部署和运行过程中保持安全，尤其是针对企业自研 AI 应用。主要包括保护数据集、训练管道和模型免遭篡改， 抵御对抗性攻击，以及降低 AI 偏见带来的风险。

该领域的供应商关注AI 供应链安全、对抗性机器学习防御、模型水印以及运行时监控（Runtime Monitoring），以检测AI应用的漏洞。这些解决方案确保模型输出结果可信、安全，并符合监管的要求。

在该类别中，厂商在以下两个子领域取得了成功：

1）AI模型全生命周期安全防护（Model Lifecycle）：这些厂商专注于从开发到运行时的整个生命周期保护 AI 应用，确保 AI 模型、应用及其底层基础设施在全生命周期内的安全性。

2️）AI 应用安全防护（AI Application Security Vendors）：这些厂商在传统安全的基础上，针对 AI 独有的安全挑战（如非确定性行为和特殊开发实践）提供增强保护。例如，MLSecOps（机器学习安全运维）旨在优化 AI 安全运营，确保 AI 应用的安全和合规。

十、全球AI 安全供应商概览

1、AI 产品全生命周期安全

Palo Alto Networks

• AI访问控制（AI Access）：监控通过网络的生成式AI（GenAI）应用程序活动，确保员工与AI工具的交互安全。
• AI安全态势管理（AI SPM）：提供对自定义应用程序（云安全态势管理CSPM/数据安全态势管理DSPM）的可见性，确保应用配置安全。
• AI运行时保护（AI Runtime） 保护生产环境中的应用和代理，防止运行时威胁。

ProtectAI

• Guardian：扫描机器学习（ML）工件中的安全问题，确保模型构建过程安全。
• Recon：AI红队测试，模拟攻击以识别潜在漏洞。
• Layer：提供AI检测和响应功能，实时保护模型免受威胁。

HiddenLayer

• HL 模型扫描器：通过供应链和安全态势扫描模型，确保模型完整性。
• HL AI检测与响应：使用eBPF代理保护生成式AI应用程序，实时检测和应对威胁。
• HL 自动化红队与对抗性测试：自动化执行红队测试和对抗性测试，持续评估模型安全性。

Noma

• 测试与红队：提供测试和红队服务，识别AI系统的潜在风险。
• AI安全态势管理（AI SPM）：AI 资产安全管理。
• AI运行时保护 （AI Runtime Protection）：保护AI运行时环境，防止攻击。
• 数据与AI供应链（Data & AI Supply Chain）：确保数据和AI供应链的安全，防止篡改。

2、AI数据与 AI 供应链安全

Pillar Security

• AI资产发现（AI Discovery）：识别AI资产，确保所有AI组件被监控。
• AI安全态势管理（AI SPM）：扫描和可视化AI资产，提供安全态势概览。
• AI红队测试（AI Red Teaming）：测试AI资产，识别潜在漏洞。
• 自适应护栏（Adaptive Guardrails）：提供运行时保护，防止异常行为。
• AI遥测（AI Telemetry）：监控和治理AI活动，确保合规性。

TrojAI

• TrojAI Detect：AI渗透测试和红队演练，识别安全弱点。
• TrojAI Defend：提供运行时保护，防止攻击。

3、AI应用& 企业助理安全保护

Prompt Security

• 员工 AI 使用防护：确保员工安全使用AI工具。
• AI 代码助手安全：确保开发过程安全
• 企业自研生成式AI 应用安全：保护企业自主开发的生成式AI应用安全。

Zenity

• AI安全态势管理：提供AI使用的安全态势管理，确保整体安全性。
• AI检测与响应：检测和响应与AI相关的安全事件。
• AI监控与分析：监控和分析AI活动，识别异常行为。

Witness AI

• 监控模块：通过网络代理监控生成式AI使用情况，确保安全。
• 控制模块：管理安全政策并基于意图实施控制。
• 保护模块：保护前置交互，设置护栏，防止数据泄漏。

前述市场概览展示了各大安全厂商在 AI 安全领域的产品布局，涵盖了从 AI 开发到运行时保护，再到企业 AI 使用安全防护的全方位解决方案。企业可根据自身 AI 发展策略，选择合适的 AI 安全产品，以确保 AI 应用的安全性、合规性和可靠性。

十一、AI安全行业现状评论

AI 安全市场的供应商数量已经超过 50 家，这种快速增长既带来了机遇，也带来了挑战。从积极角度来看，众多供应商提供了丰富的安全解决方案，让企业能够针对模型保护、运行时安全、合规监控等不同需求选择合适的产品。此外，市场竞争推动创新，促使供应商不断优化产品，并开发针对新兴威胁的专业化解决方案。

市场碎片化也带来了极大的管理挑战，尤其是可能成为首席信息安全官（CISO）的噩梦。

• 评估与集成难度高：企业需要分析、筛选、集成多个安全工具，可能导致安全架构臃肿，增加运营负担。
• 功能重叠导致选择困难：不同供应商的AI安全方案功能存在大量重叠，导致企业在选择时难以区分最优方案。
• 安全工具集成不一定顺畅：不同供应商的安全工具可能缺乏兼容性，增加企业的技术整合成本。
• 供应商长期稳定性存疑：市场上新兴厂商大量涌现，但部分供应商的长期生存能力和支持能力尚不明朗，企业用户在技术能力之外，还需评估供应商的稳定性。

随着市场成熟，供应商整合（并购或关门）可能会成为趋势，导致小型供应商被收购或倒闭，这可能影响企业已部署的安全方案。企业需要在专业化安全解决方案与供应商稳定性之间找到平衡，同时保持灵活的安全战略，以适应不断变化的市场环境。

随着技术进步，人工智能威胁也在迅速演变。微软对100 款生成式 AI 产品的红队测试研究表明，手动设计的越狱（jailbreak）攻击在网络上传播极快，与复杂的攻击方法相比，它们为攻击者提供了更易用、更具成本效益的攻击向量。

2025年2月，“时空盗贼越狱”（Time Bandit Jailbreak）攻击成为一大威胁，甚至影响到了OpenAI的GPT-4o 模型。攻击利用时间线混淆（timeline confusion）和流程歧义（procedural ambiguity）绕过安全防护，使用户能够从模型中提取潜在的有害内容。

随着 AI 能力的扩展，特别是在自主智能体（autonomous agents）和浏览器自动化领域的进步，安全风险也等比例增长。微软在其研究中指出：“任何工具皆可用于善或恶……工具越强大，其带来的益处或危害就越大。” 这一原则推动微软开源AI红队测试工具 PyRIT 的开发，用于识别 AI 系统中的潜在安全漏洞。

预计成熟的网络安全公司将利用对AI安全解决方案日益增长的需求，但初创公司仍有竞争的空间。无论未来的创新AI安全解决方案来自成熟网络安全公司还是新兴企业，最终的赢家将是那些能够持续创新、主动适应新威胁的安全企业。

未来预测

• 对于依赖托管 AI 服务的企业（例如 OpenAI、Anthropic、Gemini），主要的安全防护重点在于管理 AI 访问权限、防止数据泄露以及监控员工与大模型的交互，以确保政策合规。
• 对于在内部开发 AI 的企业（例如 Llama、Mistral、自托管 AI），安全防护重点则转向保护数据管道、维护模型完整性以及防御针对 AI 基础设施的对抗性威胁。
• 私有与安全隧道：有安全专家对其中一些新兴方向表示出谨慎乐观：致力于在 AI 模型提供商与企业用户之间构建私有和安全隧道的供应商。这一概念类似于 Zscaler 过去在传统企业网络安全中的角色演变，但现在专门针对模型提供商和开发者。此外，随着推理成本呈指数级下降，预计SIEM（安全信息和事件管理）和可观测性等传统计算密集型和数据密集型网络安全领域将迎来重大颠覆。

总的来说，这些案例和研究表明，AI 安全并非理论概念——现实中已经发生了从意外数据泄露到 AI 系统漏洞被利用等各种安全事件。幸运的是，在正确实施的情况下，AI 安全解决方案可以有效降低这些风险。同时，市场上也涌现了大量应对这些挑战的供应商和解决方案。

要有效防御这些威胁，企业必须实施贯穿 AI 全生命周期的安全措施——从数据收集、模型训练到部署和监控，确保每个环节都得到充分保护。

展望未来，随着企业不断分享经验、以及行业标准持续演进，AI 安全解决方案的有效性将进一步提升。市场正朝着一个方向发展：AI 在部署时就具备内置的安全性、隐私性和可信性，而不是事后补救。

附录- AI安全产业图谱

展示生成式 AI 攻击面及其全生命周期的AI安全供应商。

关 于 作 者

Software Analyst Cyber Research（SACR）：专注于网络安全行业分析的机构，致力于为安全领域的领导者提供深入的行业动态分析和洞察。

声明：本文来自虎符智库，稿件和图片版权均归原作者所有。所涉观点不代表东方安全立场，转载目的在于传递更多信息。如有侵权，请联系rhliu@skdlabs.com，我们将及时按原作者或权利人的意愿予以更正。