
# 多模态 AI 证据提取用于安全问卷

安全问卷是每笔 B2B SaaS 交易的守门人。供应商需要提供证据——策略 PDF、架构图、代码片段、审计日志，甚至是仪表盘的截图。传统上，安全和合规团队需要 **数小时** 在代码库中翻找，复制文件，并手动将它们附加到问卷字段中。结果是一个瓶颈，拖慢了销售周期，增加了人为错误，并产生审计漏洞。

**Procurize** 已经构建了一个强大的统一平台用于问卷管理、任务分配和 AI 辅助的答案生成。下一步的前沿是 **自动化证据收集本身**。通过利用 **多模态生成式 AI**——能够在单一流水线中理解文本、图像、表格和代码的模型，组织可以瞬间为任何问卷项提供合适的资产，无论其格式为何。

在本文中我们将：

1. 解释为何单模态方法（纯文本 LLM）在现代合规工作负载中不足。  
2. 阐述基于 Procurize 构建的多模态证据提取引擎的架构。  
3. 展示如何使用 **生成式引擎优化（GEO）** 技术训练、评估并持续改进系统。  
4. 提供一个完整的端到端示例，从安全问题到自动附加证据。  
5. 讨论治理、安全和可审计性方面的关注点。  

> **关键要点：** 多模态 AI 将证据检索从手动琐事转变为可重复、可审计的服务，将问卷周转时间缩短最多 80 %，同时保持合规严谨性。

---

## 1. 文本唯一 LLM 在问卷工作流中的局限性

当今大多数 AI 驱动的自动化依赖于在 **文本生成** 和 **语义搜索** 上表现出色的大语言模型（LLM）。它们可以提取策略条款、摘要审计报告，甚至草拟叙述性答案。然而，合规证据很少是纯文本的：

| 证据类型 | 常见格式 | 对仅文本 LLM 的难度 |
|----------|----------|----------------------|
| **架构图** | PNG、SVG、Visio | 需要视觉理解 |
| **配置文件** | YAML、JSON、Terraform | 结构化但经常嵌套 |
| **代码片段** | Java、Python、Bash | 需要语法感知的提取 |
| **仪表盘截图** | JPEG、PNG | 必须读取 UI 元素、时间戳 |
| **PDF 审计报告中的表格** | PDF、扫描图像 | 需要 OCR + 表格解析 |

当问题要求 *“提供一张展示生产和备份环境之间数据流的网络图”* 时，纯文本模型只能给出文字描述，无法定位、验证或嵌入实际图片。这一缺口迫使用户介入，从而重新引入我们试图消除的手动工作。

---

## 2. 多模态证据提取引擎的架构

下面是与 Procurize 核心问卷中心集成的高层图示。

```mermaid
graph TD
    A["用户提交问卷项"] --> B["问题分类服务"]
    B --> C["多模态检索编排器"]
    C --> D["文本向量库 (FAISS)"]
    C --> E["图像嵌入库 (CLIP)"]
    C --> F["代码嵌入库 (CodeBERT)"]
    D --> G["语义匹配 (LLM)"]
    E --> G
    F --> G
    G --> H["证据排序引擎"]
    H --> I["合规元数据增强"]
    I --> J["自动附加至 Procurize 任务"]
    J --> K["人工审查环节"]
    K --> L["审计日志条目"]
```

### 2.1 核心组件

1. **问题分类服务** – 使用微调的 LLM 为进入的问卷项打上 **证据类型**（如 “网络图”、 “策略 PDF”、 “Terraform 计划”）标签。  
2. **多模态检索编排器** – 根据分类结果把请求路由到相应的嵌入库。  
3. **嵌入库**  
   * **文本库** – 基于 FAISS 的索引，包含所有策略文档、审计报告和 markdown 文件。  
   * **图像库** – 使用 CLIP 为每张图、截图、SVG 生成向量。  
   * **代码库** – 使用 CodeBERT 为所有源码、CI/CD 配置和 IaC 模板生成嵌入。  
4. **语义匹配层** – 跨模态 transformer 将查询嵌入与各模态向量融合，返回候选资产的排名列表。  
5. **证据排序引擎** – 应用 **生成式引擎优化** 启发式：新鲜度、版本控制状态、合规标签相关性以及 LLM 置信度。  
6. **合规元数据增强** – 为每个资产附加 SPDX 许可证、审计时间戳和数据保护标签。  
7. **人工审查环节（HITL）** – 在 Procurize 中的 UI 展示前 3 条建议，审阅者可以批准、替换或拒绝。  
8. **审计日志条目** – 每一次自动附加均记录加密哈希、审阅者签名和 AI 置信度，满足 SOX 与 [GDPR](https://gdpr.eu/) 审计轨迹。

### 2.2 数据摄取流水线

1. **爬虫** 扫描公司文件共享、Git 仓库、云存储桶。  
2. **预处理器** 对扫描的 PDF 运行 OCR（Tesseract），提取表格（Camelot），并将 Visio 文件转换为 SVG。  
3. **嵌入器** 生成模态特定向量并连同元数据（文件路径、版本、所有者）存入对应库。  
4. **增量更新** – 变更检测微服务（watchdog）仅对已修改的资产重新嵌入，保持向量库实时更新。

---

## 3. 生成式引擎优化（GEO）用于证据检索

**GEO** 是一种系统化方法，用于调优整个 AI 流水线——不仅仅是语言模型——以提升最终 KPI（问卷周转时间），同时保持合规质量。

| GEO 阶段 | 目标 | 关键指标 |
|----------|------|----------|
| **数据质量** | 确保嵌入及时反映最新合规姿态 | 资产刷新比例 < 24 h |
| **提示工程** | 编写检索提示，引导模型聚焦正确模态 | 检索置信度得分 |
| **模型校准** | 将置信阈值与人工审查接受率对齐 | 假阳性率 < 5 % |
| **反馈回路** | 捕获审查者操作，以微调分类和排序 | 平均批准时间 (MTTA) |
| **持续评估** | 夜间 A/B 测试历史问卷项的验证集 | 平均回答时间下降率 |

### 3.1 多模态检索提示示例

```
[QUESTION] 提供最近的 [SOC 2] Type II 审计报告，涵盖数据在静止时的加密。

[CONTEXT] 检索包含相关审计章节的 PDF 文档。返回文档 ID、页码范围以及简要摘录。

[MODALITY] text
```

编排器解析 `[MODALITY]` 标记，仅查询 **文本库**，大幅降低来自图像或代码向量的噪声。

### 3.2 自适应阈值

使用 **贝叶斯优化**，系统自动为每种模态调整置信阈值。当审查者一致接受置信度≥0.78 的图像建议时，阈值上调，以减少不必要的审查；若代码片段频繁被拒绝，阈值下降，系统将提供更多候选。

---

## 4. 端到端示例：从问题到自动附加证据

### 4.1 问题

> *“请附上一张显示客户数据从采集到存储的流向图，并标出加密点。”*

### 4.2 步骤细分

| 步骤 | 操作 | 结果 |
|------|------|------|
| 1 | 用户在 Procurize 中创建新的问卷项 | 项目 ID `Q‑2025‑1123` |
| 2 | 分类服务将查询标记为 `evidence_type: network diagram` | 模态 = **image** |
| 3 | 编排器把查询发送至 CLIP 图像库 | 检索到 12 条候选向量 |
| 4 | 语义匹配层计算查询嵌入与每个向量的余弦相似度 | 前三得分：0.92、0.88、0.85 |
| 5 | 排序引擎评估新鲜度（最近修改 2 天前）和合规标签（包含 “encryption”） | 最终排名：`arch‑data‑flow‑v3.svg` |
| 6 | HITL UI 显示该图的预览、作者、版本、哈希等元数据 | 审阅者点击 **批准** |
| 7 | 系统自动把图像附加到 `Q‑2025‑1123` 并记录审计条目 | 审计日志记录 AI 置信度 0.91、审阅者签名、时间戳 |
| 8 | 答案生成模块草拟引用该图的叙述性答案 | 完成的答案即可导出 |

从步骤 1 到步骤 8 的总耗时约 **45 秒**，相较传统的 **15‑20 分钟** 手动检索大幅提升。

---

## 5. 治理、安全与可审计性

自动化证据处理必然引发合法性担忧：

1. **数据泄漏** – 嵌入服务必须运行在 **零信任 VPC** 中，使用严格的 IAM 角色。嵌入向量绝不离开企业网络。  
2. **版本控制** – 每个资产都附带 **Git 提交哈希**（或存储对象版本）。文档更新后，系统自动失效旧嵌入。  
3. **可解释性** – 排序引擎记录相似度得分和提示链路，便于合规官追溯 *为何* 选中了特定文件。  
4. **法规对齐** – 通过为每个资产附加 SPDX 许可证标识和 [GDPR](https://gdpr.eu/) 处理类别，满足 [ISO 27001](https://www.iso.org/standard/27001) 附件 A 的证据来源要求。  
5. **保留政策** – 自动清除作业删除超过组织数据保留窗口的嵌入，防止陈旧证据残留。

---

## 6. 未来方向

### 6.1 多模态检索即服务（RaaS）

通过 **GraphQL API** 将检索编排器暴露给其他内部工具（例如 CI/CD 合规检查），实现无需经过完整问卷 UI 的证据请求。

### 6.2 实时监管雷达集成

将多模态引擎与 Procurize 的 **监管变动雷达** 结合。当检测到新法规时，自动重新分类受影响的问题并触发全新证据搜索，保证上传的资产始终合规。

### 6.3 跨企业联邦学习

对于服务多个客户的 SaaS 提供商，可采用 **联邦学习** 层共享匿名化的嵌入更新，在不泄露专有文档的前提下提升检索质量。

---

## 7. 结论

安全问卷仍是供应商风险管理的基石，但收集并附加证据的手工工作正日益难以为继。通过拥抱 **多模态 AI**——融合文本、图像与代码理解——Procurize 能将证据提取转化为自动、可审计的服务。借助 **生成式引擎优化** 可确保系统持续改进，使 AI 置信度与人工审查期望保持一致，并满足合规要求。

最终效果是 **显著加速问卷响应时间**、降低人为错误并提供更强的审计追踪，让安全、法务和销售团队从重复的文档搜寻中解脱出来，专注于战略性的风险缓解。

---

## <span class='highlight-content'>另见</span>

- [使用 CLIP 和 FAISS 的多模态检索——面向可扩展企业搜索的探索](https://arxiv.org/abs/2103.00020)  
- [生成式引擎优化：持续 AI 改进框架](https://www.mitre.org/publications/technical-papers/generative-engine-optimization)  
- [面向 AI 驱动合规平台的零信任架构](https://cloud.google.com/solutions/zero-trust-ai)  
- [ISO 27001 附件 A——证据管理要求](https://www.iso.org/standard/73906.html)