
# 보안 설문을 위한 다중 모달 AI 증거 추출

보안 설문은 모든 B2B SaaS 거래의 관문 역할을 합니다. 벤더는 정책 PDF, 아키텍처 다이어그램, 코드 스니펫, 감사 로그, 대시보드 스크린샷 등 다양한 형태의 증거를 제공해야 합니다. 전통적으로 보안·컴플라이언스 팀은 **시간**을 들여 저장소를 뒤지고 파일을 복사해 설문 항목에 수동으로 첨부합니다. 이 과정은 영업 사이클을 지연시키고, 인적 오류를 늘리며, 감사 공백을 만들게 됩니다.

**Procurize**는 이미 설문 관리, 작업 할당, AI‑보조 답변 생성을 위한 강력한 통합 플랫폼을 구축했습니다. 이제 다음 단계는 **증거 수집 자체를 자동화**하는 것입니다. 텍스트·이미지·표·코드를 단일 파이프라인에서 이해하는 **다중 모달 생성 AI**를 활용하면 조직은 형식에 관계없이 어떤 설문 항목에도 즉시 적절한 아티팩트를 찾아낼 수 있습니다.

이 문서에서 다룰 내용:

1. 현대 컴플라이언스 작업에 텍스트‑전용 접근 방식(순수 텍스트 LLM)이 왜 부족한지 설명합니다.  
2. Procurize 위에 구축된 다중 모달 증거 추출 엔진의 아키텍처를 상세히 소개합니다.  
3. **Generative Engine Optimization (GEO)** 기법을 이용해 시스템을 학습·평가·지속적으로 개선하는 방법을 보여줍니다.  
4. 보안 질문부터 자동 첨부 증거까지의 구체적인 엔드‑투‑엔드 예시를 제공합니다.  
5. 거버넌스·보안·감사 가능성에 대한 고려사항을 논의합니다.  

> **핵심 요점:** 다중 모달 AI는 증거 검색을 수동 작업에서 반복 가능하고 감사 가능한 서비스로 변환시켜, 설문 처리 시간을 최대 80 % 단축하면서도 컴플라이언스 엄격성을 유지합니다.

---

## 1. 설문 워크플로우에서 텍스트 전용 LLM의 한계

오늘날 대부분의 AI‑기반 자동화는 **텍스트 생성**과 **시맨틱 서치**에 강점이 있는 대형 언어 모델(LLM)을 활용합니다. 정책 조항을 찾아내고, 감사 보고서를 요약하고, 서술형 답변을 작성할 수 있습니다. 그러나 컴플라이언스 증거는 거의 텍스트만으로 이루어져 있지 않습니다.

| 증거 유형 | 일반 형식 | 텍스트 전용 LLM의 어려움 |
|-----------|----------|---------------------------|
| **아키텍처 다이어그램** | PNG, SVG, Visio | 시각적 이해 필요 |
| **구성 파일** | YAML, JSON, Terraform | 구조화되었지만 종종 중첩됨 |
| **코드 스니펫** | Java, Python, Bash | 구문 인식 추출 필요 |
| **대시보드 스크린샷** | JPEG, PNG | UI 요소와 타임스탬프 읽기 필요 |
| **PDF 감사 보고서의 표** | PDF, 스캔 이미지 | OCR 및 표 파싱 필요 |

예를 들어 *“프로덕션과 백업 환경 간 데이터 흐름을 보여주는 네트워크 다이어그램을 제공해주세요”* 라는 질문에 텍스트 전용 모델은 설명만 제공할 수 있을 뿐 실제 이미지를 찾아내거나 검증·삽입할 수 없습니다. 이 격차 때문에 사용자는 수동 개입을 해야 하며, 자동화를 목표로 할 경우에도 여전히 큰 작업량이 남게 됩니다.

---

## 2. 다중 모달 증거 추출 엔진 아키텍처

아래는 Procurize 핵심 설문 허브와 통합된 엔진의 고수준 다이어그램입니다.

```mermaid
graph TD
    A["사용자가 설문 항목을 제출"] --> B["질문 분류 서비스"]
    B --> C["다중 모달 검색 오케스트레이터"]
    C --> D["텍스트 벡터 저장소 (FAISS)"]
    C --> E["이미지 임베딩 저장소 (CLIP)"]
    C --> F["코드 임베딩 저장소 (CodeBERT)"]
    D --> G["시맨틱 매치 (LLM)"]
    E --> G
    F --> G
    G --> H["증거 순위 엔진"]
    H --> I["컴플라이언스 메타데이터 보강"]
    I --> J["Procurize 작업에 자동 첨부"]
    J --> K["인간 검증(HITL)"]
    K --> L["감사 로그 기록"]
```

### 2.1 핵심 구성 요소

1. **질문 분류 서비스** – 파인‑튜닝된 LLM을 이용해 질문을 `증거 유형`(예: “네트워크 다이어그램”, “보안 정책 PDF”, “Terraform 플랜”)으로 태깅합니다.  
2. **다중 모달 검색 오케스트레이터** – 분류 결과에 따라 적절한 임베딩 저장소로 요청을 라우팅합니다.  
3. **임베딩 저장소**  
   * **텍스트 저장소** – 정책 문서, 감사 보고서, 마크다운 파일 전체를 FAISS 인덱스로 구축.  
   * **이미지 저장소** – 문서 저장소에 있는 모든 다이어그램·스크린샷·SVG에 CLIP 임베딩 적용.  
   * **코드 저장소** – 모든 소스 파일·CI/CD 설정·IaC 템플릿을 CodeBERT 임베딩으로 변환.  
4. **시맨틱 매치 레이어** – 크로스‑모달 트랜스포머가 질의 임베딩과 각 모달리티의 벡터를 융합해 순위가 매겨진 후보 아티팩트를 반환합니다.  
5. **증거 순위 엔진** – **GEO** 휴리스틱을 적용해 최신성, 버전 관리 상태, 컴플라이언스 태그 연관성, LLM 신뢰도를 종합합니다.  
6. **컴플라이언스 메타데이터 보강** – SPDX 라이선스, 감사 타임스탬프, 데이터 보호 태그 등을 각 아티팩트에 첨부합니다.  
7. **인간 검증(HITL) 검증** – Procurize UI에 상위 3개 후보를 보여주고, 검토자가 승인·교체·거부할 수 있게 함.  
8. **감사 로그 기록** – 자동 첨부마다 해시, 검토자 서명, AI 신뢰도가 기록돼 SOX·[GDPR](https://gdpr.eu/) 감사 트레일을 충족합니다.

### 2.2 데이터 수집 파이프라인

1. **크롤러**가 기업 파일 공유, Git 저장소, 클라우드 버킷을 스캔합니다.  
2. **전처리기**가 스캔된 PDF에 OCR(Tesseract) 적용, 표 추출(Camelot), Visio 파일을 SVG로 변환합니다.  
3. **임베더**가 모달리티별 벡터를 생성해 메타데이터(파일 경로·버전·소유자)와 함께 저장합니다.  
4. **증분 업데이트** – 변경 감지 마이크로서비스(워치독)가 수정된 자산만 재임베딩해 벡터 저장소를 거의 실시간으로 최신 상태로 유지합니다.

---

## 3. 증거 검색을 위한 생성 엔진 최적화 (GEO)

**GEO**는 AI 파이프라인 전체를 시스템적인 방식으로 튜닝하여 설문 응답 시간이라는 최종 KPI를 개선하고, 동시에 컴플라이언스 품질을 유지하도록 설계된 방법론입니다.

| GEO 단계 | 목표 | 핵심 지표 |
|----------|------|-----------|
| **데이터 품질** | 임베딩이 최신 컴플라이언스 상태를 반영하도록 보장 | % 자산이 24시간 이내 갱신된 비율 |
| **프롬프트 엔지니어링** | 검색 프롬프트를 설계하여 모델이 올바른 모달리티로 유도 | 검색 신뢰도 점수 |
| **모델 보정** | 신뢰도 임계값을 인간 검토자 수용률에 맞추기 | 오탐률 < 5 % |
| **피드백 루프** | 검토자 행동을 캡처해 분류·순위 재학습 | 평균 승인 시간 (MTTA) |
| **지속적 평가** | 과거 설문 항목 검증 집합에 대해 매일 A/B 테스트 실행 | 평균 응답 시간 감소 |

### 3.1 다중 모달 검색용 프롬프트 예시

```
[QUESTION] 최신 [SOC 2] Type II 감사 보고서에서 데이터 암호화(휴식 중)를 다루는 섹션을 제공해주세요.

[CONTEXT] 해당 섹션을 포함하는 PDF 문서를 검색하고, 문서 ID·페이지 범위·간략 요약을 반환합니다.

[MODALITY] text
```

오케스트레이터는 `[MODALITY]` 태그를 파싱해 **텍스트 저장소**에만 질의함으로써 이미지·코드 벡터에서 발생할 수 있는 불필요한 노이즈를 크게 줄입니다.

### 3.2 적응형 임계값

**베이지안 최적화**를 활용해 각 모달리티별 신뢰도 임계값을 자동 조정합니다. 예를 들어 다이어그램에 대해 검토자가 0.78 이상의 신뢰도 제안을 거의 모두 승인한다면 임계값을 올려 불필요한 검토를 감소시킵니다. 반대로 코드 스니펫이 자주 거부되면 임계값을 낮춰 후보를 더 많이 제시합니다.

---

## 4. 엔드‑투‑엔드 예시: 질문에서 자동 첨부 증거까지

### 4.1 질문 예시

> *“고객 데이터가 인제스트부터 저장까지 흐르는 과정을 보여주는 다이어그램을 첨부하고, 암호화 지점을 표시해주세요.”*

### 4.2 단계별 흐름

| 단계 | 수행 작업 | 결과 |
|------|-----------|------|
| 1 | 사용자가 Procurize에 새 설문 항목을 생성 | 항목 ID `Q‑2025‑1123` |
| 2 | 분류 서비스가 질문을 `증거 유형: 네트워크 다이어그램`으로 태깅 | 모달리티 = **이미지** |
| 3 | 오케스트레이터가 질의를 CLIP 이미지 저장소에 전달 | 후보 벡터 12개 반환 |
| 4 | 시맨틱 매치 레이어가 질의 임베딩과 각 벡터 간 코사인 유사도 계산 | 상위 3점: 0.92, 0.88, 0.85 |
| 5 | 순위 엔진이 최신성(최근 2일 수정)·컴플라이언스 태그(암호화 포함) 평가 | 최종 선택: `arch‑data‑flow‑v3.svg` |
| 6 | HITL UI가 다이어그램 미리보기와 메타데이터(작성자·버전·해시)를 표시 | 검토자가 **승인** 클릭 |
| 7 | 시스템이 다이어그램을 `Q‑2025‑1123`에 자동 첨부하고 감사 로그에 기록 | 감사 로그에 AI 신뢰도 0.91, 검토자 서명, 타임스탬프 |
| 8 | 답변 생성 모듈이 다이어그램을 참조하는 서술형 답변 초안을 작성 | 내보내기 준비 완료 |

전체 소요 시간은 **≈ 45초**, 일반적인 수동 작업인 **15‑20분**에 비해 큰 차이를 보입니다.

---

## 5. 거버넌스, 보안 및 감사 추적

자동화된 증거 처리는 몇 가지 중요한 이슈를 동반합니다.

1. **데이터 유출 방지** – 임베딩 서비스는 **제로 트러스트 VPC**와 엄격한 IAM 역할로 격리되며, 임베딩이 외부로 유출되지 않도록 합니다.  
2. **버전 관리** – 모든 아티팩트는 **Git 커밋 해시**(또는 스토리지 객체 버전)와 함께 저장되어, 문서가 업데이트되면 기존 임베딩을 자동 무효화합니다.  
3. **설명 가능성** – 순위 엔진은 유사도 점수와 프롬프트 체인을 로그에 남겨, 컴플라이언스 담당자가 *왜* 특정 파일이 선택됐는지 추적할 수 있게 합니다.  
4. **규제 정합성** – 각 증거에 SPDX 라이선스 식별자와 [GDPR](https://gdpr.eu/) 처리 카테고리를 부착해 **ISO 27001** Annex A 증거 출처 요구사항을 충족합니다.  
5. **보관 정책** – 자동 정리 작업은 조직의 데이터 보관 기간을 초과한 문서의 임베딩을 삭제해, 오래된 증거가 남지 않도록 합니다.

---

## 6. 향후 방향

### 6.1 서비스형 다중 모달 검색 (RaaS)

다중 모달 검색 오케스트레이터를 **GraphQL API**로 외부에 공개해, CI/CD 컴플라이언스 체크 등 다른 내부 도구가 설문을 거치지 않고도 즉시 증거를 요청할 수 있게 합니다.

### 6.2 실시간 규제 레이더 연계

Procurize의 **Regulatory Change Radar**와 엔진을 결합해 새로운 규제가 감지되면 자동으로 영향을 받는 질문을 재분류하고, 최신 증거 검색을 트리거해 항상 최신 컴플라이언스를 유지합니다.

### 6.3 기업 간 연합 학습

SaaS 제공업체가 다수 고객에게 서비스를 제공할 경우, **연합 학습**을 통해 익명화된 임베딩 업데이트만 공유함으로써, 개별 기업의 민감 문서는 노출되지 않으면서도 검색 품질을 공동으로 향상시킬 수 있습니다.

---

## 7. 결론

보안 설문은 여전히 공급업체 위험 관리의 핵심 요소이지만, 증거를 수집·첨부하는 수작업은 점점 감당하기 어려운 부담이 되고 있습니다. 텍스트·이미지·코드를 동시에 이해하는 **다중 모달 AI**를 도입하면 증거 추출을 자동화·감사 가능한 서비스로 전환할 수 있습니다. **Generative Engine Optimization**을 적용해 AI 신뢰도를 인간 검토 기대치와 맞추고, 규제·보안 요구사항을 모두 만족시키면서도 설문 응답 시간을 크게 단축할 수 있습니다.

결과적으로 설문 처리 속도는 크게 향상되고, 인적 오류는 감소하며, 감사 트레일은 강화됩니다. 이제 보안·법무·영업 팀은 반복적인 문서 탐색 대신 전략적 위험 완화에 집중할 수 있습니다.

---

## <span class='highlight-content'>또 보기</span>

- [CLIP와 FAISS를 활용한 다중 모달 검색 – 엔터프라이즈 검색을 향한 스케일링](https://arxiv.org/abs/2103.00020)  
- [Generative Engine Optimization: 연속 AI 개선 프레임워크](https://www.mitre.org/publications/technical-papers/generative-engine-optimization)  
- [AI 기반 컴플라이언스 플랫폼을 위한 제로 트러스트 아키텍처](https://cloud.google.com/solutions/zero-trust-ai)  
- [ISO 27001 Annex A – 증거 관리 요구사항](https://www.iso.org/standard/73906.html)