
# 조달 보안 질문서용 AI 기반 동적 증거 오케스트레이션

## 전통적인 질문서 자동화가 정체되는 이유

보안 질문서—[SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2), [ISO 27001](https://www.iso.org/standard/27001), [GDPR](https://gdpr.eu/), [PCI‑DSS](https://www.pcisecuritystandards.org/pci_security/), 그리고 수십 개의 공급업체 전용 양식—은 B2B SaaS 거래의 관문 역할을 합니다.  
대부분의 조직은 아직도 **수동 복사‑붙여넣기** 워크플로에 의존합니다:

1. **관련 정책 또는 제어 문서 찾기**.  
2. **질문에 답하는 정확한 조항을 추출**.  
3. **질문서에 붙여넣기**, 필요 시 간단히 편집.  
4. **버전, 검토자, 감사 추적을 별도 스프레드시트에 기록**.

이러한 방식의 문제점은 이미 널리 알려져 있습니다:

* **시간 소모** – 30문항 질문서의 평균 처리 시간이 5일을 초과합니다.  
* **인간 오류** – 조항 불일치, 오래된 참조, 복사‑붙여넣기 실수.  
* **컴플라이언스 드리프트** – 정책이 변경되면 답변이 낡아 감사 시 지적을 받을 위험이 있습니다.  
* **근거 부족** – 감사자는 답변과 근본적인 제어 증거 사이의 명확한 연결 고리를 확인할 수 없습니다.

Procurize의 **동적 증거 오케스트레이션(Dynamic Evidence Orchestration, DEO)** 은 AI‑우선, 그래프 기반 엔진으로 이러한 문제들을 실시간 학습·검증·업데이트하면서 해결합니다.

## 동적 증거 오케스트레이션의 핵심 아키텍처

전체적으로 DEO는 **마이크로서비스 오케스트레이션 레이어**로, 다음 세 핵심 영역 사이에 위치합니다:

* **정책 지식 그래프(PKG)** – 제어, 조항, 증거 파일, 프레임워크 간 관계를 모델링한 의미 그래프.  
* **LLM‑기반 Retrieval‑Augmented Generation(RAG)** – 대형 언어 모델이 PKG에서 가장 관련성 높은 증거를 찾아 깔끔한 답변을 생성.  
* **워크플로 엔진** – 실시간 작업 관리자로, 책임 할당, 검토자 의견 수집, 근거 로그를 담당.

아래 Mermaid 다이어그램은 데이터 흐름을 시각화합니다:

```mermaid
graph LR
    A["Questionnaire Input"] --> B["Question Parser"]
    B --> C["RAG Engine"]
    C --> D["PKG Query Layer"]
    D --> E["Evidence Candidate Set"]
    E --> F["Scoring & Ranking"]
    F --> G["Draft Answer Generation"]
    G --> H["Human Review Loop"]
    H --> I["Answer Approval"]
    I --> J["Answer Persisted"]
    J --> K["Audit Trail Ledger"]
    style H fill:#f9f,stroke:#333,stroke-width:2px
```

### 1. 정책 지식 그래프(PKG)

* **노드**는 제어, 조항, 증거 파일(PDF, CSV, 코드 레포) 및 규제 프레임워크를 나타냅니다.  
* **엣지**는 *“implements”(구현), *“references”(참조), *“updated‑by”(업데이트) 등 관계를 캡처합니다.  
* PKG는 **자동 문서 수집 파이프라인**(DocAI, OCR, Git 훅)을 통해 점진적으로 업데이트됩니다.

### 2. Retrieval‑Augmented Generation

* LLM은 **질문 텍스트**와 PKG에서 반환된 상위 k개의 증거 후보를 **컨텍스트 윈도우**로 받습니다.  
* RAG를 활용해 모델은 마크다운 각주 형태의 인용을 유지하면서 간결하고 규정에 부합하는 답변을 합성합니다.

### 3. 실시간 워크플로 엔진

* **역할 기반 라우팅**(예: 보안 엔지니어, 법무 담당자)을 통해 초안 답변을 **주제 전문가(SME)**에게 할당합니다.  
* 답변 노드에 직접 **코멘트 스레드**와 **버전 히스토리**를 기록해 변경 불가능한 감사 로그를 보장합니다.

## DEO가 속도와 정확성을 높이는 방법

| 지표 | 기존 프로세스 | DEO(파일럿) |
|------|--------------|------------|
| 질문당 평균 소요 시간 | 4시간 | 12분 |
| 수동 복사‑붙여넣기 단계 | 5개 이상 | 1개(자동 입력) |
| 답변 정확도(감사 통과율) | 78 % | 96 % |
| 근거 완전성 | 30 % | 100 % |

**개선 핵심 요인**:

* **즉시 증거 검색** – 그래프 쿼리가 정확한 조항을 < 200 ms에 찾아냅니다.  
* **컨텍스트 인식 생성** – LLM은 실제 증거에 근거해 응답을 구성해 환상을 방지합니다.  
* **지속적 검증** – 정책 드리프트 감지기가 오래된 증거를 검토 단계에 도달하기 전에 표시합니다.

## 기업을 위한 구현 로드맵

1. **문서 수집**  
   * 기존 정책 저장소(Confluence, SharePoint, Git)와 연결.  
   * DocAI 파이프라인으로 구조화된 조항 추출.

2. **PKG 초기 구축**  
   * 각 프레임워크([SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2), [ISO 27001](https://www.iso.org/standard/27001) 등)의 노드 삽입.  
   * 엣지 분류 체계 정의(implements → controls, references → policies).

3. **LLM 통합**  
   * 파인‑튜닝된 LLM(e.g., GPT‑4o)과 RAG 어댑터 배포.  
   * 컨텍스트 윈도우 크기 설정(k = 5 증거 후보).

4. **워크플로 맞춤화**  
   * SME 역할을 그래프 노드와 매핑.  
   * Slack/Teams 봇으로 실시간 알림 설정.

5. **파일럿 질문서 실행**  
   * 소규모 벤더 질문서(≤ 20문항) 진행.  
   * 시간, 편집 횟수, 감사 피드백 등 측정 지표 수집.

6. **반복 학습**  
   * 검토자의 편집 내용을 RAG 학습 루프에 피드백.  
   * 사용 빈도에 따라 PKG 엣지 가중치 업데이트.

## 지속 가능한 오케스트레이션을 위한 베스트 프랙티스

* **단일 진실 원천 유지** – 증거는 PKG 외에 저장하지 말고, 참조만 사용.  
* **정책 버전 관리** – 각 조항을 Git으로 추적하고, PKG에 커밋 해시 기록.  
* **정책 드리프트 알림 활용** – 제어의 최종 수정일이 컴플라이언스 임계값을 초과하면 자동 알림.  
* **감사용 각주** – 노드 ID를 포함한 인용 스타일 강제(e.g., `[evidence:1234]`).  
* **프라이버시 우선** – 증거 파일을 저장 시 암호화하고, 기밀 벤더 질문에 대해 영지식 증명 검증 활용.

## 향후 개선 방향

* **연합 학습** – 여러 Procurize 고객이 정책을 노출하지 않고도 모델 업데이트를 공유.  
* **영지식 증명 통합** – 벤더가 증거를 공개하지 않고도 답변 무결성을 검증.  
* **동적 신뢰 점수 대시보드** – 응답 지연, 증거 최신성, 감사 결과를 실시간 위험 히트맵으로 시각화.  
* **음성 기반 어시스턴트** – SME가 자연어 명령으로 답변을 승인·거부 가능하도록 지원.

## 결론

동적 증거 오케스트레이션은 조달 보안 질문서 답변 방식을 근본적으로 바꿉니다. **시맨틱 정책 그래프**와 **LLM‑기반 RAG**, 그리고 **실시간 워크플로 엔진**을 결합함으로써 수동 복사‑붙여넣기를 없애고 근거를 보장하며 응답 시간을 크게 단축합니다. SaaS 기업이 거래 속도를 높이고 감사 대비를 유지하려면 DEO가 컴플라이언스 자동화 여정에서 다음 논리적 단계라고 할 수 있습니다.