
# Двигун семантичного проміжного ПЗ для нормалізації анкетування між різними рамками

> **TL;DR**: Шар семантичного проміжного ПЗ перетворює різнорідні анкети безпеки в уніфіковане представлення, готове до ШІ, що дозволяє за один клік отримати точні відповіді у всіх стандартах комплаєнсу.

---  

## 1. Чому нормалізація важлива у 2025 році

Анкети безпеки стали **мільйонним вузьким місцем** для швидко зростаючих SaaS‑компаній:

| Статистика (2024) | Вплив |
|-------------------|-------|
| Середній час відповіді на анкету постачальника | **12‑18 днів** |
| Ручна праця на одну анкету (годин) | **8‑14 год** |
| Дублікат роботи між різними рамками | **≈ 45 %** |
| Ризик непослідовних відповідей | **Висока exposure до невідповідності** |

Кожна рамка — [SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2), [ISO 27001](https://www.iso.org/standard/27001), GDPR, [PCI‑DSS](https://www.pcisecuritystandards.org/pci_security/), FedRAMP чи кастомна форма — використовує свою термінологію, ієрархію та вимоги до доказів. Відповідати на них окремо створює **семантичний дрейф** і підвищує операційні витрати.

**Семантичний проміжний ПЗ** вирішує це, бо:

* Відображає кожне вхідне питання на **канонічну онтологію комплаєнсу**.
* Збагачує канонічний вузол **контекстом у реальному часі**.
* Маршрутизує нормалізовану інтенцію до **LLM‑генератора відповідей**, який створює тексти, адаптовані під конкретну рамку.
* Підтримує **аудиторський журнал**, що зв’язує кожну створену відповідь із вихідним питанням.

Результат — **єдине джерело правди** для логіки анкет, що різко скорочує час обробки і виключає непослідовність відповідей.

---  

## 2. Основні архітектурні стовпи

Нижче — високорівневий вигляд стеку проміжного ПЗ.  

```mermaid
graph LR
  A[Вхідна анкета] --> B[Попередня обробка]
  B --> C[Інтенційний детектор (LLM)]
  C --> D[Канонічний маппер онтології]
  D --> E[Збагачувач графа знань про регуляції]
  E --> F[Генератор відповідей ШІ]
  F --> G[Форматор специфічний для рамки]
  G --> H[Портал доставки відповідей]
  subgraph Аудит
    D --> I[Реєстр простежуваності]
    F --> I
    G --> I
  end
```

### 2.1 Попередня обробка

* **Видобування структури** — PDF, Word, XML або простий текст розбираються за допомогою OCR та аналізу розмітки.
* **Нормалізація сутностей** — Розпізнає типові сутності (наприклад, «шифрування у спокої», «контроль доступу») за допомогою моделей NER, донавчених на корпусах комплаєнсу.

### 2.2 Інтенційний детектор (LLM)

* **Few‑shot prompting** із легковаговим LLM (наприклад, Llama‑3‑8B) класифікує кожне питання у **високорівневу інтенцію**: *Посилання на політику*, *Доказ процесу*, *Технічний контроль*, *Організаційна міра*.
* Якщо впевненість > 0.85 — автоматичне прийняття; нижчі значення передаються на **людську перевірку (Human‑in‑the‑Loop)**.

### 2.3 Канонічний маппер онтології

* Онтологія — **граф з 1500+ вузлів**, що представляють універсальні концепції комплаєнсу (наприклад, «Зберігання даних», «Відповідь на інциденти», «Управління ключами шифрування»).
* Маппінг базується на **семантичній схожості** (вектори sentence‑BERT) та **правилому механізмі м’яких обмежень** для розв’язання неоднозначностей.

### 2.4 Збагачувач графа знань про регуляції

* Підтягує оновлення у реальному часі з **RegTech‑стрімів** (наприклад, [NIST CSF](https://www.nist.gov/cyberframework), ЄС‑комісія, оновлення ISO) через GraphQL.
* Додає **версійовані метадані** до кожного вузла: юрисдикція, дата набрання чинності, тип необхідного доказу.
* Забезпечує **автоматичне виявлення дрейфу** при зміні регуляції.

### 2.5 Генератор відповідей ШІ

* **RAG (Retrieval‑Augmented Generation)**‑конвеєр витягує релевантні політики, журнали аудитів та метадані артефактів.
* Підказки **орієнтовані на рамку**, що гарантує правильне посилання на вимоги (наприклад, SOC 2 § CC6.1 vs. ISO 27001‑A.9.2).

### 2.6 Форматор специфічний для рамки

* Генерує **структуровані результати**: Markdown для внутрішньої документації, PDF для зовнішніх порталів постачальників, JSON для API.
* Включає **trace‑ID**, що вказує на онтологічний вузол і версію графа знань.

### 2.7 Аудиторський журнал та реєстр простежуваності

* Незмінні логи зберігаються в **Append‑Only Cloud‑SQL** (або, за потреби, у блокчейні для надвисоких вимог).
* Забезпечує **один клік для перевірки доказів** аудитором.

---  

## 3. Створення канонічної онтології

### 3.1 Вибір джерел

| Джерело | Внесок |
|---------|--------|
| [NIST SP 800‑53](https://www.nist.gov/cyberframework) | 420 контрольних пунктів |
| [ISO 27001 Annex A](https://www.iso.org/isoiec-27001-information-security.html) | 114 контрольних пунктів |
| SOC 2 Trust Services | 120 критеріїв |
| GDPR Articles | 99 зобов’язань |
| Кастомні шаблони постачальників | 60‑200 пунктів на клієнта |

Вони об’єднуються за допомогою **алгоритмів вирівнювання онтологій** (наприклад, *Prompt‑Based Equivalence Detection*). Дублікатні концепції зводяться, зберігаючи **декілька ідентифікаторів** (наприклад, «Logical Access Control» → `NIST:AC-2` і `ISO:A.9.2`).

### 3.2 Атрибути вузла

| Атрибут | Опис |
|---------|------|
| `node_id` | UUID |
| `label` | Людськочитабельна назва |
| `aliases` | Масив синонімів |
| `framework_refs` | Список ідентифікаторів джерел |
| `evidence_type` | {policy, process, technical, architectural} |
| `jurisdiction` | {US, EU, Global} |
| `effective_date` | ISO‑8601 |
| `last_updated` | Timestamp |

### 3.3 Робочий процес підтримки

1. **Імпорт** нового регулятивного потоку → запуск **diff‑алгоритму**.
2. **Людський рев’юер** схвалює додавання/модифікацію.
3. **Збільшення версії** (`v1.14 → v1.15`) автоматично реєструється в журналі.

---  

## 4. Промпт‑інжиніринг LLM для інтенційного визначення

```goat
You are a compliance intent classifier. Classify the following questionnaire item into one of the intents:
- PolicyReference
- ProcessEvidence
- TechnicalControl
- OrganizationalMeasure

Return JSON:
{
  "intent": "<Intent>",
  "confidence": <0.0‑1.0>,
  "extracted_entities": ["<entity1>", "<entity2>", ...]
}
```

**Чому це працює**:

* **Few‑shot приклади** фіксують модель у сфері мови комплаєнсу.  
* **JSON‑вивід** усуває неоднозначність парсингу.  
* **Впевненість** дозволяє автоматично розподіляти задачу між машиною та людиною.

---  

## 5. Конвеєр Retrieval‑Augmented Generation (RAG)

1. **Формування запиту** — комбінуємо канонічну мітку вузла з метаданими регуляції.  
2. **Пошук у векторному сховищі** — повертаємо top‑k релевантних документів із **FAISS**‑індексу політик, тікет‑логів та інвентарю артефактів.  
3. **Злиття контексту** — конкатенуємо витяги з пошуку і оригінальне питання.  
4. **Генерація LLM** — передаємо злитий підказ до **Claude‑3‑Opus** або **GPT‑4‑Turbo** з температурою 0.2 для детерміністичності.  
5. **Пост‑обробка** — забезпечуємо **формат цитування** згідно цільової рамки.

---  

## 6. Реальний вплив: кейс‑стаді

| Показник | До впровадження | Після впровадження |
|----------|-----------------|--------------------|
| Середній час відповіді (на одну анкету) | 13 днів | 2,3 дня |
| Ручна праця (годин) | 10 год | 1,4 год |
| Непослідовність відповідей (відхилення) | 12 % | 1,2 % |
| Покриття доказовою базою, готове до аудиту | 68 % | 96 % |
| Щорічна економія | — | **≈ $420 тис.** |

> *Company X* інтегрувала цей проміжний шар з **Procurize AI** і скоротила цикл підготовки відповіді постачальникам з **30 днів до менше тижня**, що дозволило швидше укладати угоди і знизити тертя у продажах.

---  

## 7. Чек‑лист впровадження

| Фаза | Завдання | Відповідальний | Інструменти |
|------|----------|----------------|-------------|
| **Виявлення** | Інвентаризація всіх джерел анкет; визначення цілей охоплення | Керівник комплаєнсу | AirTable, Confluence |
| **Побудова онтології** | Об’єднання джерел, створення схеми графа | Data Engineer | Neo4j, GraphQL |
| **Навчання моделей** | Тонке налаштування інтенційного детектора на 5 k маркованих прикладах | ML Engineer | HuggingFace, PyTorch |
| **Налаштування RAG** | Індексація політик, конфігурація векторного сховища | Infra Engineer | FAISS, Milvus |
| **Інтеграція** | Підключення проміжного ПЗ до API Procurize, маппінг trace‑ID | Backend Dev | Go, gRPC |
| **Тестування** | Скрипт‑тести end‑to‑end на 100 історичних анкет | QA | Jest, Postman |
| **Рол‑аут** | Поступове включення для вибраних постачальників | Product Manager | Feature Flags |
| **Моніторинг** | Відслідковування впевненості, затримок, аудиторських логів | SRE | Grafana, Loki |

---  

## 8. Заходи безпеки та конфіденційності

* **Дані в спокої** — шифрування AES‑256 для всіх збережених документів.  
* **Дані в транзиті** — взаємна TLS між компонентами.  
* **Zero‑Trust** — рольове управління доступом до кожного онтологічного вузла; принцип найменших привілеїв.  
* **Диференціальна приватність** — при агрегації статистики відповідей для поліпшення продукту.  
* **Відповідність** — модуль обробки запитів щодо суб’єктів даних згідно GDPR зі штатними гачками відкликання.

---  

## 9. Майбутні покращення

1. **Федеративні графи знань** — обмін анонімізованими онтологічними оновленнями між партнерами, збереження суверенітету даних.  
2. **Мультимодальне видобування доказів** — комбінація OCR‑витягнутих зображень (наприклад, діаграм архітектури) з текстовими даними для багатших відповідей.  
3. **Прогнозування регуляцій** — використання моделей часових рядів для передбачення майбутніх змін у законодавстві і проактивного оновлення онтології.  
4. **Самоціліні шаблони** — LLM пропонує ревізії шаблонів, коли стабільно падає впевненість для певного вузла.

---  

## 10. Висновок

**Семантичний проміжний ПЗ** – це той зв’язок, якого не вистачало, щоб перетворити хаотичний потік анкет безпеки в оптимізований, керований ШІ процес. Нормалізуючи інтенції, збагачуючи їх контекстом у реальному часі через граф знань та використовуючи RAG‑генерацію відповідей, організації можуть:

* **Прискорити** цикли оцінки ризиків постачальників.  
* **Гарантувати** послідовність і документованість відповідей.  
* **Скоротити** ручну працю і операційні витрати.  
* **Зберегти** достовірний аудиторський слід для регуляторів і клієнтів.

Інвестування в цей шар сьогодні захищає програми комплаєнсу від постійного росту складності глобальних стандартів – стратегічна перевага, без якої SaaS‑компанії у 2025 р і далі не можуть залишитися конкурентоспроможними.