
# Оркестрування мульти‑модельних AI конвеєрів для автоматизації безпеки анкети від початку до кінця

## Вступ

Сучасний ландшафт SaaS побудований на довірі. Потенційні клієнти, партнери та аудитори постійно закидають постачальникам безпекові та відповідні анкети — [SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2), [ISO 27001](https://www.iso.org/standard/27001) (відомий як [ISO/IEC 27001 Information Security Management](https://www.iso.org/isoiec-27001-information-security.html)), [GDPR](https://gdpr.eu/), C5 та дедалі зростаючий список галузевих оцінок.  
Одна анкета може містити **понад 150 питань**, кожне з яких вимагає конкретних доказів з репозиторіїв політик, систем тикетів та журналів хмарних провайдерів.  

Традиційні ручні процеси страждають від трьох хронічних болючих точок:

| Проблема | Вплив | Типові ручні витрати |
|------------|--------|----------------------|
| **Розсіяне зберігання доказів** | Інформація розкидана по Confluence, SharePoint та інструментах тикетів | 4‑6 годин на анкету |
| **Несумісність формулювань відповідей** | Різні команди пишуть різні відповіді на однакові контролі | 2‑3 години на перегляд |
| **Зсув регуляцій** | Політики оновлюються, а анкети залишаються з застарілими формулюваннями | Прогалини у відповідності, результати аудиту |

Вступає **оркестрування мульти‑модельного AI**. Замість того, щоб покладатися на одну велику мовну модель (LLM) для «всего», конвеєр може поєднувати:

1. **Моделі вилучення на рівні документу** (OCR, структуровані парсери) для знаходження релевантних доказів.  
2. **Графи знань з ембедінгами**, що фіксують взаємозв’язки між політиками, контролями та артефактами.  
3. **Доменно‑тоновані LLM** для генерації природної мови на основі отриманого контексту.  
4. **Рушії верифікації** (правило‑базовані або малі класифікатори), які забезпечують відповідність формату, повноті та правилам.

Результат — **кінцево‑завершена, аудиту‑піддаюча, безперервно вдосконалювана система**, яка скорочує час відповіді на анкети з тижнів до хвилин, підвищуючи точність відповідей на **30‑45 %**.

> **TL;DR:** Мульти‑модельний AI‑конвеєр скріплює спеціалізовані AI‑компоненти, роблячи автоматизацію безпекових анкет швидкою, надійною та майбутньо‑запезпеченою.

---

## Основна архітектура

Нижче — високорівневий вигляд процесу оркестрації. Кожен блок представляє окремий AI‑сервіс, який можна замінити, версіонувати чи масштабувати незалежно.

```mermaid
flowchart TD
    A["\"Вхідна анкета\""] --> B["\"Попередня обробка та класифікація питань\""]
    B --> C["\"Рушій пошуку доказів\""]
    C --> D["\"Контекстуальний граф знань\""]
    D --> E["\"Генератор відповідей LLM\""]
    E --> F["\"Шар верифікації та політичної відповідності\""]
    F --> G["\"Людський перегляд та цикл зворотного зв’язку\""]
    G --> H["\"Фінальний пакет відповідей\""]
    style A fill:#f9f,stroke:#333,stroke-width:2px
    style H fill:#9f9,stroke:#333,stroke-width:2px
```

### 1. Попередня обробка та класифікація питань

* **Мета:** Перетворити сирі PDF‑анкет або веб‑форми у структурований JSON‑payload.  
* **Моделі:**  
  * **OCR, орієнтований на макет** (наприклад, Microsoft LayoutLM) для табличних питань.  
  * **Мульти‑теговий класифікатор**, який позначає кожне питання релевантними сімействами контролів (наприклад, *Управління доступом*, *Шифрування даних*).  
* **Вихід:** `{ "question_id": "Q12", "text": "...", "tags": ["encryption","data‑at‑rest"] }`

### 2. Рушій пошуку доказів

* **Мета:** Витягнути найбільш актуальні артефакти, що задовольняють кожен тег.  
* **Техніки:**  
  * **Векторний пошук** по ембедінгам політик, аудитних звітів та уривків журналів (FAISS, Milvus).  
  * **Фільтри метаданих** (дата, середовище, автор) для дотримання правил резиденції даних та зберігання.  
* **Результат:** Список кандидат‑доказів з оцінками впевненості.

### 3. Контекстуальний граф знань

* **Мета:** Збагачувати докази взаємозв’язками — *яка політика стосується якого контролю*, *яка версія продукту створила журнал* тощо.  
* **Реалізація:**  
  * **Neo4j** або **Amazon Neptune**, що зберігають трійки типу `(:Policy)-[:COVERS]->(:Control)`.  
  * **Графові нейронні мережі (GNN)** для виявлення непрямих зв’язків (наприклад, процес *code‑review*, що задовольняє контроль *secure development*).  
* **Перевага:** Нижче‑рівневий LLM отримує **структурований контекст** замість плоского списку документів.

### 4. Генератор відповідей LLM

* **Мета:** Створити лаконічну, орієнтовану на відповідність відповідь.  
* **Підхід:**  
  * **Гібридне підказування** – системна підказка визначає тон (“формальний, орієнтований на замовника”), користувацька підказка ін’єкціонує отримані докази та факти графу.  
  * **Тонко налаштований LLM** (наприклад, OpenAI GPT‑4o або Anthropic Claude 3.5) на внутрішньому корпусі схвалених відповідей.  
* **Зразок підказки:**
  ```
  System: You are a compliance writer. Provide a 150‑word answer.
  User: Answer the following question using only the evidence below.
  Question: "Describe how data‑at‑rest is encrypted."
  Evidence: [...]
  ```
* **Вихід:** JSON з `answer_text`, `source_refs` та **картою атрибуції на рівні токенів** для аудиту.

### 5. Шар верифікації та політичної відповідності

* **Мета:** Переконатися, що згенеровані відповіді дотримуються внутрішніх політик (наприклад, не розкривають конфіденційну IP) та зовнішніх стандартів (наприклад, формулювання ISO).  
* **Методи:**  
  * **Правильний рушій** (OPA — Open Policy Agent) з політиками, написаними на Rego.  
  * **Класифікатор**, який виявляє заборонені фрази або відсутність обов’язкових пунктів.  
* **Зворотний зв’язок:** При виявленні порушень конвеєр повертається до LLM з коригуючими підказками.

### 6. Людський перегляд та цикл зворотного зв’язку

* **Мета:** Поєднати швидкість AI з експертною оцінкою.  
* **Інтерфейс:** Вбудований UI для рецензентів (подібний до коментативних потоків Procurize), який підсвічує джерельні посилання, дозволяє SME схвалювати чи редагувати та фіксує рішення.  
* **Навчання:** Підтверджені правки зберігаються у **датасеті reinforcement‑learning** для тонкого налаштування LLM на реальних виправленнях.

### 7. Фінальний пакет відповідей

* **Результати:**  
  * **PDF‑відповідь** з вбудованими посиланнями на докази.  
  * **Машинозчитуваний JSON** для подальших інструментів закупівель SaaS чи систем тикетингу.  
  * **Аудит‑лог**, що фіксує часові мітки, версії моделей та дії людей.

---

## Чому мульти‑модель краще, ніж одна LLM

| Аспект | Одна LLM (все‑в‑одному) | Мульти‑модельний конвеєр |
|--------|------------------------|--------------------------|
| **Пошук доказів** | Підштовхується на підказковий пошук; схильний до «галюцинацій» | Детермінований векторний пошук + графовий контекст |
| **Точність за контролем** | Генеральні знання дають розпливчасті відповіді | Теговані класифікатори гарантують релевантність доказів |
| **Аудит відповідності** | Складно відстежити джерельні фрагменти | Явні ID джерел та карти атрибуції |
| **Масштабованість** | Розмір моделі обмежує одночасні запити | Окремі сервіси можна автоскейлити незалежно |
| **Оновлення регуляцій** | Потрібне повне переобучення моделі | Оновлюється лише граф знань або індекс пошуку |

---

## План реалізації для SaaS‑постачальників

1. **Налаштування Data Lake**  
   * Консолідувати всі PDF‑політик, журнали аудиту та файли конфігурацій у бакет S3 (або Azure Blob).  
   * Запускати **ETL‑завдання** щовночі для витягування тексту, генерації ембедінгів (OpenAI `text-embedding-3-large`) та завантаження у векторну БД.

2. **Побудова графу**  
   * Визначити схему (`Policy`, `Control`, `Artifact`, `Product`).  
   * Виконати **семантичну маппінг‑роботу**, що парсить розділи політик і автоматично створює зв’язки (spaCy + правило‑базовані heuristics).

3. **Вибір моделей**  
   * **OCR / LayoutLM:** Azure Form Recognizer (економічний).  
   * **Класифікатор:** DistilBERT, тонко налаштований на ~5 k анотованих питань анкет.  
   * **LLM:** OpenAI `gpt‑4o-mini` як базовий; перехід до `gpt‑4o` для клієнтів з підвищеними вимогами.

4. **Шар оркестрації**  
   * Розгорнути **Temporal.io** або **AWS Step Functions** для координації кроків, забезпечуючи повтори та компенсаційну логіку.  
   * Зберігати вихід кожного кроку у таблиці DynamoDB для швидкого доступу наступних етапів.

5. **Контроль безпеки**  
   * **Zero‑trust мережа:** Сертифікація сервіс‑до‑сервіс через mTLS.  
   * **Резиденція даних:** Маршрутування пошуку доказів до регіональних векторних сховищ.  
   * **Аудит‑логи:** Запис у незмінний журнал на блокчейні (наприклад, Hyperledger Fabric) для регульованих індустрій.

6. **Інтеграція зворотного зв’язку**  
   * Фіксувати правки рецензентів у репозиторії типу GitOps (`answers/approved/`).  
   * Нічний **RLHF (Reinforcement Learning from Human Feedback)** job, що оновлює модель‑нагороду LLM.

---

## Реальні вигоди: цифри, які мають значення

| Показник | До мульти‑модельного (ручного) | Після впровадження |
|----------|--------------------------------|--------------------|
| **Середній час виконання** | 10‑14 днів | 3‑5 годин |
| **Точність відповідей (оцінка аудиту)** | 78 % | 94 % |
| **Час людського перегляду** | 4 години на анкету | 45 хвилин |
| **Інциденти зсуву відповідності** | 5 за квартал | 0‑1 за квартал |
| **Вартість за анкету** | $1 200 (години консультанта) | $250 (хмарні обчислення + операції) |

*Короткий приклад* – середньо‑розмірна SaaS‑компанія скоротила час оцінки ризику постачальника на **78 %** після інтеграції мульти‑модельного конвеєра, що дозволило укладати угоди вдвічі швидше.

---

## Перспективи на майбутнє

### 1. **Самовідновлювані конвеєри**  
   * Автоматичне виявлення відсутніх доказів (наприклад, новий контроль ISO) та запуск **майстра створення політик**, що пропонує чернетки документів.

### 2. **Федеративні графи знань**  
   * Спільні графи, що діляться анонімізованими маппінгами контролів між галузевими консоціумами, підвищують пошук доказів без розкриття конфіденційних даних.

### 3. **Генерація синтетичних доказів**  
   * LLM, які не лише пишуть відповіді, а й **генерують штучні артефакти** (наприклад, макетовані журнали) для внутрішніх тренувань, зберігаючи конфіденційність.

### 4. **Модулі прогнозування регуляцій**  
   * Поєднання великих мовних моделей з аналізом трендів регуляторних публікацій (EU AI Act, US Executive Orders) для проактивного оновлення маппінгу питань‑тегів.

---

## Висновок

Оркестрування набору спеціалізованих AI‑моделей — **вилучення, графове міркування, генерація та верифікація** — створює надійний, аудиту‑піддаючий конвеєр, який трансформує болісний, схильний до помилок процес обробки безпекових анкет у швидкий, даними‑керований робочий потік. Модульність кожної функції дарує гнучкість, впевненість у відповідності та конкурентну перевагу в ринку, де **швидкість і довіра** є вирішальними.

---

## Дивіться також

- [Microsoft Research – “LayoutLM: Pre‑training for Document Image Understanding”](https://arxiv.org/abs/2004.14712)  
- [OPA – “Policy‑as‑Code with Rego”](https://www.openpolicyagent.org/docs/latest/policy-language/)