
# Динамічне багатомодальне вилучення доказів за допомогою федеративного навчання для оперативних анкет безпеки

**Анотація**  
Анкети безпеки та аудити відповідності стали вузьким місцем для швидкозростаючих SaaS‑компаній. Традиційні ручні процеси схильні до помилок, забирають багато часу й не встигають за постійно змінюваними нормативними вимогами. У цій статті представлено революційне рішення — **Dynamic Multi‑Modal Evidence Extraction (DMEE) з використанням Federated Learning (FL)** — яке тісно інтегрується з AI‑платформою Procurize для автоматизації збору, верифікації та представлення доказових матеріалів у різних модальностях (текст, зображення, фрагменти коду, потоки журналів). Завдяки навчанню на місці та передачі лише оновлень моделей, організації отримують інтелект, що зберігає конфіденційність, а глобальна модель постійно вдосконалюється, забезпечуючи відповіді на анкети в режимі реального часу з більшою точністю та нижчою затримкою.

---

## 1. Чому важливе багатомодальне вилучення доказів

Анкети безпеки запитують **конкретні докази**, які можуть знаходитися у:

| Модальність | Типові джерела | Приклад питання |
|-------------|----------------|-----------------|
| **Текст** | Політики, SOP, звіти про відповідність | “Надайте вашу політику зберігання даних.” |
| **Зображення / Скриншоти** | UI‑екрани, діаграми архітектури | “Покажіть інтерфейс матриці контролю доступу.” |
| **Структуровані логи** | CloudTrail, потоки SIEM | “Надайте журнали аудиту привілейованого доступу за останні 30 днів.” |
| **Код / Конфіг** | IaC‑файли, Dockerfile | “Поділіться Terraform‑конфігурацією для шифрування даних у спокої.” |

Більшість AI‑асистентів успішно працюють лише з **одномодальним** текстом, залишаючи прогалини, коли відповідь потребує скриншоту або фрагмента журналу. Єдиний багатомодальний конвеєр усуває цю розрив, перетворюючи сирі артефакти у **структуровані об’єкти доказів**, які можна безпосередньо підставляти у відповіді.

---

## 2. Федеративне навчання: приватна основа

### 2.1 Основні принципи

* **Дані ніколи не залишають межі організації** – сирі документи, скриншоти та журнали залишаються у безпечному середовищі компанії. Тільки **дельти ваги моделі** передаються до центрального оркестратора.  
* **Безпечна агрегація** – оновлення ваг шифруються та агрегуються за допомогою гомоморфних технік, що запобігає будь‑якому зворотному інженірингу окремого учасника.  
* **Безперервне вдосконалення** – кожна нова локальна відповідь на анкету вносить вклад у глобальну базу знань без розкриття конфіденційних даних.

### 2.2 Робочий процес федеративного навчання в Procurize

```mermaid
graph LR
    A["Компанія A\nЛокальне сховище доказів"] --> B["Локальний екстрактор\n(LLM + Vision Model)"]
    C["Компанія B\nЛокальне сховище доказів"] --> B
    B --> D["Дельта ваги"]
    D --> E["Безпечний агрегатор"]
    E --> F["Глобальна модель"]
    F --> B
    style A fill:#f9f,stroke:#333,stroke-width:2px
    style C fill:#f9f,stroke:#333,stroke-width:2px
    style D fill:#bbf,stroke:#333,stroke-width:2px
    style E fill:#bbf,stroke:#333,stroke-width:2px
    style F fill:#9f9,stroke:#333,stroke-width:2px
```

1. **Локальне вилучення** – у кожного орендаря запускається **багатомодальний екстрактор**, який поєднує великий мовний модель (LLM) з vision‑трансформером (ViT) для тегування та індексації доказів.  
2. **Генерація дельти** – оновлення моделі (градієнти) обчислюються на локальних даних та шифруються.  
3. **Безпечна агрегація** – зашифровані дельти від усіх учасників агрегуються, створюючи **глобальну модель**, що вміщує колективні знання.  
4. **Оновлення моделі** – оновлена глобальна модель повертається кожному орендарю, миттєво підвищуючи точність вилучення у всіх модальностях.

---

## 3. Архітектура движка DMEE

### 3.1 Огляд компонентів

| Компонент | Роль |
|-----------|------|
| **Ingestion Layer** | Коннектори до сховищ документів (SharePoint, Confluence), хмарних сховищ, API SIEM. |
| **Pre‑Processing Hub** | OCR для зображень, парсинг журналів, токенізація коду. |
| **Multi‑Modal Encoder** | Спільний простір векторів (текст ↔ зображення ↔ код) з використанням **Cross‑Modal Transformer**. |
| **Evidence Classifier** | Визначає релевантність до таксономії анкети (наприклад, *Шифрування*, *Контроль доступу*). |
| **Retrieval Engine** | Векторний пошук (FAISS/HNSW) повертає top‑k об’єктів доказів на запит. |
| **Narrative Generator** | LLM формує відповідь, вставляючи плейсхолдери для об’єктів доказів. |
| **Compliance Validator** | Правила перевіряють (строк дії, підписані атестації) дотримання політик. |
| **Audit Trail Recorder** | Незмінний журнал (append‑only, криптографічний хеш) для кожного запиту доказів. |

### 3.2 Діаграма потоку даних

```mermaid
flowchart TD
    subgraph Ingestion
        D1[Документи] --> P1[Попередня обробка]
        D2[Зображення] --> P1
        D3[Логи] --> P1
    end
    P1 --> E1[Багатомодальний енкодер]
    E1 --> C1[Класифікатор доказів]
    C1 --> R1[Векторне сховище]
    Q[Питання] --> G1[Генератор розповіді]
    G1 --> R1
    R1 --> G1
    G1 --> V[Валідатор]
    V --> A[Запис аудиту]
    style Ingestion fill:#e3f2fd,stroke:#90caf9,stroke-width:2px
    style Q fill:#ffcc80,stroke:#fb8c00,stroke-width:2px
```

---

## 4. Від запиту до відповіді: процес у реальному часі

1. **Отримання питання** – аналітик безпеки відкриває анкету в Procurize. Питання *“Надайте докази MFA для привілейованих облікових записів”* передається в двигун DMEE.  
2. **Витяг намірів** – LLM видобуває ключові токени: *MFA*, *привілейовані облікові записи*.  
3. **Крос‑модальне пошук** – вектор запиту порівнюється з глобальним векторним сховищем. Двигун повертає:
   * скриншот налаштувань MFA (зображення);
   * фрагмент журналу успішних подій MFA (лог);
   * внутрішню політику MFA (текст).  
4. **Валідація доказів** – кожен об’єкт перевіряється на актуальність (< 30 днів) та наявність потрібних підписів.  
5. **Синтез наративу** – LLM формує відповідь, вбудовуючи докази як **безпечні посилання**, які відображаються безпосередньо в UI анкети.  
6. **Миттєва доставка** – готова відповідь з’являється в інтерфейсі за **2–3 секунди**, готова до затвердження.

---

## 5. Переваги для команд комплаєнсу

| Перевага | Вплив |
|----------|-------|
| **Швидкість** – середній час відповіді падає з 24 год до < 5 секунд на питання. |
| **Точність** – помилкові збіги доказів скорочені на 87 % завдяки крос‑модальному схожості. |
| **Приватність** – жодні сирі дані не залишають організацію; передаються лише оновлення моделі. |
| **Масштабованість** – федеративні оновлення потребують мінімальної пропускної здатності; 10 к співробітників споживають < 200 МБ/міс. |
| **Безперервне навчання** – нові типи доказів (наприклад, відео‑прохрами) навчаються централізовано і миттєво розгортаються. |

---

## 6. Чек‑ліст впровадження для підприємств

1. **Розгорнути локальний екстрактор** – встановити Docker‑контейнер у захищеній підмережі та підключити до джерел документів і журналів.  
2. **Налаштувати федеративну синхронізацію** – вказати кінцеву точку центрального агрегатора та TLS‑сертифікати.  
3. **Визначити таксономію** – зіставити ваші нормативні рамки ( [SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2), [ISO 27001](https://www.iso.org/standard/27001), [GDPR](https://gdpr.eu/) ) з категоріями платформи.  
4. **Встановити правила валідації** – задати вік доказів, необхідні підписи, прапорці шифрування.  
5. **Пілотний етап** – запустити двигун на підмножині анкет; моніторити метрики precision/recall.  
6. **Розгортання** – поширити на всі оцінки постачальників; увімкнути режим автоматичної пропозиції для аналітиків.

---

## 7. Практичний кейс: FinTech Corp скоротив час відповіді на 75 %

**Контекст** – FinTech Corp обробляв ~150 анкет постачальників щокварталу, кожна вимагала декілька артефактів доказів. Ручний збір займав в середньому 4 години на анкету.

**Рішення** – впроваджено DMEE у Procurize з федеративним навчанням у трьох регіональних дата‑центрах.

| Метрика | До впровадження | Після впровадження |
|---------|-----------------|---------------------|
| Середній час відповіді | 4 год | 6 хв |
| Частка помилкових доказів | 12 % | 1,5 % |
| Пропускна здатність для оновлень FL | — | 120 МБ/міс |
| Задоволеність аналітиків (1‑5) | 2,8 | 4,6 |

**Ключові висновки**  
* Федеративний підхід задовольнив суворі вимоги щодо розташування даних.  
* Багатомодальний пошук виявив раніше приховані докази (наприклад, UI‑скриншоти), що скоротило цикли аудиту.  

---

## 8. Виклики та їхнє подолання

| Виклик | Запобіжний захід |
|--------|-------------------|
| **Зсув моделі** – локальні розподіли даних змінюються. | Планові щомісячні глобальні агрегації; використання **continual learning**‑колбеків. |
| **Важкість обробки зображень** – високі роздільні здатності збільшують обчислювальне навантаження. | Адаптивне зменшення роздільної здатності під час попередньої обробки; індексація лише ключових ROI UI. |
| **Зміна нормативних вимог** – нові стандарти вводять нові типи доказів. | Динамічне розширення таксономії; федеративні оновлення автоматично поширюють нові класи. |
| **Розмір журналу аудиту** – незмінний журнал може стрімко рости. | Використання **ланцюгових Merkle‑дерев** з періодичним стисканням старих записів, зберігаючи докази цілісності. |

---

## 9. Дорожня карта

1. **Zero‑Shot генерація доказів** – застосування дифузійних моделей для синтезу маскованих скриншотів, коли оригінали недоступні.  
2. **Оцінка довіри AI** – інтерфейс, який показує індивідуальні confidence‑барі та контрафактичні пояснення для кожного доказу.  
3. **Edge‑Federated вузли** – легковагові екстрактори на ноутбуках розробників для миттєвого вилучення доказів під час code‑review.  

---

## 10. Висновок

Динамічне багатомодальне вилучення доказів, підсилене федеративним навчанням, змінює парадигму автоматизації анкет безпеки. Об’єднуючи текст, візуальні матеріали та журнали, при цьому зберігаючи конфіденційність, організації можуть відповідати швидше, точніше і з повною аудиторською простотою. Модульна архітектура Procurize забезпечує легке впровадження, дозволяючи командам комплаєнсу зосередитися на стратегічному управлінні ризиками, а не на рутинному зборі даних.