
# Hibridinis informacijos išgavimos su papildymu (Retrieval‑Augmented Generation) saugiam, audituojamam klausimynų automatizavimui

## Įvadas

Saugumo klausimynai, tiekėjų rizikos įvertinimai ir atitikties auditai yra trukdys greitai augančioms SaaS įmonėms. Komandos praleidžia begales valandų ieškodamos politikos nuostatų, ištraukdamos versijuotą įrodymą ir rankiniu būdu formuodamos naratyvinius atsakymus. Nors generatyvioji AI gali savarankiškai paruošti atsakymus, grynas LLM rezultatas dažnai trūksta **sekamumo**, **duomenų rezidencijos** ir **audituojamumo** – trijų neatskiriamų stulpelių reglamentuotoms aplinkoms.

Pateikiame **Hibridinę informacijos išgavimos su papildymu (RAG)**: dizaino šabloną, kuris sujungia didelių kalbos modelių (LLM) kūrybiškumą su įmonės dokumentų saugyklos patikimumu. Šiame straipsnyje išnagrinėsime, kaip Procur2ze gali integruoti hibridinį RAG srautą, kad:

* **Užtikrintų šaltinio kilmės patikimumą** kiekvienam sugeneruotam sakui.
* **Įgyvendintų politiką kaip kodą** vykdymo metu.
* **Išlaikytų nepakitusius auditų žurnalus**, atitinkančius išorinių auditų reikalavimus.
* **Skleistų funkcionalumą daugiafunkciniuose (multi‑tenant) aplinkose**, gerbdama regioninius duomenų saugojimo reikalavimus.

Jei skaitėte mūsų ankstesnius įrašus „AI pagrįsta informacijos išgavimos su papildymu“ arba „Savarankiškai gyjančios atitikties žinių bazės, pagrįstos generatyvia AI“, atpažinsite daugelį tų pačių komponentų – tačiau šį kartą dėmesys skiriamas **saugiai susiejimui** ir **atveika pirmiausia atitikties orkestravimui**.

## Kodėl gryni LLM atsakymai nepatenkina

| Iššūkis | Gryno LLM požiūris | Hibridinio RAG požiūris |
|-----------|-------------------|--------------------------|
| Įrodymų sekamumas | Nėra integruotos nuorodos į šaltinio dokumentus | Kiekviena sugeneruota teiginių dalis priskiriama dokumento ID ir versijai |
| Duomenų rezidencija | Modelis gali priimti duomenis iš bet kurios vietos | Išgavimo etapas traukia tik iš nuomininkui priskirtų saugyklų |
| Audituojama keitimo istorija | Sunku atkurti, kodėl buvo sugeneruotas sakinis | Išgavimo žurnalai + generavimo metaduomenys sukuria pilną pakartojamą takelį |
| Reguliacinė atitiktis (pvz., [GDPR](https://gdpr.eu/), [SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2)) | „Black‑box“ elgesys, „halucinacijų“ rizika | Išgavimo garantuoja faktinį pagrindimą, sumažindama neatitikties turinio riziką |

Hibridinis modelis **nepakeičia** LLM; jis **vadovauja** jam, užtikrindamas, kad kiekvienas atsakymas būtų pagrįstas žinomu artefaktu.

## Pagrindiniai hibridinio RAG architektūros komponentai

```mermaid
graph LR
    A["Vartotojas pateikia klausimyną"] --> B["Užduočių planuotojas"]
    B --> C["RAG Orkestratorius"]
    C --> D["Dokumentų saugykla (nepakitantis saugykla)"]
    C --> E["Didelis kalbos modelis (LLM)"]
    D --> F["Išgavimo priemonė (BM25 / Vektorinė paieška)"]
    F --> G["Viršų k relevantių dokumentų"]
    G --> E
    E --> H["Atsakymų sintezatorius"]
    H --> I["Atsakymo generatorius"]
    I --> J["Auditų žurnalo įrašymo priemonė"]
    J --> K["Saugus atsakymų skydelis"]
```

*Visi mazgo etiketės yra apgaubtos dvigubomis kabutėmis, kaip reikalaujama Mermaid.*

### 1. Dokumentų saugykla

**Įrašymo kartą ir nepakitanti saugykla** (pvz., AWS S3 Object Lock, Azure Immutable Blob arba manipulacijų matoma PostgreSQL tiktai papildymo lentelė). Kiekvienas atitikties artefaktas – politikos PDF, SOC 2 patvirtinimai, vidinės kontrolės – gauna:

* Globaliai unikalų **Dokumento ID**.
* **Semantinį vektorių**, sukurtą įkėlimo metu.
* **Versijos antspaudus**, kurie niekada nesikeičia po paskelbimo.

### 2. Išgavimo priemonė

Išgavimo variklis vykdo **dvivietę paiešką**:

1. **Sparse BM25** tikslioms frazės atitikimams (naudinga reguliavimo citatomis).
2. **Tankus vektorinės panašumo** kontekstinei svarbai (semantinis kontrolės tikslų susiejimas).

Abu išgavimo metodai pateikia **ranguotą dokumentų ID sąrašą**, kurį orkestratorius perduoda LLM.

### 3. Didelis kalbos modelis su išgavimo vadovavimu

LLM gauna *sistemos užklausą*, kurioje yra:

* **Šaltinio pririšimo nurodymas**: „Visos pareiškos turi būti lydimos citatos žymės `[DOC-{id}@v{ver}]`.“
* **Politikos kaip kodo taisyklės** (pvz., „Niekada neatskleiskite asmens duomenų atsakymuose“).

Modelis tada **sintetina** naratyvą, aiškiai nurodydamas išgautus dokumentus.

### 4. Atsakymų sintezatorius ir atsakymo generatorius

Sintezatorius sujungia LLM išvedimą, formatuoja jį pagal klausimyno schemą (JSON, PDF arba markdown) ir prideda **mašinų skaitomą citatos metaduomenų**.

### 5. Auditų žurnalo įrašymo priemonė

Visi žingsniai yra fiksuojami:

| Laukas | Aprašymas |
|--------|-----------|
| `request_id` | Unikalus ID klausimyno vykdymui |
| `retrieved_docs` | Sąrašas dokumentų ID + versijos |
| `llm_prompt` | Pilna užklausa, išsiųsta modeliui (redaguota, jei yra asmens duomenų) |
| `generated_answer` | Tekstas su citatos žymomis |
| `timestamp` | ISO‑8601 UTC laikas |
| `operator` | Paslaugos paskyra, vykdžiusi darbą |

Šie žurnalai yra **įrašomi tik kartą** ir saugomi šalia saugyklos, sudarydami pilną, manipulacijų matomą takelį.

## Pilnas proceso („end‑to‑end“) pavyzdys

### 1. Žingsnis – Įkelti ir indeksuoti politiką

1. Įkelkite naują **[ISO 27001](https://www.iso.org/standard/27001) taikymo nuostatų** versiją į saugyklą.  
2. **Įkėlimo paslauga** išgauna gryną tekstą, generuoja 768‑dimensijų vektorių naudojant sakinių transformatorių ir saugo vektorių kartu su dokumento metaduomenimis.

### 2. Žingsnis – Klausimyno pateikimas

Saugumo analitikas sukuria bilietą Procur2ze: „Užpildyti tiekėjo SOC 2 Type II klausimyną „Acme Corp““. Užduočių planuotojas priskiria **request_id** (`REQ-2025-1019-001`).

### 3. Žingsnis – Išgavimo etapas

Orkestratorius išrenka klausimą: *„Apibūdinkite, kaip šifravimas poilsio režimu yra taikomas klientų duomenims.“*  
Jis siunčia užklausą į išgavimo priemonę, kuri grąžina:

```
[
  { id: "DOC-ISO27001-001", version: "v3", score: 0.92 },
  { id: "DOC-Policy-Enc-002", version: "v5", score: 0.88 }
]
```

### 4. Žingsnis – LLM užklausa

```
System: Esate atitikties asistentas. Cituokite kiekvieną faktinį teiginį naudodami formatą [DOC-{id}@v{ver}].
User: Apibūdinkite, kaip šifravimas poilsio režimu yra taikomas klientų duomenims.
Context: (Įterpkite viršūnės‑k ištraukas iš dviejų dokumentų)
```

> „Visi klientų duomenys, saugomi mūsų AWS S3 konteineriuose, yra šifruoti poilsio režimu naudojant AES‑256 GCM. Šifravimo raktus tvarko AWS KMS ir jie perkelti kas 90 dienų [DOC-Policy-Enc-002@v5]. Ši praktika atitinka ISO 27001 A.10.1 kontrolę [DOC-ISO27001-001@v3].”

### 5. Žingsnis – Atsakymo surinkimas

Atsakymo generatorius formatuoja atsakymą į klausimyno JSON struktūrą, išsaugodamas citatos žymas vėlesniam auditui.

### 6. Žingsnis – Audituojama išsaugojimas

Visi artefaktai – originali užklausa, išgautas dokumentų sąrašas, LLM užklausa, sugeneruotas atsakymas – rašomi į **nepakitų auditų žurnalą**. Auditoriai vėliau tikrina žurnalą, kad patvirtintų, jog atsakymas yra visiškai sekamas.

## Saugumo ir atitikties privalumai

| Privalumas | Kaip hibridinis RAG įgyvendina |
|------------|--------------------------------|
| **Reguliaciniai įrodymai** | Tiesioginės citatos į versijuotus politikos dokumentus |
| **Duomenų rezidencija** | Išgavimo vykdymas tik prieš saugyklas, esančias reikiamoje jurisdikcijoje |
| **Sumažintos „halucinacijos“** | Pagrindimas tikruose artefaktuose apriboja modelio laisvę |
| **Keitimo poveikio analizė** | Jei politikos dokumentas atnaujinamas, auditų žurnalas iškart identifikuoja visus atsakymus, kurie nuorodė į ankstesnę versiją |
| **Zero‑knowledge įrodymas** | Sistema gali generuoti kriptografinius įrodymus, kad konkretus atsakymas gautas iš konkretaus dokumento, neatskleidžiant dokumento turinio (būsima išplėtimas) |

## Mastų skatinimas daugiavartotojų SaaS aplinkose

SaaS tiekėjas dažnai aptarnauja dešimtis klientų, kiekvienas su savo atitikties saugykla. Hibridinis RAG mastą didina:

1. **Kliento izoliuotos saugyklos**: Kiekvienas klientas gauna loginę particiją su savo šifravimo raktų.
2. **Bendra LLM baseinas**: LLM yra bevalė paslauga; užklausos įtraukia kliento ID, kad būtų įgyvendinta prieigos kontrolė.
3. **Lygiagretus išgavimo**: Vektorinės paieškos sistemos (pvz., Milvus, Vespa) yra horizontaliai mastelės, apdorojančios milijonus vektorių per klientą.
4. **Auditų žurnalo skaidymas**: Žurnalai skaidomi pagal klientą, bet saugomi globaliame nepakitų registre, skirtame tarpkliento atitikties ataskaitoms.

## Įgyvendinimo kontrolinis sąrašas Procur2ze komandai

- **Sukurkite nepakitų saugyklą** (S3 Object Lock, Azure Immutable Blob ar papildoma DB) visiems atitikties artefaktams.  
- **Generuokite semantinius įterpimus** įkėlimo metu; saugokite kartu su dokumento metaduomenimis.  
- **Paleiskite dvivietę išgavimo priemonę** (BM25 + vektorius) už greitos API šliuzo.  
- **Instrumentuokite LLM užklausą** citatos nurodymais ir politikos-kaip-kodo taisyklėmis.  
- **Išsaugokite kiekvieną žingsnį** į nepakitų auditų žurnalo paslaugą (pvz., AWS QLDB, Azure Immutable Ledger).  
- **Pridėkite patikrinimo UI** Procur2ze skydelyje, kad peržiūrėtumėte citatas šaltinius kiekvienam atsakymui.  
- **Vykdykite reguliarius atitikties mokymus**: simuliuokite politikos keitimus ir patikrinkite, ar paveikti atsakymai automatiškai pažymimi.  

## Ateities kryptys

| Idėja | Potencialus poveikis |
|------|----------------------|
| **Federuotas išgavimo** – paskirstytos saugyklos regione, dalyvaujančios saugioje agregacijos protokole | Leidžia pasauliniams organizacijoms išlaikyti duomenis vietoje, bet vis tiek naudotis bendru modelio žiniomis |
| **Zero‑Knowledge įrodymo (ZKP) integracija** – įrodyti atsakymo kilmę neatskleidžiant pagrindinio dokumento | Tenka itin griežtų privatumo reglamentų (pvz., GDPR „teisė būti pamirštam“) |
| **Nuolatinis mokymosi ciklas** – grąžinti pataisytus atsakymus atgal į LLM smulkinimo procesą | Pagerina atsakymo kokybę laikui bėgant, išlaikant auditabilumą |
| **Politikos kaip kodo įgyvendinimo variklis** – kompiliuoti politikos taisykles į vykdomus kontraktus, kurie filtruoja LLM išvestį | Garantuoja, kad neleistinas turinys (pvz., marketingo šou) nepateks į atitikties atsakymus |

## Išvada

Hibridinė informacijos išgavimos su papildymu (RAG) sujungia tarpą tarp *kūrybinės AI* ir *reguliacinio tikrumo*. Prisukant kiekvieną sugeneruotą sakinį prie nepakitusios, versijomis kontroliuojamos dokumentų saugyklos, Procur2ze gali suteikti **saugus, audituojamus ir itin greitus** klausimyno atsakymus mastu. Šis šablonas ne tik sumažina atsakymo laiką – dažniausiai iš dienų iki minučių – bet ir sukuria **gyvą atitikties žinių bazę**, kuri evoliucionuoja kartu su jūsų politikomis, kartu patenkinant griežčiausius auditų reikalavimus.

Ar pasiruošę išbandyti šią architektūrą? Pradėkite įjungiant dokumentų saugyklos įkėlimą savo Procur2ze kliento paskyroje, tada paleiskite Išgavimo paslaugą ir stebėkite, kaip jūsų klausimyno atsako laikas krinta.

## Taip pat žiūrėkite

- Kuriant nepakitusį auditų takelį su AWS QLDB  
- Politika kaip kodas: atitikties įterpimas į CI/CD procesus  
- Zero‑Knowledge įrodymai įmonių duomenų privatui