
# Dünaamiline Promptide Optimeerimise Tsükkel Turvalise Küsimustiku Automatiseerimiseks

Turvaküsimustikud, nõuetele vastavuse auditid ja müüja hindamised on kõrge riskiga dokumendid, mis nõuavad nii kiirust **kui** absoluutset täpsust. Kaasaegsed AI‑platvormid nagu Procurize kasutavad juba suurkeelemudeleid (LLM‑e) vastuste koostamiseks, kuid staatilised prompti mallid muutuvad kiiresti jõudluskitsaskoeleks – eriti kuna regulatsioonid arenevad ja uued küsimustüüpide variandid ilmnevad.

**Dünaamiline Promptide Optimeerimise Tsükkel (DPOL)** muudab jäiga prompti komplekti elavaks, andme‑põhiseks süsteemiks, mis õpib pidevalt, milline sõnastus, kontekstijupp või vormindusviis annab parima tulemuse. Allpool tutvustame DPOL‑i arhitektuuri, põhialgoritme, rakendamist samme ning reaalmaailma mõju, keskendudes turvalise küsimustiku automatiseerimisele.

---

## 1. Miks Prompti Optimeerimine Loeb

| Probleem | Traditsiooniline Lähenemine | Tagajärg |
|----------|---------------------------|----------|
| **Staatiline sõnastus** | Ühe‑suurusega kõigile sobiv prompti mall | Vastused kaldumiseks, kui küsimuse sõnastus muutub |
| **Tagasiside puudumine** | LLM‑i väljund võetakse muutumatult | Faktivigade ja nõuetele vastavuse lünkade märkamata jäämine |
| **Regulatsioonide muutumine** | Käsitsi prompti uuendused | Aeglane reageerimine uutele standarditele (nt NIS2, [ISO 27001](https://www.iso.org/standard/27001) / ISO/IEC 27001 Infoturbe Haldus) |
| **Jõudluse jälgimise puudumine** | KPI‑de nähtavus puudub | Ei suuda tõestada audit‑valmis kvaliteeti |

Optimeerimistsükkel lahendab need lüngad, muutes iga küsimustiku interaktsiooni koolitusmärgiks.

---

## 2. Üldine Arhitektuur

```mermaid
graph TD
    A["Saabuva Küsimustiku"] --> B["Prompti Generaator"]
    B --> C["LLM Inferentsi Mootor"]
    C --> D["Vastuse Mustand"]
    D --> E["Automaatne QA & Skorimine"]
    E --> F["Inimene‑Silmus Koorik"]
    F --> G["Tagasiside Kogujad"]
    G --> H["Prompti Optimeerija"]
    H --> B
    subgraph Jälgimine
        I["Mõõdikute Armatuurlaud"]
        J["A/B Testija"]
        K["Nõuetele Vastavuse Registri"]
    end
    E --> I
    J --> H
    K --> G
```

**Olulised komponendid**

| Komponent | Roll |
|-----------|------|
| **Prompti Generaator** | Koostab promptid mallide hulgast, sisestades kontekstita (poliitika lõigud, riskiskoorid, varasemad vastused). |
| **LLM Inferentsi Mootor** | Kutsub valitud LLM‑i (nt Claude‑3, GPT‑4o) koos süsteemi, kasutaja ja vajadusel tööriistade kasutamise sõnumitega. |
| **Automaatne QA & Skorimine** | Teostab süntaktilised kontrollid, faktikontrolli Retrieval‑Augmented Generation (RAG) abil ning nõuetele vastavuse skoori (nt ISO 27001 asjakohasus). |
| **Inimene‑Silmus Koorik** | Turva‑ või õigusanalüütikud valideerivad mustandi, lisavad märkusi ning vajadusel lükkavad tagasi. |
| **Tagasiside Kogujad** | Salvestab tulemusmõõdikud: aktsepteerimismäär, redigeerimisvahe, latentsus, nõuetele vastavuse lipp. |
| **Prompti Optimeerija** | Uuendab mallide kaalud, muudab kontekstiblokkide järjekorda ja genereerib automaatselt uusi variante meta‑õppe kaudu. |
| **Jälgimine** | Armatuurlaud teenuse taseme täitmise, A/B‑katsete ja muutumatute auditiloggide jälgimiseks. |

---

## 3. Optimeerimistsükli Detailne Kirjeldus

### 3.1 Andmekogumine

1. **Jõudluse mõõdikud** – Salvestatakse iga küsimuse latentsus, tokenite kasutus, kasutaja‑pakutud kindlus‑skaalad ning nõuetele vastavuse lipud.  
2. **Inimese tagasiside** – Salvestatakse aktsepteerimis/keeldumis‑otsused, redigeerimistoimingud ja hindajate kommentaarid.  
3. **Regulatiivsed Sõnumid** – Sisseehitatakse välised uuendused (nt [NIST SP 800‑53 Rev 5 – Turva‑ ja Privaatsuskontrollid Föderaalsetele Infosüsteemidele](https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final)) veebikonksude kaudu, märgistades vastavad küsimustiku üksused.

Kõik andmed salvestatakse **aegaseriaali andmebaasi** (nt InfluxDB) ja **dokumendidehoidlasse** (nt Elasticsearch) kiireks päringuks.

### 3.2 Skorifunktsioon

\[
\text{Skoor}=w_1\cdot\underbrace{\text{Täpsus}}_{\text{rediteerimisvahe}} + w_2\cdot\underbrace{\text{Vastavus}}_{\text{reg‑vastavus}} + w_3\cdot\underbrace{\text{Efektiivsus}}_{\text{latentsus}} + w_4\cdot\underbrace{\text{Inimese Aktsepteerimine}}_{\text{heakskiitmismäär}}
\]

Kaalujaotused (`w_i`) kalibreeritakse organisatsiooni riskitaluvuse järgi. Skoor arvutatakse iga ülevaatuse järel uuesti.

### 3.3 A/B‑testimise Mootor

Iga **prompti versiooni** (nt „Lisa poliitika lõige esimesena“ vs. „Lisa riskiskoor hiljem“) testitakse A/B‑katsega üle statistiliselt olulise valimi (vähemalt 30 % igapäevastest küsimustikest). Mootor teeb automaatselt:

- Valib juhuslikult variandi.  
- Jälgib variandi skoori.  
- Sooritab Bayesi t‑testi, et otsustada võitja.

### 3.4 Meta‑õppe Optimeerija

Kogutud andmete põhjal kasutab kerge tugevdamise õppija (nt Multi‑Armed Bandit) järgmise prompti variandi valimiseks:

```python
import numpy as np
from bandit import ThompsonSampler

sampler = ThompsonSampler(num_arms=len(prompt_pool))
chosen_idx = sampler.select_arm()
selected_prompt = prompt_pool[chosen_idx]

# Pärast skoori saamist...
sampler.update(chosen_idx, reward=score)
```

Õppija kohandub koheselt, tagades, et kõrgeima skooriga prompt esitab järgmise küsimuste partii jaoks.

### 3.5 Inimese‑Silmus Prioriteet

Kui hindajate koormus kasvab, prioriteedib süsteem ootel mustandid järgmiselt:

- **Riskikõvadus** (kriitilised küsimused esimesena)  
- **Kindluslävi** (madala kindlusega mustandid saavad kiiremini inimeste pilgu all)  
- **Tähtaeg** (auditiperioodide lähenemine)

Lihtne prioriteedijärjekord, mis tugineb Redis‑põhisele järjekorrale, garanteerib, et nõuetele vastavuse kriitilised üksused kunagi ei jäta ootama.

---

## 4. Rakendamise Plaan Procurize’ile

### 4.1 Samm‑sammult Operatsioon

| Faas | Tulemuseks | Ajakava |
|------|------------|----------|
| **Avastus** | Kaardistada olemasolevad küsimustiku mallid, koguda baas‑mõõdikud | 2 nädalat |
| **Andmevoog** | Sea üles sündmusvoog (Kafka) mõõdikute tarbeks, loo Elasticsearch‑indeksid | 3 nädalat |
| **Prompti Teekond** | Kujunda 5‑10 algset prompti varianti, märgi metaandmetega (nt `use_risk_score=True`) | 2 nädalat |
| **A/B‑Raamistik** | Paigalda kerged eksperimentimisteenused; integreeri olemasoleva API‑väravaga | 3 nädalat |
| **Tagasiside UI** | Laienda Procurize’i hindaja kasutajaliidest nuppudega „Heakskiida / Lükata tagasi / Redigeeri“, mis salvab rikaste tagasiside | 4 nädalat |
| **Optimeerija Teenus** | Rakenda banditi‑põhine valija, ühenda mõõdikute armatuurlauaga, salvesta versiooniloog | 4 nädalat |
| **Nõuetele Vastavuse Registri** | Kirjuta muutumatud auditilogid plokiahela‑toetatud hoidlassse (nt Hyperledger Fabric) regulatiivse tõendi saamiseks | 5 nädalat |
| **Läbiviimine & Jälgimine** | Järk-järguline liikluse tõstmine (10 % → 100 %) koos häireteavitagega regressiooni korral | 2 nädalat |

Kokku **≈ 5 kuud** tootmisevalmis DPOL‑i integratsiooniks Procurize’iga.

### 4.2 Turvalisus‑ ja Privaatsusmeetmed

- **Zero‑Knowledge Proofid**: Kui promptid sisaldavad tundlikke poliitika lõike, kasutame ZKP‑d, et tõestada lõigu vaste allikale, paljastamata teksti LLM‑ile.  
- **Differentsiaalne Privaatsus**: Rakendame müra aggregaatsetele mõõdikutele enne nende turvalisest tsoonist väljumist, säilitades hindajate anonüümsuse.  
- **Auditeeritavus**: Iga prompti versioon, skoor ja inimese otsus signeeritakse krüptograafiliselt, võimaldades auditil jälgida sündmuste täpset kaskaadi.

---

## 5. Reaalmaailma Kasu

| KPI | DPOL‑i Enne | DPOL‑i Pärast (12 k) |
|-----|-------------|----------------------|
| **Keskmine Vastuse Latentsus** | 12 sekundit | 7 sekundit |
| **Inimese Heakskiitmise Määr** | 68 % | 91 % |
| **Nõuetele Vastavuse Vead** | 4 kord kvartalis | 0 kord kvartalis |
| **Hindajate Koormus (tunnid/100 Q)** | 15 tundi | 5 tundi |
| **Auditi Läbipääsmäär** | 82 % | 100 % |

Tsükkel kiirendab mitte ainult vastusaega, vaid loob ka kaitstud tõendilaadi, mida nõuavad [SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2), [ISO 27001](https://www.iso.org/standard/27001) ja tulevased **EL‑CSA** auditid (vt. [Cloud Security Alliance STAR](https://cloudsecurityalliance.org/star/)).

---

## 6. Tulevikusuunad: Tsükli Laiendamine

1. **Servri-äärne Vastuse Hindamine** – Paigalda kerge inferentsimikroteenus võrgu servale, et filtrida madala riskiga küsimused ja vähendada pilvekulutusi.  
2. **Jagatud Federatiivne Õpe** – Jaga anonüümseid tasu‑signaale partnerfirmadega, et parandada prompti variante ilma oma poliitika teksti avaldamata.  
3. **Semantiline Graafika Integreerimine** – Seo promptid dünaamilisele teadmistegraafikule; optimeerija tõmbab automaatselt kõige asjakohasema sõlme, lähtudes küsimuse semantika tuvastusest.  
4. **Explainable AI (XAI) Kiht** – Genereeri lühike „miks“‑lõik igale vastusele, kasutades tähelepanukaarte (attention heatmaps), et rahuldada auditorite uudishimu.

---

## 7. Alustamine Täna

Kui teie organisatsioon kasutab juba Procurize’i, võite DPOL‑i prototüüpi käivitada kolme lihtsa sammuga:

1. **Luba Mõõdikute Ekspordi** – Lülita platvormi seadetes „Vastuse Kvaliteedi“ veebikonks sisse.  
2. **Loo Prompti Variant** – Klooni olemasolev mall, lisa uus kontekstiblokk (nt „Uusimad NIST 800‑53 kontrollid“) ja märgi see `v2`.  
3. **Käivita Mini A/B‑Test** – Kasuta sisseehitatud eksperimentide lülitit, suunates 20 % sisenevatest küsimustest uuele variandile üheks nädalaks. Jälgi armatuurlaual aktsepteerimismäära ja latentsust.

Itereerige, mõõtke ja laske tsüklil teha raske töö ära. Mõne nädala jooksul näete selgeid paranemisi nii kiiruse kui ka nõuetele vastavuse usaldusväärsuses.

---

## <span class='highlight-content'>Vaata</span> Ka

- OpenAI Cookbook – Prompt Engineering Best Practices  
- [NIST SP 800‑53 Rev 5 – Turva‑ ja Privaatsuskontrollid Föderaalsetele Infosüsteemidele](https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final)  
- [Google Cloud AI Platform – A/B Testimine Masinõppe Mudelitega](https://cloud.google.com/ai-platform/experiments)  
- [Hyperledger Fabric Dokumentatsioon – Muutumatud Registrid Nõuetele Vastavuseks](https://hyperledger-fabric.readthedocs.io/en/release-2.5/)