
# Dinamičko ocjenjivanje povjerenja za AI generirane odgovore na upitnike  

Sigurnosni upitnici, revizije usklađenosti i procjene rizika dobavljača su vrata svakog B2B SaaS poslovanja. U 2025. prosječno vrijeme odgovora na upitnik visokog značaja i dalje iznosi oko 7‑10 radnih dana, unatoč širenju velikih jezičnih modela (LLM‑ova). Usko grlo nije nedostatak podataka, već nesigurnost oko *koliko je točan* generirani odgovor, osobito kada odgovor autonomno generira AI motor.  

**Dinamičko ocjenjivanje povjerenja** zatvara ovaj jaz. Svaki AI‑generirani odgovor tretira se kao živa informacija čija se razina povjerenja u stvarnom vremenu razvija kako se pojavljuju novi dokazi, recenzenti komentiraju i regulatorne promjene utječu na bazu znanja. Rezultat je transparentna, revizijska metrika povjerenja koju mogu vidjeti sigurnosni timovi, revizori, pa čak i kupci.  

U ovom članku razlažemo arhitekturu, podatkovne cjevovode i praktične rezultate sustava ocjenjivanja povjerenja izgrađenog na jedinstvenoj platformi za upitnike tvrtke Procurize. Također pružamo Mermaid dijagram koji vizualizira povratnu petlju, a zaključujemo s preporukama najboljih praksi za timove spremne usvojiti ovaj pristup.

---

## Zašto je povjerenje važno  

1. **Revizijska sposobnost** – Regulatori sve više zahtijevaju dokaz *kako* je odgovor na usklađenost izveden. Numerički rezultat povjerenja uz praćenje podrijetla zadovoljava taj zahtjev.  
2. **Prioritetizacija** – Kada su stotine stavki upitnika na čekanju, rezultat povjerenja pomaže timovima da prvo usmjere ručni pregled na odgovore s niskim povjerenjem, optimizirajući ograničene sigurnosne resurse.  
3. **Upravljanje rizikom** – Niski rezultati povjerenja mogu pokrenuti automatizirane upozorenja o riziku, potičući dodatno prikupljanje dokaza prije potpisivanja ugovora.  
4. **Povjerenje kupaca** – Prikazivanje metrika povjerenja na javnoj stranici povjerenja pokazuje zrelost i transparentnost, razlikujući dobavljača na konkurentnom tržištu.  

---

## Osnovne komponente motora ocjenjivanja  

### 1. LLM Orchestrator  

Orkestrator prima stavku upitnika, dohvaća relevantne dijelove politike i postavlja upit LLM‑u da generira nacrt odgovora. Također generira *inicijalnu procjenu povjerenja* na temelju kvalitete upita, temperature modela i sličnosti s poznatim predlošcima.  

### 2. Evidence Retrieval Layer  

Hibridni pretraživač (semantički vektor + ključna riječ) izvuče dokazne artefakte iz grafa znanja koji pohranjuje revizijske izvještaje, arhitektonske dijagrame i prethodne odgovore na upitnike. Svakom artefaktu dodijeljena je **težina relevantnosti** temeljena na semantičkoj podudarnosti i ažurnosti.  

### 3. Real‑Time Feedback Collector  

Sudionici (službenici za usklađenost, revizori, inženjeri proizvoda) mogu:  

- **Komentirati** nacrt odgovora.  
- **Odobriti** ili **odbijati** priložene dokaze.  
- **Dodati** nove dokaze (npr. novootvoren SOC 2 izvještaj).  

Sve interakcije se strimaju do posrednika poruka (Kafka) za neposrednu obradu.  

### 4. Confidence Score Calculator  

Kalkulator prima tri skupine signala:  

| Signal | Izvor | Utjecaj na rezultat |
|--------|--------|---------------------|
| Povjerenje izvedeno iz modela | Orkestrator LLM‑a | Osnovna vrijednost (0‑1) |
| Zbroj relevantnosti dokaza | Sloj za dohvat dokaza | Povećanje proporcionalno težini |
| Delta ljudske povratne informacije | Prikupljač povratnih informacija | Pozitivna delta pri odobrenju, negativna pri odbijanju |

Model logističke regresije s težinama kombinira ove signale u konačni **postotak povjerenja od 0‑100**. Model se kontinuirano pretrenuje na povijesnim podacima (odgovori, rezultati, revizijski nalazi) koristeći pristup online učenja.  

### 5. Provenance Ledger  

Svaka promjena rezultata zabilježena je u nepromjenjivoj evidenciji (Merkle stablo stilizirano kao blockchain) kako bi se osigurala zaštita od manipulacije. Evidenciju je moguće izvesti kao JSON‑LD dokument za alate trećih strana za reviziju.  

---

## Dijagram toka podataka  

```mermaid
flowchart TD
    A["Stavka upitnika"] --> B["Orkestrator LLM‑a"]
    B --> C["Nacrt odgovora i osnovno povjerenje"]
    C --> D["Sloj za dohvat dokaza"]
    D --> E["Skup relevantnih dokaza"]
    E --> F["Kalkulator rezultata povjerenja"]
    C --> F
    F --> G["Rezultat povjerenja (0‑100)"]
    G --> H["Evidencija podrijetla"]
    subgraph Petlja povratnih informacija
        I["Ljudska povratna informacija"] --> J["Prikupljač povratnih informacija"]
        J --> F
        K["Učitavanje novog dokaza"] --> D
    end
    style Petlja povratnih informacija fill:#f9f,stroke:#333,stroke-width:2px
```

Dijagram prikazuje kako stavka upitnika prolazi kroz orkestrator, prikuplja dokaze i prima kontinuiranu povratnu informaciju koja u stvarnom vremenu preoblikuje njezin rezultat povjerenja.

---

## Detalji implementacije  

### A. Prompt Design  

Prompt predložak svjestan povjerenja uključuje izričite upute modelu da samoprocijeni:  

```text
You are an AI compliance assistant. Answer the following security questionnaire item. After your answer, provide a **self‑confidence estimate** on a scale of 0‑100, based on how closely the answer matches existing policy fragments.
```  

Procjena samopouzdanja postaje ulaz **povjerenja izvedenog iz modela** za kalkulator.  

### B. Knowledge Graph Schema  

Graf koristi **RDF** trojke s sljedećim glavnim klasama:  

- `QuestionItem` – svojstva: `hasID`, `hasText`  
- `PolicyFragment` – `coversControl`, `effectiveDate`  
- `EvidenceArtifact` – `artifactType`, `source`, `version`  

Veze poput `supports`, `contradicts` i `updates` omogućuju brzu navigaciju pri izračunu težina relevantnosti.  

### C. Online Learning Pipeline  

1. **Ekstrakcija značajki** – Za svaki dovršeni upitnik, izvući: povjerenje modela, zbroj relevantnosti dokaza, oznaku odobrenja, vrijeme do odobrenja, ishode revizija.  
2. **Ažuriranje modela** – Primijeniti stohastički gradijentni spust na gubitak logističke regresije koji kažnjava pogrešno predviđene revizijske neuspjehe.  
3. **Verzija** – Pohraniti svaku verziju modela u repozitorij nalik Gitu, povezujući je s unosom u evidenciji koji je pokrenuo ponovno treniranje.  

### D. API Exposure  

Platforma izlaže dva REST krajnja točka:  

- `GET /answers/{id}` – Vraća najnoviji odgovor, rezultat povjerenja i popis dokaza.  
- `POST /feedback/{id}` – Pošalje komentar, status odobrenja ili novu privitak dokaza.  

Oba krajnja točka vraćaju **potvrdu rezultata** koja sadrži hash evidencije, osiguravajući da sustavi u nastavku mogu provjeriti integritet.  

---

## Koristi u stvarnim scenarijima  

### 1. Brže zaključivanje poslova  

Fintech startup integrirao je dinamičko ocjenjivanje povjerenja u svoj tijek rada procjene rizika dobavljača. Prosječno vrijeme za dobivanje statusa “spremno za potpis” smanjilo se s 9 dana na **3,2 dana**, jer je sustav automatski istaknuo stavke s niskim povjerenjem i predložio ciljano učitavanje dokaza.  

### 2. Manje revizijskih nalaza  

SaaS pružatelj usluga zabilježio je **40 % smanjenje** revizijskih nalaza vezanih uz nepotpunu dokumentaciju. Evidencija podrijetla pružila je revizorima jasan pregled koje su odgovori potpuno provjereni, usklađujući se s najboljim praksama poput [CISA Cybersecurity Best Practices](https://www.cisa.gov/topics/cybersecurity-best-practices).  

### 3. Kontinuirano usklađivanje s regulatorima  

Kad je stupila na snagu nova regulativa o zaštiti podataka, graf znanja ažuriran je odgovarajućim fragmentom politike (npr. [GDPR](https://gdpr.eu/)). Motor relevantnosti dokaza odmah je podigao rezultate povjerenja za odgovore koji su već ispunjavali novu kontrolu, dok je označio one koji zahtijevaju reviziju.  

---

## Najbolje prakse za timove  

| Praksa | Zašto je važna |
|--------|----------------|
| **Držite dokaze atomarnima** – Pohranite svaki artefakt kao poseban čvor s metapodacima verzije. | Omogućuje precizno ponderiranje relevantnosti i točno podrijetlo. |
| **Postavite stroge SLA‑e za povratne informacije** – Recenzenti moraju reagirati u roku od 48 h na stavke s niskim povjerenjem. | Sprječava stagnaciju rezultata i ubrzava vrijeme odgovora. |
| **Pratite drift rezultata** – Grafički prikazujte raspodjelu povjerenja kroz vrijeme. Nagli padovi mogu signalizirati degradaciju modela ili promjene politika. | Rano otkrivanje sistemskih problema. |
| **Revizirajte evidenciju kvartalno** – Izvozite snimke evidencije i provjerite hash‑ove protiv sigurnosnih kopija. | Osigurava usklađenost s revizijskim zahtjevima. |
| **Kombinirajte više LLM‑ova** – Koristite model visoke preciznosti za kritične kontrole i brži model za stavke niskog rizika. | Optimizira troškove bez ugrožavanja povjerenja. |

---

## Smjerovi za budućnost  

1. **Integracija Zero‑Knowledge Proofa** – Kodirati dokaze povjerenja koji se mogu verificirati od strane trećih strana bez otkrivanja samog dokaza.  
2. **Federacija grafova znanja preko najamnika** – Omogućiti više organizacija da dijele anonimizirane signale povjerenja, jačajući robusnost modela.  
3. **Explainable AI slojevi** – Generirati prirodni jezik koji objašnjava svaki pomak rezultata povjerenja, povećavajući povjerenje dionika.  

Spajanje LLM‑ova, povratnih petlji u stvarnom vremenu i semantičkih grafova pretvara usklađenost iz statičkog popisa u dinamički, podatkovno‑vođen sustav povjerenja. Timovi koji usvoje ovaj pristup ne samo da će ubrzati ispunjavanje upitnika, već i podići svoju ukupnu sigurnosnu poziciju.  

---

## Također pogledajte  

- Dinamičko ocjenjivanje dokaza s grafovima znanja – detaljna analiza  
- Izgradnja revizijskog traga AI‑generiranih dokaza  
- Radar regulatornih promjena u stvarnom vremenu za AI platforme  
- Izvedbeni AI nadzorne ploče povjerenja u usklađenosti