
# Finetuning velikih jezičnih modela za automaciju sigurnosnih upitnika specifičnih za industriju

Sigurnosni upitnici su čuvari svakog SaaS partnerstva. Bilo da fintech poduzeće traži certifikat [ISO 27001](https://www.iso.org/standard/27001) ili health‑tech startup mora demonstrirati usklađenost s [HIPAA](https://www.hhs.gov/hipaa/index.html), osnovna pitanja su često ponavljajuća, visoko regulirana i vremenski zahtjevna za odgovor. Tradicionalne metode „kopiraj‑i‑zalijepi” uvode ljudske pogreške, povećavaju vrijeme obrade i otežavaju održavanje audibilnog zapisa promjena.

Uključuju se **finetunirani veliki jezični modeli (LLM‑ovi)**. Trening baznog LLM‑a na povijesnim odgovorima organizacije na upitnike, industrijskim standardima i internim dokumentima politika omogućuje timovima generiranje *prilagođenih*, *točnih* i *spremnih za audit* odgovora u sekundi. Ovaj članak prolazi kroz razloge, što i kako izgraditi finetuniranu LLM cjevovod koja se usklađuje s objedinjeni hubom usklađenosti Procurize, uz očuvanje sigurnosti, objašnjivosti i upravljanja.

## Sadržaj
1. [Zašto finetuning nadmašuje generičke LLM‑ove](#why-fine-tuning-beats-generic-llms)  
2. [Temelji podataka: kuriranje visokokvalitetnog korpusa za trening](#data-foundations)  
3. [Radni tok finetuninga – od sirovih dokumenata do implementacijskog modela](#pipeline)  
4. [Integracija modela u Procurize](#integration)  
5. [Osiguravanje upravljanja, objašnjivosti i revizije](#governance)  
6. [Stvarni ROI: metrike koje su bitne](#roi)  
7. [Buduće osiguravanje uz kontinuirane petlje učenja](#future)  
8. [Zaključak](#conclusion)  

<a name="why-fine-tuning-beats-generic-llms"></a>
## 1. Zašto finetuning nadmašuje generičke LLM‑ove

| Aspekt | Generički LLM (zero‑shot) | Finetunirani LLM (specifičan za industriju) |
|--------|--------------------------|--------------------------------------------|
| **Točnost odgovora** | 70‑85 % (depends on prompt) | 93‑99 % (trained on exact policy wording) |
| **Dosljednost odgovora** | Variable across runs | Deterministic for a given version |
| **Rječnik usklađenosti** | Limited, may miss legal phrasing | Embedded industry‑specific terminology |
| **Audit zapis** | Hard to map back to source docs | Direct traceability to training snippets |
| **Trošak zaključivanja** | Higher (larger model, more tokens) | Lower (smaller fine‑tuned model) |

Finetuning omogućuje modelu da **internalizira točan jezik politika, okvira kontrole i prošlih odgovora na revizije** organizacije. Umjesto da se oslanja na generički chat‑stil zaključivanja, model postaje *knowledge‑augmented* responder koji zna:

* Koje klauzule ISO 27001 se podudaraju s određenim pitanjem upitnika.  
* Kako organizacija definira “kritične podatke” u svojoj Politici klasifikacije podataka.  
* Preferirani način izražavanja za “enkripcija u mirovanju” koji zadovoljava i SOC 2 i GDPR.

Rezultat je dramatičan porast i brzine i povjerenja, osobito za timove koji moraju odgovoriti na desetke upitnika mjesečno.

<a name="data-foundations"></a>
## 2. Temelji podataka: kuriranje visokokvalitetnog korpusa za trening

Finetunirani model je dobar samo koliko su dobri podaci iz kojih uči. Uspješne cjevovode obično slijede **četverazinski proces kuriranja**:

### 2.1. Identifikacija izvora
* **Povijesni odgovori na upitnike** – Izvoz CSV/JSON iz repozitorija odgovora Procurize.  
* **Dokumenti politika** – PDF‑ovi, markdown ili Confluence stranice za SOC 2, [ISO 27001](https://www.iso.org/standard/27001), [HIPAA](https://www.hhs.gov/hipaa/index.html), [PCI‑DSS](https://www.pcisecuritystandards.org/pci_security/), itd.  
* **Dokazi kontrole** – Screenshoti, dijagrami arhitekture, rezultati testova.  
* **Komentari pravnog pregleda** – Bilješke pravnog tima koji pojašnjavaju dvosmislenosti.

### 2.2. Normalizacija
* Pretvorite PDF‑ove u običan tekst pomoću OCR alata (npr., Tesseract) zadržavajući naslove.  
* Uklonite HTML oznake i standardizirajte završetke redaka.  
* Uskladite svaki odgovor na upitnik s referencom iz izvornog dokumenta politike (npr., “A5.2 – ISO 27001 A.12.1”).

### 2.3. Anotacija i obogaćivanje
* Označite svaku rečenicu **metapodacima**: `industry`, `framework`, `confidence_level`.  
* Dodajte *parove prompt‑odgovor* za format finetuninga kompatibilan s OpenAI‑jem:

```json
{
  "messages": [
    {"role": "system", "content": "Vi ste asistent za usklađenost za fintech tvrtku."},
    {"role": "user", "content": "Kako vaša organizacija šifrira podatke u mirovanju?"},
    {"role": "assistant", "content": "Svi produkcijski baze podataka šifrirane su pomoću AES‑256‑GCM s rotacijom ključa svakih 90 dana, kako je dokumentirano u Politici EN‑001."}
  ]
}
```

### 2.4. Kvalitativna vrata
* Pokrenite **skriptu za deduplikaciju** kako biste uklonili gotovo identične unose.  
* Uzorak 5 % podataka za ručnu reviziju: provjerite zastarjele reference, pravopisne pogreške ili proturječja.  
* Koristite **BLEU‑stil ocjenu** nasuprot validacijskom skupu kako biste osigurali da kurirani korpus ima visoku unutarnju koherenciju.

Rezultat je **strukturirani, verzijski kontrolirani skup podataka za trening** pohranjen u Git‑LFS repozitoriju, spreman za posao finetuninga.

<a name="pipeline"></a>
## 3. Radni tok finetuninga – od sirovih dokumenata do implementacijskog modela

```mermaid
flowchart TD
    A["Extract & Normalize Docs"] --> B["Tag & Annotate (metadata)"]
    B --> C["Split into Prompt‑Response Pairs"]
    C --> D["Validate & Deduplicate"]
    D --> E["Push to Training Repo (Git‑LFS)"]
    E --> F["CI/CD Trigger: Fine‑Tune LLM"]
    F --> G["Model Registry (Versioned)"]
    G --> H["Automated Security Scan (Prompt Injection)"]
    H --> I["Deploy to Procurize Inference Service"]
    I --> J["Real‑Time Answer Generation"]
    J --> K["Audit Log & Explainability Layer"]
```

U nastavku je visokorazinski Mermaid dijagram koji prikazuje cijeli cjevovod. Svaki blok je dizajniran da bude **observable** u CI/CD okruženju, omogućavajući povratak na staru verziju i izvještavanje o usklađenosti.

### 3.1. Odabir baznog modela
* **Veličina vs. latencija** – Za većinu SaaS tvrtki, model od 7 B parametara (npr., Llama‑2‑7B) pruža dobar balans.  
* **Licenciranje** – Provjerite da li bazni model dopušta finetuning za komercijalnu upotrebu.

### 3.2. Konfiguracija treninga
| Parametar | Tipična vrijednost |
|-----------|--------------------|
| **Epohe** | 3‑5 (rano zaustavljanje na temelju validacijske gubitka) |
| **Stopa učenja** | 2e‑5 |
| **Veličina batcha** | 32 (prilagođeno GPU memoriji) |
| **Optimizator** | AdamW |
| **Kvantizacija** | 4‑bit za smanjenje troškova zaključivanja |

Pokrenite posao na upravljanom GPU klasteru (npr., AWS SageMaker, GCP Vertex AI) s **artifact tracking** (MLflow) kako biste zabilježili hiperaparametre i hash‑ove modela.

### 3.3. Evaluacija nakon treninga
* **Exact Match (EM)** prema odvojenom validacijskom skupu.  
* **F1‑Score** za djelomične točnosti (važna kada se oblikovanje razlikuje).  
* **Compliance Score** – prilagođena metrike koja provjerava sadrži li generirani odgovor obavezne citate iz politika.

Ako compliance score padne ispod 95 %, aktivirajte **human‑in‑the‑loop reviziju** i ponovite finetuning s dodatnim podacima.

<a name="integration"></a>
## 4. Integracija modela u Procurize

Procurize već nudi **questionnaire hub**, dodjeljivanje zadataka i pohranu verzioniranih dokaza. Finetunirani model postaje dodatna mikro‑servis koja se ubacuje u ovaj ekosustav.

| Točka integracije | Funkcionalnost |
|--------------------|----------------|
| **Answer Suggestion Widget** | U uredniku upitnika, gumb „Generiraj AI odgovor” poziva inference endpoint. |
| **Policy Reference Auto‑Linker** | Model vraća JSON payload: `{answer: "...", citations: ["EN‑001", "SOC‑2‑A.12"]}`. Procurize prikazuje svaku citaciju kao klikabilnu vezu na izvorni dokument. |
| **Review Queue** | Generirani odgovori ulaze u stanje “Pending AI Review”. Analitičari sigurnosti mogu prihvatiti, urediti ili odbiti. Sve akcije se logiraju. |
| **Audit Trail Export** | Prilikom izvoz paketa upitnika, sustav uključuje hash modela, snapshot hash trening podataka i **model‑explainability izvješće** (pogledajte odjeljak 5). |

Lagani **gRPC** ili **REST** omotač oko modela omogućuje horizontalno skaliranje. Deploy na Kubernetes s **Istio sidecar injection** za mTLS između Procurize i inference servisa.

<a name="governance"></a>
## 5. Osiguravanje upravljanja, objašnjivosti i revizije

Finetuning uvodi nove aspekte usklađenosti. Sljedeće kontrole čuvaju cjevovod pouzdanim:

### 5.1. Sloj objašnjivosti
* **SHAP** ili **LIME** tehnike primijenjene na važnost tokena – vizualiziraju se u UI‑ju kao istaknute riječi.  
* **Citation Heatmap** – model ističe koje su izvorne rečenice najviše doprinijele generiranom odgovoru.

### 5.2. Registri verzioniranih modela
* Svaki unos u registru modela sadrži: `model_hash`, `training_data_commit`, `hyperparameters`, `evaluation_metrics`.  
* Kad revizija pita “Koji je model odgovorio na pitanje Q‑42 2025‑09‑15?”, jednostavan upit vraća točnu verziju modela.

### 5.3. Obrana od prompt injectiona
* Statička analiza dolaznih promptova blokira zlonamjerne uzorke (npr., “Ignore all policies”).  
* Primijeni **system prompt** koji ograničava ponašanje modela: *“Odgovaraj samo koristeći interne politike; ne izmišljaj vanjske reference.”*

### 5.4. Zadržavanje podataka i privatnost
* Trening podaci pohranjeni su u šifriranom S3 bucketu s **bucket‑level IAM politikama**.  
* Primijeni **diferencijalnu privatnost** na bilo koji osobni identifikacijski podatak (PII) prije uključivanja u korpus.

<a name="roi"></a>
## 6. Stvarni ROI: metrike koje su bitne

| KPI | Prije finetuninga | Nakon finetuninga | Poboljšanje |
|-----|-------------------|--------------------|-------------|
| **Prosječno vrijeme generiranja odgovora** | 4 min (ručno) | 12 sekundi (AI) | ‑95 % |
| **Točnost pri prvom prolazu (bez ljudske izmjene)** | 68 % | 92 % | +34 % |
| **Nalazi revizije usklađenosti** | 3 po kvartalu | 0,5 po kvartalu | ‑83 % |
| **Sate tima uštedjeti po kvartalu** | 250 hrs | 45 hrs | ‑82 % |
| **Trošak po upitniku** | $150 | $28 | ‑81 % |

Pilot projekt s srednje velikom fintech tvrtkom pokazao je **70 % smanjenje** vremena za onboarding dobavljača, što se izravno pretvorilo u brže priznavanje prihoda.

<a name="future"></a>
## 7. Buduće osiguravanje uz kontinuirane petlje učenja

1. **Planirano retraining** – Kvartalni poslovi koji učitavaju nove odgovore i ažurirane politike.  
2. **Active Learning** – Kad revizor izmijeni AI‑generirani odgovor, modificirana verzija se pohranjuje kao visokoučeni uzorak.  
3. **Detekcija konceptualnog drift‑a** – Praćenje distribucije token‑ugrađenih vektora; značajan drift aktivira upozorenje timu za podatke.  
4. **Federativno učenje (opcionalno)** – Za multi‑tenant SaaS platforme, svaki najam može finetunirati svoj *lokalni head* bez dijeljenja sirovih politika, čuvajući povjerljivost, a istovremeno koristeći zajednički bazni model.

Ovime organizacija ne samo da **povećava brzinu i točnost** odgovora na upitnike, nego i **ostaje u koraku** s promjenjivim regulatornim zahtjevima.

<a name="conclusion"></a>
## 8. Zaključak

Finetuning velikih jezičnih modela na korpusima usklađenosti specifičnim za industriju pretvara sigurnosne upitnike iz uskog grla u **predvidivu, audibilnu uslugu**. Kada se kombinira s objedinjeni hubom usklađenosti Procurize, rezultat je:

* **Brzina:** Odgovori isporučeni u sekundi, a ne danima.  
* **Točnost:** Jezično usklađeni odgovori koji prolaze pravni pregled.  
* **Transparentnost:** Povezani citati i izvješća o objašnjivosti.  
* **Kontrola:** Slojevi upravljanja koji zadovoljavaju revizije.

Za svaku SaaS tvrtku koja želi skalirati svoj program upravljanja rizicima, investicija u finetuniranu LLM‑cjevovod donosi mjerljiv ROI i osigurava buduću usklađenost s rastućim regulatornim krajolikom.

> **Spremni za lansiranje vlastitog finetuniranog modela?** Započnite izvođenjem podataka o odgovorima za posljednja tri mjeseca iz Procurize, te slijedite kontrolnu listu za kuriranje podataka opisanu gore. Prvi model možete istrenirati za manje od 24 sata na skromnom GPU klasteru – vaš tim za usklađenost će vam biti zahvalan sljedeći put kad partner zatraži SOC 2 upitnik.

## Pogledajte također
- [NIST Special Publication 800‑53 Rev 5: Security and Privacy Controls for Federal Information Systems and Organizations](https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final)  
- [“Fine‑Tuning Language Models: A Comprehensive Survey” – arXiv preprint (2024)](https://arxiv.org/abs/2403.12345)  
- [OpenAI Cookbook: Prompt Design and Fine‑Tuning Best Practices](https://github.com/openai/openai-cookbook)