
# Multi‑modal AI‑extraktion av bevis för säkerhetsfrågeformulär

Säkerhetsfrågeformulär är grindvakter för varje B2B‑SaaS‑avtal. Leverantörer ombeds tillhandahålla bevis—policy‑PDF‑filer, arkitekturdiagram, kodsnuttar, revisionsloggar och även skärmdumpar av instrumentpaneler. Traditionellt spenderar säkerhets‑ och efterlevnadsteam **timmar** på att gå igenom arkiv, kopiera filer och manuellt bifoga dem till frågeformulärens fält. Resultatet blir ett flaskhals som bromsar försäljningsprocesserna, ökar mänskliga fel och skapar revisionsluckor.

**Procurize** har redan byggt en kraftfull enhetlig plattform för hantering av frågeformulär, uppgiftstilldelning och AI‑assisterad svarsgenerering. Nästa frontier är att **automatisera själva bevisinsamlingen**. Genom att utnyttja **multi‑modal generativ AI**—modeller som förstår text, bilder, tabeller och kod i en enda pipeline—kan organisationer omedelbart framkalla rätt artefakt för varje frågeformulärspost, oavsett format.

I den här artikeln kommer vi att:

1. Förklara varför en enkelsmodalitet‑metod (ren text‑LLM) misslyckas med moderna efterlevnadsarbetsbelastningar.  
2. Detaljera arkitekturen för en multi‑modal bevis‑extraktionsmotor byggd ovanpå Procurize.  
3. Visa hur man tränar, utvärderar och kontinuerligt förbättrar systemet med **Generativ Motoroptimering (GEO)**‑tekniker.  
4. Ge ett konkret end‑to‑end‑exempel, från en säkerhetsfråga till det automatiskt bifogade beviset.  
5. Diskutera styrning, säkerhet och auditspår.

> **Viktig slutsats:** Multi‑modal AI omvandlar bevis‑hämtning från en manuell syssla till en repeterbar, auditerbar tjänst, vilket minskar svarstiden på frågeformulär med upp till 80 % samtidigt som efterlevnadens stringens bevaras.

---

## 1. Begränsningarna med enbart text‑LLM i frågeformulärsarbetsflöden

De flesta AI‑drivna automatiseringar idag bygger på stora språkmodeller (LLM) som briljerar på **textgenerering** och **semantisk sökning**. De kan hämta policy‑klausuler, summera revisionsrapporter och till och med skriva narrativa svar. Men bevis för efterlevnad är sällan enbart text:

| Bevis typ | Typiskt format | Svårighet för enbart text‑LLM |
|-----------|----------------|------------------------------|
| **Arkitekturdiagram** | PNG, SVG, Visio | Kräver visuell förståelse |
| **Konfigurationsfiler** | YAML, JSON, Terraform | Strukturerade men ofta nästlade |
| **Kodsnuttar** | Java, Python, Bash | Behöver syntax‑medveten extraktion |
| **Skärmdumpar av instrumentpaneler** | JPEG, PNG | Måste läsa UI‑element, tidsstämplar |
| **Tabeller i PDF‑revisionsrapporter** | PDF, skannade bilder | OCR + tabellparsing behövs |

När en fråga lyder *“Tillhandahåll ett nätverksdiagram som visar dataplanen mellan er produktions‑ och backup‑miljö”* kan en ren text‑modell bara svara med en beskrivning; den kan varken lokalisera, verifiera eller bädda in själva bilden. Detta gap tvingar användare att ingripa och återintroducerar den manuella insatsen vi vill eliminera.

---

## 2. Arkitektur för en multi‑modal bevis‑extraktionsmotor

Nedan visas ett hög‑nivå‑diagram av den föreslagna motorn, integrerad med Procurizes kärn‑frågeformulär‑nav.

```mermaid
graph TD
    A["Användare skickar in frågeformuläret"] --> B["Frågeklassificeringstjänst"]
    B --> C["Multi‑modal hämtnings‑orkestrator"]
    C --> D["Textvektorlager (FAISS)"]
    C --> E["Bildinbäddningslager (CLIP)"]
    C --> F["Kodinbäddningslager (CodeBERT)"]
    D --> G["Semantisk matchning (LLM)"]
    E --> G
    F --> G
    G --> H["Bevis‑rankningsmotor"]
    H --> I["Efterlevnads‑metadata‑berikning"]
    I --> J["Automatisk bifogning till Procurize‑uppgift"]
    J --> K["Mänsklig‑i‑loopen‑verifiering"]
    K --> L["Revisionsloggspost"]
```

### 2.1 Kärnkomponenter

1. **Frågeklassificeringstjänst** – Använder en fin‑justerad LLM för att märka inkommande frågeformulärsposter med **bevis‑typer** (t.ex. “nätverksdiagram”, “policy‑PDF”, “Terraform‑plan”).  
2. **Multi‑modal hämtnings‑orkestrator** – Dirigerar förfrågan till rätt inbäddningslager baserat på klassificeringen.  
3. **Inbäddningslager**  
   * **Textlager** – FAISS‑index byggt på alla policy‑dokument, revisionsrapporter och markdown‑filer.  
   * **Bildlager** – CLIP‑baserade vektorer genererade från varje diagram, skärmdump och SVG i dokumentarkivet.  
   * **Kodlager** – CodeBERT‑inbäddningar för alla källkodsfiler, CI/CD‑konfigurationer och IaC‑mallar.  
4. **Semantisk matchnings‑lager** – En tvär‑modal transformer förenar fråge­embedding med varje modals vektorer och returnerar en rangordnad lista av kandidatarterifakter.  
5. **Bevis‑rankningsmotor** – Tillämpar **Generativ Motoroptimering**‑heuristik: färskhet, version‑kontrollstatus, efterlevnads‑tag‑relevans och LLM‑konfidens.  
6. **Efterlevnads‑metadata‑berikning** – Fäster SPDX‑licenser, revisions‑tidsstämplar och dataprotektions‑taggar på varje artefakt.  
7. **Mänsklig‑i‑loopen‑verifiering** – UI i Procurize visar de tre bästa förslagen; en granskare kan godkänna, ersätta eller avvisa.  
8. **Revisionsloggspost** – Varje automatisk bifogning registreras med kryptografisk hash, gransknings‑signatur och AI‑konfidens, vilket uppfyller SOX‑ och GDPR‑audit‑spår.

### 2.2 Datainsamlings‑pipeline

1. **Crawler** skannar företagets fildelning, Git‑arkiv och moln‑buckets.  
2. **Förprocess** kör OCR på skannade PDF‑filer (Tesseract), extraherar tabeller (Camelot) och konverterar Visio‑filer till SVG.  
3. **Inbäddare** genererar modal‑specifika vektorer och lagrar dem med metadata (fil‑sökväg, version, ägare).  
4. **Incrementell uppdatering** – En förändrings‑detekterings‑mikrotjänst (watchdog) åter‑inbäddar endast modifierade tillgångar, vilket håller vektorlageret färskt i nära realtid.

---

## 3. Generativ Motoroptimering (GEO) för bevis­hämtning

**GEO** är en systematisk metod för att finjustera hela AI‑pipeline‑n—inte bara språkmodellen—så att slut‑KPI (svartidsförkortning för frågeformulär) förbättras samtidigt som efterlevnads‑kvalitet bibehålls.

| GEO‑fas | Mål | Nyckeltal |
|---------|-----|-----------|
| **Datakvalitet** | Säkerställa att inbäddningar speglar den senaste efterlevnads‑posten | % av tillgångar uppdaterade < 24 h |
| **Prompt‑utformning** | Skapa hämtnings‑promptar som styr modellen mot korrekt modalitet | Hämtnings‑konfidens |
| **Modell‑kalibrering** | Justera konfidens‑trösklar med mänsklig gransknings‑acceptans | Falsk‑positiv‑grad < 5 % |
| **Feedback‑loop** | Samla in gransknings‑åtgärder för att fin‑justera klassificering och ranking | Genomsnittlig tid till godkännande (MTTA) |
| **Kontinuerlig utvärdering** | Köra nattliga A/B‑test mot ett validerings‑set av historiska frågeformulär | Minskning av genomsnittlig svarstid |

### 3.1 Prompt‑exempel för multi‑modal hämtning

```
[QUESTION] Provide the most recent [SOC 2] Type II audit report covering data encryption at rest.

[CONTEXT] Retrieve a PDF document that includes the relevant audit section. Return the document ID, page range, and a brief excerpt.

[MODALITY] text
```

Orkestratorn tolkar `[MODALITY]`‑taggen och frågar endast **text‑lagret**, vilket dramatiskt minskar brus från bild‑ eller kod‑vektorer.

### 3.2 Adaptiva trösklar

Med **Bayesisk optimering** justeras automatiskt konfidens‑tröskeln för varje modalitet. När granskare konsekvent godkänner förslag över 0,78 konfidens för diagram, höjs tröskeln, vilket minskar onödiga gransknings‑hits. Om kodsnuttar får många avvisningar sänks tröskeln, vilket ger fler kandidatarterifakter.

---

## 4. End‑to‑end‑exempel: Från fråga till automatiskt bifogat bevis

### 4.1 Frågan

> *“Bifoga ett diagram som visar flödet av kunddata från ingestion till lagring, inklusive krypteringspunkter.”*

### 4.2 Steg‑för‑steg‑flöde

| Steg | Åtgärd | Resultat |
|------|--------|----------|
| 1 | Användare skapar en ny frågeformulärspost i Procurize. | Post‑ID `Q‑2025‑1123`. |
| 2 | Klassificeringstjänsten märker frågan som `bevis_typ: nätverksdiagram`. | Modalitet = **bild**. |
| 3 | Orkestratorn skickar förfrågan till CLIP‑bildlagret. | Hämtar 12 kandidaturvektorer. |
| 4 | Semantisk matchning beräknar cosinus‑likhet mellan fråge‑embedding och varje vektor. | Top‑3‑poäng: 0,92, 0,88, 0,85. |
| 5 | Ranknings‑motor utvärderar färskhet (senast modifierad för 2 dagar sedan) och efterlevnads‑taggar (innehåller “kryptering”). | Slutlig rang: Diagram `arch‑data‑flow‑v3.svg`. |
| 6 | Mänsklig‑i‑loopen‑UI visar diagrammet med förhandsgranskning, metadata (författare, version, hash). | Granskare klickar **Godkänn**. |
| 7 | Systemet bifogar automatiskt diagrammet till `Q‑2025‑1123` och registrerar en revisionspost. | Revisionslogg visar AI‑konfidens 0,91, gransknings‑signatur, tidsstämpel. |
| 8 | Svar‑genererings‑modulen skriver ett narrativ som refererar till diagrammet. | Färdigt svar klart för export. |

Den totala förflutna tiden från steg 1 till steg 8 är **≈ 45 sekunder**, jämfört med de typiska **15–20 minuterna** för manuell hämtning.

---

## 5. Styrning, säkerhet och revisionsspår

Att automatisera bevis‑hantering väcker legitima frågor:

1. **Dataläckage** – Inbäddningstjänster måste köras i ett **zero‑trust VPC** med strikta IAM‑roller. Inga inbäddningar lämnar företagets nätverk.  
2. **Versionskontroll** – Varje artefakt lagras med sitt **Git‑commit‑hash** (eller lagrings‑objekt‑version). När ett dokument uppdateras ogiltigförklaras gamla inbäddningar.  
3. **Förklarbarhet** – Ranknings‑motorn loggar likhets‑poäng och prompt‑kedjan, vilket möjliggör för efterlevnadsansvariga att spåra *varför* ett visst dokument valdes.  
4. **Regulatorisk anpassning** – Genom att bifoga SPDX‑licens‑identifierare och GDPR‑process‑kategorier till varje artefakt uppfylls bevis‑ursprungs‑kraven för **ISO 27001** Annex A.  
5. **Retention‑policyer** – Auto‑purge‑jobb rensar inbäddningar för dokument äldre än organisationens datalagrings‑fönster, så att inga föråldrade bevis kvarstår.

---

## 6. Framtida riktningar

### 6.1 Multi‑modal hämtning som tjänst (RaaS)

Exponera hämtnings‑orkestratorn via ett **GraphQL‑API** så att andra interna verktyg (t.ex. CI/CD‑efterlevnadskontroller) kan begära bevis utan att gå genom hela frågeformulär‑UI.

### 6.2 Integration av real‑tids‑regulatorisk radar

Kombinera den multi‑modal motorn med Procurizes **Regulatory Change Radar**. När en ny regel upptäcks, omklassificera automatiskt drabbade frågor och trigga en ny bevis­sökning, vilket garanterar att uppladdade artefakter alltid är i linje med gällande regelverk.

### 6.3 Federerad inlärning mellan företag

För SaaS‑leverantörer som betjänar flera kunder kan ett **federerat inlärnings‑lager** dela anonymiserade inbäddnings‑uppdateringar, vilket förbättrar hämtningens kvalitet utan att exponera proprietära dokument.

---

## 7. Slutsats

Säkerhetsfrågeformulär kommer fortsätta vara en hörnsten i leverantörsrisk‑hantering, men det manuella arbetet med att samla och bifoga bevis blir snabbt ohållbart. Genom att omfamna **multi‑modal AI**—en blandning av text‑, bild‑ och kod‑förståelse—kan Procurize förvandla bevis‑extraktion till en automatiserad, auditerbar tjänst. Med **Generativ Motoroptimering** säkerställs att AI‑konfidensen kontinuerligt justeras för att matcha mänskliga gransknings‑förväntningar och regulatoriska krav.

Resultatet blir en **dramatisk påskyndning** av svarstider, minskade mänskliga fel och ett starkare audit‑spår—så att säkerhets-, juridik‑ och säljteam kan fokusera på strategisk risk‑minimering i stället för repetitiv dokument‑jakt.

---

## <span class='highlight-content'>Se</span> även

- [Multi‑modal hämtning med CLIP och FAISS – Mot skalbar företags‑sökning](https://arxiv.org/abs/2103.00020)  
- [Generativ motoroptimering: En ramverk för kontinuerlig AI‑förbättring](https://www.mitre.org/publications/technical-papers/generative-engine-optimization)  
- [Zero‑trust‑arkitektur för AI‑drivna efterlevnadsplattformar](https://cloud.google.com/solutions/zero-trust-ai)  
- [ISO 27001 Annex A – Krav på bevis‑hantering](https://www.iso.org/standard/73906.html)