# Dirbtinio intelekto varoma realaus laiko ESG ir DEI atitikties skydelis su suinteresuotųjų šalių nuotaikos susijungimu

## Įvadas

Aplinkos, socialinės ir valdymo (ESG) ataskaitos tapo neprivaloma reikalavimu viešai prekiaujančioms įmonėms, o Įvairovės, lygybės ir įtraukties (DEI) rodikliai dabar yra pagrindinės socialinės atsakomybės atskaitomybės dalys. Vis dėlto dauguma organizacijų vis dar laiko ESG ir DEI kaip atskirus duomenų silos, atnaujinamus ketvirtį arba metinį, ir retai įtraukia darbuotojų, klientų ar investuotojų balsą, nuolat srautinį iš socialinės žiniasklaidos, vidinių apklausų ir pagalbos bilietų.

**Kas būtų, jei galėtumėte stebėti ESG ir DEI sveikatą realiu laiku, tuo pačiu matydami, kaip suinteresuotosios šalys jaučiasi dėl jūsų pažangos?**  
Atsakymas – DI varomas atitikties skydelis, kuris sujungia struktūrizuotus ESG/DEI rodiklius, dinaminį žinių grafiką ir tiesioginius nuotaikos signalus į vieną interaktyvią peržiūrą. Šiame straipsnyje išsamiai apžvelgiami architektūriniai blokai, duomenų kanalai ir generatyvaus DI metodai, reikalingi tokio skydelio įgyvendinimui mastu.

> **Svarbiausia išvada:** Įtraukus nuotaikos susijungimą, jūs paverčiate grynus atitikties skaičius pasakojimu, paaiškinančiu *kodėl* rodiklis keičiasi, leidžiančiu greičiau spręsti problemas ir skaidriau bendrauti su reguliuotojais bei investuotojais.

---

## Kodėl svarbu ESG + DEI + Nuotaika

| Matmuo | Tradicinis požiūris | DI patobulinta realaus laiko peržiūra |
|--------|----------------------|----------------------------------------|
| **Dažnis** | Ketvirtiniai ataskaitų ciklai, rankiniai skaičiuoklės | Nuolatinis srautas, sub‑sekundiniai atnaujinimai |
| **Kontekstas** | Atskiri KPI lentelės | Nuotaikos‑sąmoningi pasakojimai, paaiškinantys šuolius |
| **Veiksmingumas** | Reaktyvus – po audito | Proaktyvus – įspėjimai, suaktyvinti nuotaikos‑klausų rizikos balais |
| **Suinteresuotųjų šalių pasitikėjimas** | Riboma matomumas | Skaidri, duomenimis pagrįsta istorija |

*Reguliuotojai* pradeda reikalauti **socialinio poveikio** įrodymų, neapsiribojant tik anglies pėdsaku. *Investuotojai* reikalauja įrodymų, kad DEI iniciatyvos nėra tik patikrinimo langeliai, bet yra teigiamai vertinamos darbuotojų ir klientų. *Darbuotojai* ieško skydelių, kurie realiu laiku atspindi jų atsiliepimus, stiprinant atsakomybės kultūrą.

Kai ESG, DEI ir nuotaika susijungia, gaunama **360° atitikties pozicija**, kuri gali būti audituojama, vizualizuojama ir automatiškai pasakojama.

---

## Pagrindiniai iššūkiai

1. **Duomenų įvairovė** – ESG duomenys ateina iš anglies jutiklių, tiekimo grandinės atskaitomybės ir finansinių ataskaitų; DEI duomenys – iš ŽMĮ sistemų, apklausų ir išorinių etalonų; nuotaika gyvena nestruktūruotuose tekstų srautuose.  
2. **Vėlavimas** – Tradiciniai ETL kanalai įveda valandas‑dienas vėlavimo, todėl neįmanoma reaguoti į staigų PR krizinį įvykį.  
3. **Paaiškinamumas** – Generatyvus DI gali kurti įtikinamus pasakojimus, tačiau atitikties komandoms reikia galimybės susieti kiekvieną teiginį su šaltiniu.  
4. **Privatumas ir valdymas** – Nuotaikos duomenys gali turėti asmens identifikavimo duomenų (PII), kuriuos būtina apsaugoti pagal [GDPR](https://gdpr.eu/), [CCPA](https://oag.ca.gov/privacy/ccpa) ir kt.

Žemiau pateikta sprendimo architektūra sprendžia kiekvieną iš šių problemų.

---

## Architektūros apžvalga

```mermaid
graph TD
    subgraph Ingestion
        ESG[ "ESG šaltiniai\n(IoT, ERP, SaaS)" ] -->|Kafka| Stream[ "Įvykių srauto sluoksnis" ]
        DEI[ "ŽMĮ & Apklausų API" ] -->|Kafka| Stream
        Sent[ "Socialinė žiniasklaida & Bilietų srautai" ] -->|Kafka| Stream
    end

    subgraph Processing
        Stream -->|Flink| Clean[ "Duomenų valymas ir normalizavimas" ]
        Clean -->|Spark| KG[ "Dinaminio žinių grafiko kūrėjas\n(GNN + RDF)" ]
        Clean -->|LLM+Sentiment| SentFusion[ "Nuotaikos susijungimo variklis\n(LLM + Nuotaikos modelis)" ]
    end

    KG -->|Neo4j| GraphDB[ "Grafų DB (Neo4j)" ]
    SentFusion -->|Elastic| SentDB[ "Nuotaikos saugykla (ElasticSearch)" ]

    subgraph Analytics
        GraphDB -->|Cypher Queries| Metrics[ "ESG/DEI metrikų variklis" ]
        SentDB -->|Vector Search| SentScore[ "Nuotaikos balų variklis" ]
        Metrics -->|Combine| Fusion[ "Susijungimo sluoksnis\n(Balų normalizavimas)" ]
        SentScore --> Fusion
    end

    subgraph Presentation
        Fusion -->|REST API| Dashboard[ "Interaktyvus skydelis\n(Mermaid, React, D3)" ]
        Fusion -->|LLM| Narrative[ "Generatyvios istorijos paslauga" ]
        Narrative --> Dashboard
    end

    style Ingestion fill:#f9f,stroke:#333,stroke-width:2px
    style Processing fill:#bbf,stroke:#333,stroke-width:2px
    style Analytics fill:#bfb,stroke:#333,stroke-width:2px
    style Presentation fill:#ff9,stroke:#333,stroke-width:2px
```

**Diagramos paaiškinimas**

* **Įsisavinimas** – Visi šaltiniai siunčia įvykius į Kafka klasterį, užtikrinantį bent vieną pristatymą ir horizontalią skalę.  
* **Apdorojimas** – Apache Flink atlieka žemą vėlavimą valydamas duomenis; Spark užduotys praturtina duomenis ir tieka grafų neuroniniam tinklui (GNN), kuris nuolat atnaujina ESG/DEI žinių grafiką.  
* **Nuotaikos susijungimo variklis** – Didelis kalbos modelis (LLM) išgauna entitetus, o smulkiai sureguliuotas nuotaikos klasifikatorius priskiria poliarumą ir pasitikėjimo balus.  
* **Analitika** – Cypher užklausos išgauna KPI tendencijas iš grafų; vektorinė panašumo paieška Elastic suteikia nuotaikos kontekstą. Susijungimo sluoksnis normalizuoja balus (0‑100) ir sukuria sudėtini **Atitikties sveikatos indeksą**.  
* **Pateikimas** – React front‑endas naudoja REST API, atvaizduoja Mermaid diagramas grafų tyrimui ir kviečia Istorijų paslaugą generuoti žmogui suprantamus paaiškinimus kiekvienam įspėjimui.

---

## Duomenų įsisavinimas ir realaus laiko srautai

1. **Kafka temos**  
   * `esg.metrics` – JSON su laiko žymomis, šaltinio ID ir matavimo vienetais.  
   * `dei.records` – CSV konvertuoti HRIS įrašai (pvz., lytis, etninė priklausomybė, paaukštinimo datos).  
   * `sentiment.raw` – Žali tekstai iš Twitter API, Slack, Zendesk bilietų.

2. **Schemos registras** – Avro schemos užtikrina versijuotas sutartis, neleidžiančias sutrikimų, kai pridedamas naujas ESG rodiklis.

3. **Krašto normalizavimas** – Lengvas Flink darbas veikia krašte (pvz., Kubernetes mazguose) ir:
   * Konvertuoja vienetus (kg CO₂ → metriniai tonai).  
   * Maskuoja PII naudojant deterministinę maišos funkciją (suderinamą su diferencialine privatumu).  
   * Prideda kilmės žymą (`source:internal|external`, `ingest_ts`).

---

## Nuotaikos susijungimo variklis

### 1. Entitetų išgavimas

```python
from transformers import AutoTokenizer, AutoModelForTokenClassification

tokenizer = AutoTokenizer.from_pretrained("dslim/bert-base-NER")
model = AutoModelForTokenClassification.from_pretrained("dslim/bert-base-NER")

def extract_entities(text):
    tokens = tokenizer(text, return_tensors="pt")
    outputs = model(**tokens)
    # post‑process to get entity spans
    return entities
```

### 2. Nuotaikos skaičiavimas

Sumažintas RoBERTa modelis, pritaikytas specifinei domenų duomenų rinkai (saugumo bilietai, ESG naujienos) išveda **nuotaikos vektorių** `[positive, neutral, negative]`. Vektorius dauginamas **poveikio faktoriu**, gautu iš entiteto svarbos ESG/DEI (pvz., „anglies emisijos“ gauna didesnį svorį nei „biuro kavos“).

### 3. Susijungimo logika

```python
def fuse_score(metric_value, sentiment_vector, impact_factor):
    sentiment_score = (sentiment_vector[0] - sentiment_vector[2]) * impact_factor
    # Normalize metric (0‑1) then combine
    return 0.7 * metric_value + 0.3 * sentiment_score
```

Gautas **sudėtinis balas** patenka į Susijungimo sluoksnį, kuris atnaujina Atitikties sveikatos indeksą beveik realiu laiku.

---

## Žinių grafiko integracija

**Savybių grafas** saugo ESG ir DEI entitetus kaip mazgus (`Company`, `Facility`, `EmployeeGroup`, `Policy`) ir santykius (`EMITS`, `BELONGS_TO`, `IMPACTS`). Grafas nuolat praturtinamas GNN, kuris prognozuoja trūkstamus ryšius (pvz., numato, kad naujas tiekėjas greičiausiai paveiks 3‑iojo lygio emisijas).

```cypher
MATCH (c:Company {id: $companyId})-[:HAS_POLICY]->(p:Policy)
WHERE p.type = 'DEI'
RETURN p.name, p.effectiveDate, p.complianceScore
ORDER BY p.complianceScore DESC
LIMIT 5
```

Visi grafų atnaujinimai yra versijuojami; kiekvienas pakeitimas sukuria nekeičią mazgą **audit ledger** saugykloje, paremto blokų grandinės pagrindu, tenkinantį reguliavimo sekimo reikalavimus.

---

## Realaus laiko vizualizacija

Skydelis susideda iš trijų pagrindinių skydelių:

| Skydelis | Tikslas | Technologija |
|----------|---------|--------------|
| **Metrikų apžvalga** | Sparčiosios linijos (sparkline) anglies intensyvumui, lygių atlyginimo skirtumui ir kt. | D3.js + React |
| **Nuotaikos šiltnamio žemėlapis** | Geografinė nuotaikos pasiskirstymo vizualizacija ESG temoms | Leaflet + WebGL |
| **Žinių grafiko tyrinėtojas** | Interaktyvi Mermaid diagrama, rodanti politikų priklausomybes | Mermaid.js (dinaminis atvaizdavimas) |

### Pavyzdinė Mermaid diagrama

```mermaid
graph LR
    Company["\"Acme Corp\""] --> Policy["\"Anglies neutralumo politika\""]
    Policy --> Target["\"2025 metų Net‑Zero tikslas\""]
    Target --> Scope3["\"3‑iojo lygio emisijos\""]
    Scope3 --> Supplier["\"Top 10 tiekėjų\""]
    Supplier --> Sentiment["\"Nuotaikos balas: -0.42\""]
```

Užvedus pelę ant bet kurio mazgo, iššokantis paaiškinimas rodo naujausią **Istorijos įžvalgą**, sugeneruotą LLM.

---

## Generatyvios istorijos paslauga

Naudojant Retrieval‑Augmented Generation (RAG) kanalą, paslauga ištraukia naujausius metrikų duomenis ir nuotaikos ištraukas, tada prašo LLM sukurti glaustą paragrafą:

> *„Nuo 2026‑07‑18 Acme Corp 3‑iojo lygio emisijos išaugo 3 % metai prieš metus, daugiausia dėl tiekėjo X padidinto transporto apimties. Pastaruoju metu socialinės žiniasklaidos nuotaika apie tiekėją X nukrito iki –0.42, atspindėdama susirūpinimą dėl jo anglies intensyvaus logistinio sprendimo. Norint išlaikyti 2025 metų Net‑Zero tikslą, atitikties komandai rekomenduojama pirmiausia peržiūrėti transporto sutartis arba ieškoti ekologiškesnių vežėjų.“*  

Pasakojime pateikiamos **šaltinio citatos** (grafų mazgo ID, Kafka offset), kad auditoriai galėtų patikrinti kiekvieną teiginį.

---

## Saugumas, privatumas ir valdymas

| Risinama problema | Sprendimas |
|-------------------|------------|
| **PII nutekėjimas** | Diferencialios privatumo triukšmas pridedamas prie DEI skaičių; deterministinis maišymas darbuotojų ID. |
| **Modelio nuokrypis** | Nuolatinė LLM išvesties kokybės stebėsena; automatizuotas permokymas kas 30 dienų naudojant šviežius žymėtus duomenis. |
| **Duomenų vientisumas** | Nekeičiama auditų knyga leidžiama leidžiamame blokų grandinės tinkle; kiekvienas įsisavinimo įvykis pasirašomas HSM apsaugotu raktu. |
| **Prieigos kontrolė** | Rolės pagrindu paremtas prieigos valdymas (RBAC) įgyvendintas API vartų lygyje; smulkios politikos per OPA (Open Policy Agent). |

Visi komponentai diegiami nulinės pasitikėjimo (zero‑trust) Kubernetes klasteryje, su tarpusavio TLS ir slaptų duomenų valdymu per HashiCorp Vault.

---

## Įgyvendinimo planas (12‑savaitė sprintas)

| Savaitė | Etapas |
|---------|--------|
| 1‑2 | Sukurti Kafka klasterį, apibrėžti Avro schemas, įsisavinti pavyzdinius ESG/DEI duomenis. |
| 3‑4 | Įdiegti Flink valymo užduotį; įgyvendinti PII maskavimą ir kilmės žymėjimą. |
| 5‑6 | Sukurti nuotaikos išgavimą (entitetų + nuotaikos modeliai) ir saugoti rezultatus Elastic. |
| 7‑8 | Projektuoti Neo4j schemą, įgyvendinti GNN nuorodų prognozavimą, įgalinti versijuotą grafų atnaujinimą. |
| 9 | Sukurti Susijungimo sluoksnio API, skaičiuojantį sudėtinius balus ir Atitikties sveikatos indeksą. |
| 10 | Sukurti React skydelį su Mermaid grafų tyrinėtoju ir D3 vizualizacijomis. |
| 11 | Integruoti RAG istorijų paslaugą; pridėti šaltinio citatų sluoksnį. |
| 12 | Atlikti saugumo auditą, našumo apkrovų testą (10 k įvykių/s), ir paleisti MVP. |

---

## Verslo nauda

1. **Spartesnis sprendimų priėmimas** – Vadovai gali matyti neigiamo nuotaikos šuolio poveikį per minutes, o ne savaites.  
2. **Reguliavimo pasitikėjimas** – Nekeičiama kilmė ir paaiškinamasis DI tenkina auditorijas tiek ESG, tiek DEI ataskaitoms.  
3. **Suinteresuotųjų šalių pasitikėjimas** – Skaidrios istorijos paverčia skaičius pasakojimais, kurie rezonuoja su investuotojais, darbuotojais ir klientais.  
4. **Išlaidų mažinimas** – Ankstyvas atitikties nukrypimo aptikimas išvengia brangių korekcijų po reguliatoriaus audito.

---

## Ateities kryptys

* **Daugiakalbė nuotaikos susijungimas** – Išplėsti variklį, kad apdorotų neanglų atsiliepimus naudojant daugiakalbį LLM.  
* **Prognozinė scenarijų simuliacija** – Sujungti skydelį su „kas‑jei“ varikliu, prognozuojančiu ESG/DEI rezultatus pagal skirtingas politikos priemones.  
* **Federacinis mokymasis** – Dalintis anonimizuotais nuotaikos modeliais tarp pramonės konsorciumų, neatskleidžiant žaliųjų duomenų, gerinant naujų ESG rizikų aptikimą.  

---

## Išvada

Sujungus ESG ir DEI metrikus su realaus laiko suinteresuotųjų šalių nuotaika, organizacijos įgyja **gyvą atitikties poziciją**, kuri yra tiek duomenų turtinga, tiek pasakojimo pagrindu. Aukščiau aprašyta architektūra naudoja patikrintas atviro kodo technologijas – Kafka, Flink, Spark, Neo4j ir LLM‑pagrįstą RAG – įterpdama privatumo‑by‑design ir paaiškinamumą kiekviename sluoksnyje. Įdiegiant tokį skydelį, atitiktis tampa ne tik periodine ataskaita, bet ir strategine, proaktyvia galimybe, stiprinančia pasitikėjimą, mažinančia riziką ir skatinančia tvarų augimą.

---

## Susiję šaltiniai

- [ESG ataskaitų kraštovaizdis: tendencijos ir technologijos (World Economic Forum)](https://www.weforum.org/agenda/2024/01/esg-reporting-trends/)  
- [Google Cloud realaus laiko nuotaikos analizė įmonėms (Google Cloud Blog)](https://cloud.google.com/blog/topics/developers-practitioners/real-time-sentiment-analysis)  
- [Nulinės pasitikėjimo architektūra duomenų kanalams (NIST SP 800‑207)](https://csrc.nist.gov/publications/detail/sp/800-207/final)