
# Güvenli Anket Otomasyonu için Dinamik İstem Optimizasyon Döngüsü

Güvenlik anketleri, uyumluluk denetimleri ve tedarikçi değerlendirmeleri, hem hız **hem** mutlak doğruluk gerektiren yüksek riskli belgelerdir. Procurize gibi modern AI platformları, yanıtları taslak olarak hazırlamak için büyük dil modellerini (LLM'leri) zaten kullanıyor, ancak statik istem şablonları, özellikle düzenlemeler değiştikçe ve yeni soru biçimleri ortaya çıktıkça performans darboğazına dönüşüyor.

Bir **Dinamik İstem Optimizasyon Döngüsü (DPOL)**, katı bir istem kümesini, hangi ifadelerin, bağlam parçacıklarının ve biçimlendirme ipuçlarının en iyi sonuçları verdiğini sürekli öğrenen canlı, veri‑odaklı bir sisteme dönüştürür. Aşağıda DPOL'ün mimarisini, temel algoritmalarını, uygulama adımlarını ve gerçek‑dünya etkisini, güvenli anket otomasyonuna odaklanarak inceliyoruz.

---

## 1. İstem Optimizasyonu Neden Önemlidir

| Sorun | Geleneksel Yaklaşım | Sonuç |
|-------|----------------------|-------|
| **Statik ifadeler** | Hepsi için tek beden istem şablonu | Soru ifadesi değiştikçe yanıtlar sapar |
| **Geri bildirim yok** | LLM çıktısı olduğu gibi kabul edilir | Algılanamayan gerçek hatalar, uyumluluk boşlukları |
| **Düzenleme değişimi** | Manuel istem güncellemeleri | Yeni standartlara (ör. NIS2, ISO 27001 / ISO/IEC 27001 Bilgi Güvenliği Yönetimi) yavaş tepki |
| **Performans takibi yok** | KPI görünürlüğü yok | Denetime hazır kaliteyi kanıtlama yetersizliği |

Bir optimizasyon döngüsü, her anket etkileşimini bir eğitim sinyali haline getirerek bu boşlukları doğrudan giderir.

---

## 2. High‑Level Architecture

```mermaid
graph TD
    A["Gelen Anket"] --> B["İstem Oluşturucu"]
    B --> C["LLM Çıkarım Motoru"]
    C --> D["Yanıt Taslağı"]
    D --> E["Otomatik QA ve Puanlama"]
    E --> F["İnsan‑İçinde‑Döngü İncelemesi"]
    F --> G["Geri Bildirim Toplayıcı"]
    G --> H["İstem Optimizasyonu"]
    H --> B
    subgraph İzleme
        I["Metrik Kontrol Paneli"]
        J["A/B Test Çalıştırıcı"]
        K["Uyumluluk Defteri"]
    end
    E --> I
    J --> H
    K --> G
```

**Ana Bileşenler**

| Bileşen | Rol |
|----------|-----|
| **İstem Oluşturucu** | Şablon havuzundan istemler oluşturur ve bağlamsal kanıtları (politikalar, risk puanları, önceki yanıtlar) ekler. |
| **LLM Çıkarım Motoru** | Seçilen LLM'i (örn. Claude‑3, GPT‑4o) sistem, kullanıcı ve isteğe bağlı araç‑kullanım mesajlarıyla çağırır. |
| **Otomatik QA ve Puanlama** | Sentaktik kontroller, Retrieval‑Augmented Generation (RAG) ile gerçek‑doğrulama ve uyumluluk puanlaması (örn. ISO 27001 alaka düzeyi) yürütür. |
| **İnsan‑İçinde‑Döngü İncelemesi** | Güvenlik veya hukuk analistleri taslağı doğrular, ek açıklamalar ekler ve isteğe bağlı olarak reddeder. |
| **Geri Bildirim Toplayıcı** | Sonuç metriklerini saklar: kabul oranı, düzenleme mesafesi, gecikme, uyumluluk bayrağı. |
| **İstem Optimizasyonu** | Şablon ağırlıklarını günceller, bağlam bloklarının sırasını değiştirir ve meta‑öğrenme kullanarak otomatik yeni varyantlar üretir. |
| **İzleme** | SLA uyumluluğu, A/B deney sonuçları ve değişmez denetim günlükleri için kontrol panelleri. |

---

## 3. The Optimization Cycle in Detail

### 3.1 Data Collection

1. **Performans Metrikleri** – Soru başına gecikme, token kullanımı, güven puanları (LLM tarafından sağlanan veya türetilen) ve uyumluluk bayraklarını topla.  
2. **İnsan Geri Bildirimi** – Kabul edilen/reddedilen kararları, düzenleme işlemlerini ve inceleyen yorumlarını kaydet.  
3. **Regülasyon Sinyalleri** – Webhook aracılığıyla dış güncellemeleri (örn. NIST SP 800‑53 Rev 5 – Federal Bilgi Sistemleri için Güvenlik ve Gizlilik Kontrolleri) al, ilgili anket öğelerini etiketle.

Tüm veriler, hızlı erişim için bir **zaman serisi deposunda** (örn. InfluxDB) ve bir **doküman deposunda** (örn. Elasticsearch) saklanır.

### 3.2 Scoring Function

\[
\text{Score}=w_1\cdot\underbrace{\text{Accuracy}}_{\text{edit distance}} + w_2\cdot\underbrace{\text{Compliance}}_{\text{reg‑match}} + w_3\cdot\underbrace{\text{Efficiency}}_{\text{latency}} + w_4\cdot\underbrace{\text{Human Accept}}_{\text{approval rate}}
\]

Ağırlıklar (`w_i`) organizasyonun risk toleransına göre ayarlanır. Skor, her incelemeden sonra yeniden hesaplanır.

### 3.3 A/B Testing Engine

Motor otomatik olarak:

- Sürümü rastgele seçer.  
- Versiyon başına skorları izler.  
- Kazananı belirlemek için Bayesyen t‑test uygular.

### 3.4 Meta‑Learning Optimizer

```python
import numpy as np
from bandit import ThompsonSampler

# Çok kollu (multi-armed) bandit örnekleyicisini oluştur
sampler = ThompsonSampler(num_arms=len(prompt_pool))
# En iyi kolu seç
chosen_idx = sampler.select_arm()
selected_prompt = prompt_pool[chosen_idx]

# Skoru elde ettikten sonra...
sampler.update(chosen_idx, reward=score)
```

### 3.5 Human‑in‑the‑Loop Prioritization

İnceleyen yükü arttığında, sistem bekleyen taslakları aşağıdaki kriterlere göre **önceliklendirir**:

- **Risk şiddeti** (yüksek etkili sorular önce)  
- **Güven eşiği** (düşük güvenli taslaklar daha erken insan incelemesi alır)  
- **Son tarih yakınlığı** (denetim pencereleri)

Redis destekli basit bir öncelik kuyruğu görevleri sıralar, uyumluluk‑kritik öğelerin asla gecikmemesini sağlar.

---

## 4. Implementation Blueprint for Procurize

| Aşama | Teslimat | Zaman Çerçevesi |
|-------|----------|-----------------|
| **Keşif** | Mevcut anket şablonlarını haritalama, temel metrikleri toplama | 2 hafta |
| **Veri Boru Hattı** | Metrik alımı için olay akışları (Kafka) kur, Elasticsearch indeksleri oluştur | 3 hafta |
| **İstem Kütüphanesi** | 5‑10 başlangıç istem varyantı tasarla, metadata (örn. `use_risk_score=True`) ile etiketle | 2 hafta |
| **A/B Çerçevesi** | Hafif bir deney hizmeti dağıt; mevcut API geçidiyle entegre et | 3 hafta |
| **Geri Bildirim UI** | Procurize inceleyen UI'sını zengin geri bildirim yakalayan “Onayla / Reddet / Düzenle” düğmeleriyle genişlet | 4 hafta |
| **Optimizasyon Servisi** | Bandit‑tabanlı seçici uygula, metrik kontrol paneline bağla, sürüm geçmişini sakla | 4 hafta |
| **Uyumluluk Defteri** | Regülasyon kanıtı için blockchain‑destekli bir depoya (örn. Hyperledger Fabric) değişmez denetim günlükleri yaz | 5 hafta |
| **Dağıtım & İzleme** | Regresyon uyarılarıyla kademeli trafik geçişi (%10 → %100) | 2 hafta |

Toplam **≈ 5 ay** için üretime hazır bir DPOL, Procurize ile bütünleşmiş.

### 4.2 Security & Privacy Considerations

- **Sıfır‑Bilgi Kanıtları**: İstemler hassas politika alıntıları içerdiğinde, alıntının kaynağa uygun olduğunu LLM'e ham metni göstermeden kanıtlamak için ZKP kullan.  
- **Farklılıklı Gizlilik**: Toplu metriklere, güvenli ortamdan çıkmadan önce gürültü ekleyerek inceleyen anonimliğini koru.  
- **Denetlenebilirlik**: Her istem sürümü, skor ve insan kararı kriptografik olarak imzalanır, denetim sırasında adli yeniden yapılandırmaya izin verir.

---

## 5. Real‑World Benefits

| KPI | DPOL Öncesi (12 ay) | DPOL Sonrası (12 ay) |
|-----|---------------------|----------------------|
| Ortalama Yanıt Gecikmesi | 12 saniye | 7 saniye |
| İnsan Onay Oranı | %68 | %91 |
| Uyumluluk Kaçırmaları | Çeyrek başına 4 | Çeyrek başına 0 |
| İnceleyen Çabası (saat/100 Soru) | 15 saat | 5 saat |
| Denetim Başarı Oranı | %82 | %100 |

Döngü sadece yanıt sürelerini hızlandırmakla kalmaz, aynı zamanda SOC 2, ISO 27001 ve yaklaşan **EU‑CSA** denetimleri için gerekli savunulabilir bir kanıt izini oluşturur (bkz. [Cloud Security Alliance STAR](https://cloudsecurityalliance.org/star/)).

---

## 6. Extending the Loop: Future Directions

1. **Uç‑Taraf İstem Değerlendirmesi** – Düşük riskli soruları önceden filtrelemek için ağ kenarına hafif bir çıkarım mikro hizmeti dağıtarak bulut maliyetlerini azalt.  
2. **Kuruluşlar Arası Federated Öğrenme** – Ortak firmalar arasında anonimleştirilmiş ödül sinyallerini paylaşarak, tescilli politika metnini ifşa etmeden istem varyantlarını iyileştir.  
3. **Anlamsal Grafik Entegrasyonu** – İstemleri dinamik bir bilgi grafiğine bağla; optimizasyon, soru anlamsallığına göre en ilgili düğümü otomatik olarak çekebilir.  
4. **Açıklanabilir AI (XAI) Katmanı** – Her yanıt için dikkat haritalarından türetilen kısa bir “neden‑bu” parçası oluştur, denetleyicinin merakını gidermek için.

---

## 7. Getting Started Today

Kuruluşunuz zaten Procurize kullanıyorsa, DPOL'ü üç kolay adımda prototipleyebilirsiniz:

1. **Metrik Dışa Aktarmayı Etkinleştir** – Platform ayarlarında “Yanıt Kalitesi” webhook'unu aç.  
2. **Bir İstem Varyantı Oluştur** – Mevcut bir şablonu kopyala, yeni bir bağlam bloğu ekle (örn. “En Son NIST 800‑53 kontrolleri”) ve `v2` olarak etiketle.  
3. **Mini A/B Testi Çalıştır** – Yerleşik deney anahtarını kullanarak gelen soruların %20'sini yeni varyanta bir hafta yönlendir. Kontrol panelinde onay oranı ve gecikmedeki değişiklikleri gözlemle.

Yineleyin, ölçün ve döngünün ağır işi yapmasına izin verin. Birkaç hafta içinde hız ve uyumluluk güveninde somut iyileşmeler göreceksiniz.

## <span class='highlight-content'>Ayrıca</span> Bakınız

- OpenAI Cookbook – İstem Mühendisliği En İyi Uygulamaları  
- [NIST SP 800‑53 Rev 5 – Federal Bilgi Sistemleri için Güvenlik ve Gizlilik Kontrolleri](https://csrc.nist.gov/publications/detail/sp/800-53/rev-5/final)  
- [Google Cloud AI Platform – Makine Öğrenimi Modelleri için A/B Testi](https://cloud.google.com/ai-platform/experiments)  
- [Hyperledger Fabric Documentation – Uyumluluk için Değişmez Defter](https://hyperledger-fabric.readthedocs.io/en/release-2.5/)