Ana Sayfa / Claude Ustalık Kitabı / KISIM VI — SORUMLULUK

Bölüm 37 / 48

31. Doğrulama Protokolü

31.1 Neden Ayrı Bir Bölüm?

Doğrulama, bu kitabın her bölümünde bir biçimde geçti. Ayrı bir bölüm gerekmesinin nedeni, dağınık hâlde öğrenilen bir disiplinin uygulanmamasıdır.

Bir kural yirmi ayrı yerde geçiyorsa, okuyucu onu ilke olarak bilir ama an geldiğinde uygulamayı hatırlamaz. Bu bölüm, o kuralları tek bir uygulanabilir protokolde toplar.

31.2 Kitabın Kendi Kanıtı

Bu protokolün gerekçesi soyut değildir. Kitap yazılırken yapılan testlerin tamamında aynı örüntü tekrarlanmıştır.

BölümAraç ne dediGerçekte ne oldu
17Belge oluşturulduTablolar sayfa sınırında bölünmüştü
18Model kurulduDuvar döşemelerin dışında kalmıştı
19Dönüşüm tamamlandıBir bağlantı etiketi kaymıştı
20Aktarım başarılıKullanıcı belgeyi açamadı
21Analiz çalıştıAykırı değer kararı sonucu belirgin biçimde değiştirdi
22Kaynaklar bulunduSayılar çelişiyordu — yuvarlama farkıydı
23Grafik üretildiEtiket sütunla çakışıyordu
31Bölüm yazıldıTarih damgaları yanlıştı — denetimde bulundu

31.3 Doğrulamanın Üç Katmanı

Bölüm 20'de ortaya çıkan ayrım, bu protokolün omurgasıdır. Bir dış sisteme üretim yapan her iş akışında üç ayrı doğrulama katmanı vardır.

KatmanSoruKim doğrular
1 — İşlemAraç başarılı döndü mü?Otomatik
2 — İçerikÜretilen doğru mu?Otomatik veya siz
3 — ErişimKullanıcı ona ulaşabiliyor mu?Yalnızca kullanıcı

Üç katman birbirinin yerine geçmez. Birinci katman geçtiğinde ikincisi hakkında hiçbir şey bilinmez; ikisi de geçtiğinde üçüncüsü hâlâ başarısız olabilir. Bölüm 20'deki Express vakası tam olarak bunu göstermiştir: aktarım başarılıydı, içerik doğruydu, kullanıcı açamadı.

Şekil 31.1 — Doğrulama protokolünün karar akışı.

31.4 İddiaları Sınıflandırma

Doğrulamanın ilk adımı, neyin doğrulanması gerektiğini belirlemektir. Her cümle doğrulama gerektirmez.

TürTanımDoğrulama
Olgusal iddiaDış dünyada doğru veya yanlış olabilirGerekli
DönüştürmeVerdiğiniz metnin özeti, çevirisi, biçimlendirmesiHafif kontrol
YorumAçıkça değerlendirme olarak sunulan görüşGerekmez
ÜretimKod, hesap, model, belgeÇalıştırarak

Bu sınıflandırma doğrulama yükünü yönetilebilir kılar. Her şeyi doğrulamaya çalışmak, hiçbir şeyi doğrulamamakla aynı yere çıkar: sürdürülemez olduğu için terk edilir.

31.5 Risk Haritası

Bölüm 2.5'te kurulan harita, kitabın geri kalanındaki bulgularla genişletilmiştir.

RiskDurum
Çok yüksekBelirli kaynak, atıf, standart maddesi, dava numarası
Çok yüksekAz bilinen kişi, yerel kurum veya niş konu hakkında ayrıntı
YüksekKesin sayısal değer, tarih, istatistik, fiyat
YüksekÇok adımlı sayısal hesap
YüksekEğitim verisi kesim tarihinden sonraki olaylar
OrtaUzmanlık gerektiren teknik ayrıntı, mevzuat yorumu
OrtaBir aracın güncel yeteneği veya sınırı
DüşükYerleşik kavramların açıklanması, tanım, genel ilke
DüşükMetin dönüştürme: özet, çeviri, biçimlendirme
Çok düşükSizin sağladığınız metin üzerinde işlem

31.6 Doğrulama Yöntemleri

Farklı iddia türleri farklı yöntemler gerektirir. Aşağıdaki katalog, kitap boyunca kullanılan yöntemleri toplar.

YöntemNe içinBölüm
Birincil kaynağa gitmeAtıf, standart, olgu22
Bağımsız yeniden hesaplamaSayısal sonuç21, 28
Boyut analiziMühendislik hesabı28
Büyüklük mertebesi kontrolüHer sayısal sonuç28
Kıyas problemiÜretilen kod28
Görsel denetimBelge, grafik, model17, 19, 23
Sayısal denetimGeometri, veri18, 21
İçsel temsili okumaDönüştürme işlemleri20
Kullanıcı erişim testiDış sisteme üretim20
Değerlendirme setiProgramatik kullanım30

İki Yöntemin Özellikle Vurgulanması

Görsel denetim, kitapta en çok hata yakalayan yöntem oldu. Belge biçimi, grafik yerleşimi ve model görünümüyle ilgili hataların tamamı bu adımda bulundu; hiçbiri üretim sırasında hata vermedi.

Sayısal denetim ise görsel denetimin kaçırdıklarını yakaladı. Bölüm 18'de boşlukta kalan duvar görsel olarak fark edilebilirdi ama iki eleman arasındaki milimetrik bir boşluk fark edilemezdi. İkisi birbirinin alternatifi değil, tamamlayıcısıdır.

31.7 Neyin İşe Yaramadığı

Bu alt bölüm, protokolün en az bilinen ama en önemli kısmıdır. Doğrulama gibi görünen ancak doğrulama olmayan dört uygulama vardır.

1. Modelin Kendi Çıktısını Doğrulaması

Modele "bu doğru mu?" diye sormak geçerli bir doğrulama değildir. Model önceki yanıtını bağlamda gördüğü için onunla tutarlı olma eğilimindedir. Bölüm 2.6'daki hukuk vakasında avukat tam olarak bunu yapmış ve model kendi uydurmalarını onaylamıştır.

2. İki Modelin Uyuşması

Farklı bir modele sorup aynı cevabı almak, doğruluk kanıtı değildir. Modeller büyük ölçüde örtüşen kaynaklarla eğitilmiştir; ortak hataları da paylaşabilirler.

3. Modelin Güven İfadeleri

Bölüm 25.10'da ele alındığı gibi, modelden güven düzeyi istemek yararlı bir sinyaldir ama kalibre değildir. Yüksek güven işareti doğruluk kanıtı değildir; yalnızca düşük güven işareti güçlü bir uyarıdır.

4. Tespit ve Kontrol Araçları

Bir metnin yapay zekâ tarafından üretilip üretilmediğini belirlediğini iddia eden araçlar, Bölüm 27 ve 29'da belgelendiği gibi sistematik yanlılık taşır ve tek başına kanıt oluşturmaz.

31.8 Alan Bazlı Protokoller

Genel protokol her alanda aynıdır; ancak ağırlık noktaları farklılaşır.

AlanKritik doğrulamaBölüm
Akademik yazımHer atıf açılıp görülmeli27
Mühendislik hesabıBoyut analizi ve bağımsız hesap28
Yönetmelik sorgusuMadde birincil kaynaktan28
Eğitimde değerlendirmeSüreç kanıtı, skor değil29
Belge üretimiGörsel denetim17
Veri analiziBağımsız yeniden hesaplama21
Programatik kullanımDeğerlendirme seti30

31.9 Doğrulama Bütçesi

Doğrulama zaman alır ve zaman sınırlıdır. Her şeyi eşit yoğunlukta doğrulamaya çalışan bir protokol uygulanmaz.

Orantılılık İlkesi

Doğrulama yükü, hatanın maliyetiyle orantılı olmalıdır. Ölçüt, iddianın ne kadar önemli göründüğü değil, yanlış çıkarsa ne olacağıdır.

Hatanın sonucuDoğrulama yoğunluğu
Geri alınamaz, can güvenliği veya hukuki sonuçAzami — çoklu bağımsız yöntem
Yayımlanacak, adınıza bağlanacakYüksek — her olgusal iddia
Kuruma sunulacak, düzeltilebilirOrta — yüksek riskli iddialar
Kendi kullanımınız, kolayca düzeltilirDüşük — örnekleme
Taslak, fikir üretmeAsgari

31.10 Kayıt Tutma

Doğrulamanın son adımı, yapıldığının kaydedilmesidir. Bu, bürokratik bir formalite değil, üç somut işlevi olan bir uygulamadır.

  • Tekrarı önler. Doğrulanmış bir iddiayı ikinci kez doğrulamazsınız.
  • Denetimi mümkün kılar. Sizden sonra çalışan biri neyin kontrol edildiğini görür.
  • Sorumluluğu belgeler. Bölüm 27 ve 28'deki beyan yükümlülüğünün dayanağıdır.

Asgari Kayıt

Bu kitapta her bölümün sonundaki güncellik notu tam olarak bu işlevi görmektedir.

31.11 Kontrol Listesi

Üretim Öncesi

  • Bu görevin risk düzeyi ne? Hata çıkarsa sonucu ne olur?
  • Doğrulama bütçemi buna göre belirledim mi?
  • Modele bilgi verebilir miyim, çekmek zorunda mıyım?

Üretim Sırasında

  • İstemde belirsizliğe izin verdim mi?
  • Süreci görebiliyor muyum, yalnızca sonucu mu?
  • Sayısal iş varsa kodla mı yapılıyor?

Üretim Sonrası

  • İddiaları sınıflandırdım mı?
  • Yüksek riskli her iddiayı birincil kaynaktan doğruladım mı?
  • Sayısal sonuçları bağımsız kontrol ettim mi?
  • Görsel çıktıyı gözle denetledim mi?
  • Kullanıcı erişimini test ettim mi?
  • Doğrulanamayanları işaretledim mi?
  • Kaydı tuttum mu?

31.12 Bölüm Özeti

  • Doğrulama üç katmanlıdır: işlem, içerik, erişim. Biri diğerinin yerine geçmez.
  • Her cümle doğrulama gerektirmez; iddialar sınıflandırılmalıdır.
  • Risk haritası hem nerede dikkat edileceğini hem nerede rahatlanacağını söyler.
  • Modele bilgi vermek, modelden bilgi çekmekten daima güvenlidir.
  • Görsel ve sayısal denetim birbirinin alternatifi değil, tamamlayıcısıdır.
  • Modelin kendi çıktısını doğrulaması geçersizdir.
  • İki modelin uyuşması doğruluk kanıtı değildir; çelişkileri değerlidir.
  • Güven ifadeleri kalibre değildir; yalnızca düşük güven uyarı sayılır.
  • Doğrulama yükü hatanın maliyetiyle orantılı olmalıdır, görevin zorluğuyla değil.
  • Doğrulama yapıldığı kadar kaydedildiği ölçüde işe yarar.

Güncellik kontrolü: Bu bölüm kitabın diğer bölümlerindeki bulguların sentezidir; ayrı bir dış kaynağa dayanmaz. Atıf yapılan bölümlerin kendi kaynak notları geçerlidir. Doğrulama tarihi: 7 Eylül 2026.