Aynı hata, farklı yerlerde tekrar etti. Üstelik ekipler farklıydı, projeler farklıydı, kullanılan teknolojiler bile değişikti. Ama sonuç hep aynıydı—bir şeyler yolunda görünüyordu, ama aslında değildi.

Bir yerde tek bir parametre hatalıydı. Başka bir yerde yanlış model deploy edildi. Birinde model zaten cevabı “biliyordu” ama kimse sorgulamadı. Bir başka projede veri yanlış bölündü, bir diğerinde ise veri en baştan hatalıydı. İlginç olan şu: Bunların hiçbiri karmaşık değildi, hiçbiri ileri seviye bir problem değildi.

Asıl rahatsız edici kısım burada başlıyor. Bu hataların hiçbiri gizli değildi. Hepsi ortadaydı. İsteyen bakabilirdi, isteyen fark edebilirdi. Ama kimse gerçekten fark etmedi.

Çünkü sorun teknoloji değildi. Süreç de değildi. Mesele daha temel, daha insani bir şeydi: insanın kendisi.

Yazılım dünyasında sessiz bir varsayım var: “Eğer baktıysak, kontrol etmişizdir.” Ama gerçekte bu doğru değil. Bakmak pasif bir eylem. Kontrol etmek ise aktif bir çaba gerektirir. Bakmak hızlıdır, kontrol etmek zaman ister—ve çoğu zaman biz hızlı olanı seçeriz.

Bugün elimizde daha iyi framework’ler, daha güçlü modeller ve daha hızlı pipeline’lar var. Ama değişmeyen bir gerçek var: insan dikkati sınırlı. Sistemler büyüdükçe kontrol edilmesi gereken şeyler artıyor, ama ironik şekilde gerçekten kontrol edilenler azalıyor.

Bu hikâyelerdeki hataların hiçbiri sistemi çökertmedi. Hiçbir yerde kırmızı alarm çalmadı, hiçbir “fatal error” yoktu. Sistemler çalıştı—ama yanlış çalıştı.

İşte en tehlikeli hata türü tam olarak bu: sessiz hata. Dışarıdan bakınca doğru gibi görünür. Ölçülebilir, hatta bazen başarılı bile sanılabilir. Ama temelde yanlıştır.

Peki neden fark etmiyoruz? Çünkü bu hatalar aşinalığın içine gizlenir. Günlük rutinlerin arasında kaybolur. “Muhtemelen doğrudur” düşüncesinin arkasına saklanır. İnsan beyni boşlukları doldurur ve eksik kontrolü varsayımla tamamlar.

Japon demiryollarında makinistler bir sinyale sadece bakmaz. İşaret eder ve yüksek sesle söyler: “Yeşil sinyal.” İlk bakışta gereksiz gibi gelebilir. Ama değil. Çünkü bu küçük hareket, düşünmeyi zorunlu hale getirir.

Yazılım dünyası yıllardır daha iyi araçlar üretmeye odaklandı: testler, monitoring sistemleri, otomasyonlar… Hepsi değerli. Ama belki de eksik olan şey araç değil, dikkatin kendisini sistematik hale getirmekti.

Shisa Kanko’nun önerdiği yaklaşım aslında çok basit: gördüğünü söyle, söylediğini doğrula, doğruladığını tekrar et. Bu bir teknoloji değil—bir alışkanlık.

Ama güçlü bir alışkanlık. Varsayımları kırar, dikkati artırır ve hataları görünür hale getirir.

Yazılımda en büyük risk çoğu zaman düşündüğümüz şeyler değil. Karmaşıklık değil, ölçek değil, teknoloji hiç değil. Asıl risk şu: insan baktığını sanır.

Ve bu noktada işler sessizce bozulur. Parametreler gerçekten kontrol edilmez, veriler sorgulanmaz, sonuçlar test edilmez. Sistem çalışır—ama doğru çalışmaz.

Aslında bu seride gördüğümüz her örnek aynı hikâyenin farklı bir versiyonuydu. Yanlış girilen bir sayı, yanlış seçilen bir dosya, hatalı kullanılan bir veri ya da yanlış etiketlenen bir çıktı… Ve her seferinde ortak bir şey vardı: kimse durup gerçekten kontrol etmedi.

Teknoloji gelişmeye devam edecek. Daha akıllı modeller gelecek, daha karmaşık sistemler kurulacak. Ama değişmeyen bir gerçek var: insan hata yapar.

Asıl soru şu değil: “Hata olacak mı?”
Asıl soru şu: Hata fark edilecek mi?

Ve çoğu zaman bu sorunun cevabı yeni bir teknoloji değil. Basit bir alışkanlık: durmak, söylemek ve teyit etmek.

Sonuç olarak, bu seride hiçbir sistem aslında “bozuk” değildi. Kod çalıştı, pipeline çalıştı, model çalıştı—her şey olması gerektiği gibi görünüyordu.

Ama sonuçlar yanlıştı. Çünkü kimse gerçekten kontrol etmedi.

Hiçbir şey bozuk değildi.
Ama her şey yanlıştı.