Yapay zekanın yalnızca rutin işleri devralmakla kalmayıp, aynı zamanda ürettiği çıktıların doğrulanması için büyük bir talep yarattığı belirtiliyor. Pazar araştırma firması IDC'nin yardımcı araştırma direktörü Shilpi Handa'ya göre, bu eğilim sektördeki tartışmalarda büyük ölçüde göz ardı ediliyor.
Yapay zeka ile ilgili her tartışma, hizmet gelirlerini düşüreceği ve çalışan sayısına dayalı iş modellerini değiştireceği riskine odaklanmış durumda. Ancak Handa, bu anlatının resmin yalnızca yarısını yansıttığını savunuyor.
Handa, "Sektördeki her yapay zeka konuşması şu anda aynı uyarı etrafında dönüyor: rutin işlerin çoğunu yapacak, hizmet gelirleri düşecek ve çalışan sayısına dayalı iş modelleri rekabetçi kalabilmek için değişmek zorunda kalacak" dedi.
Bu uyarının doğru ancak eksik olduğunu belirten Handa, yapay zeka sistemlerinin görevleri doğru bir şekilde yerine getirip getirmediğini kontrol edebilecek insanlara duyulan ihtiyacın arttığına dikkat çekti.
Handa, bilişsel psikolog Lisanne Bainbridge'in 1983 tarihli bir çalışmasına atıfta bulundu. Bu çalışma, daha fazla otomasyonun insan rollerinin karmaşıklığını azaltmak yerine artırdığını ortaya koyuyor.
Bainbridge, "Bir sistemi ne kadar kapsamlı otomatikleştirirseniz, geriye kalan insan rolü o kadar zorlu hale gelir, daha kolay değil" yazmıştı.
Araştırma, otomasyon rutin görevleri devraldıkça insanların nadir ve karmaşık durumlarla baş başa kaldığını ve nadiren karşılaştıkları arızalar nedeniyle denetim becerilerinin zamanla köreldiğini gösterdi.
Bainbridge, "Otomasyon genellikle doğrudur, ta ki doğru olmadığı güne kadar" uyarısında bulundu.
Handa, bu olguyu gerçek hayattaki sonuçlarla ilişkilendirerek, 1987'de Detroit'te meydana gelen ve 154 kişinin hayatını kaybettiği Northwest Airlines kazasını örnek gösterdi. Pilotlar, arızalandığını fark etmedikleri otomatik bir sisteme güvenmişlerdi.
Otomasyona alışkın olan mürettebat, uçağın konfigürasyonunu manuel olarak kontrol etmemişti. Bu durum, sistemler sürekli güvenilir göründüğünde becerilerin nasıl körelebileceğini gözler önüne seriyor.
Handa, benzer örüntülerin artık büyük ölçekte yapay zeka araçları kullanan sektörlerde, özellikle hukuk ve yazılım mühendisliğinde ortaya çıktığını söyledi.
Kıdemsiz avukatlar, araştırma ve belge hazırlama için yapay zekaya giderek daha fazla güveniyor. Bu durum, yapay zeka tarafından üretilen işi değerlendirmek için gereken muhakeme yeteneğini geliştirmedikleri endişesini doğuruyor.
Yazılım mühendisliğinde ise 2026 anketleri, kıdemsiz geliştiricilerin yapay zeka tarafından yazılan kodu değerlendirmek için gereken mimari ve güvenlik bilgisinden genellikle yoksun olduğunu ve bu nedenle düzgün bir şekilde değerlendiremedikleri çıktılara güvendiklerini gösteriyor.
Handa, "Yapay zeka destekli kodlamayla yetişen kıdemsiz mühendisler, ağ oluşturma ve protokoller konusunda giderek daha fazla temel bilgiden yoksun kalıyor" dedi.
Bu değişim, Handa'nın kritik bir cevaplanmamış soru olarak tanımladığı bir durumu ortaya çıkardı: Otomasyon genişledikçe yapay zeka çıktılarını kim doğrulayacak?
Handa, "Yapay zekanın ürettiğini doğrulama becerisine kim sahip olacak?" diye sordu.
Sorun özellikle yapay zeka sistemlerinin canlı ortamlarda otonom olarak çalıştığı siber güvenlik alanında daha da belirgin.
Güvenlik operasyon platformları, asistan modellerinden tamamen otonom sistemlere geçiyor. Bu sistemler bağımsız hareket ediyor ve insanları olaydan sonra bilgilendiriyor. Çoğu zaman satıcı tarafından bildirilen doğruluk oranlarına güveniliyor ve herhangi bir dış doğrulama yapılmıyor.
Handa, "Güvenlik ekiplerinin yapay zeka tarafından üretilen önerileri uygulamak yerine geçersiz kıldıklarını itiraf ettiklerini duymak artık yaygın" dedi.
Saldırı tarafında ise yapay zeka destekli sızma testi araçları, güvenlik açıklarını insanlardan daha hızlı buluyor ancak etkili bir şekilde doğrulanamayan raporlarla sistemleri boğuyor.
En az bir büyük hata ödül platformu, yapay zeka destekli başvurulardaki artış nedeniyle programlarını durdururken, açık kaynak projeler düşük kaliteli rapor yağmuru nedeniyle girişimlerini askıya aldı.
Handa bu durumu bir "doğrulama açığı" olarak tanımladı ve bunu ele almak için iki yeni kavram önerdi.
Birincisi, Yapay Zeka Doğrulama-Hizmeti (AI Validation-as-a-Service), yapay zeka kararlarının bağımsız insan doğrulamasını ifade ediyor. Bu, çıktıların gerçeklikle uyumlu olmasını ve hesap verebilirlik standartlarını karşılamasını sağlıyor.
İkincisi ise Yapay Zeka Muhakeme Katsayısı (AI Judgement Quotient - AJQ). Bu kavram, bir bireyin yapay zeka çıktılarına ne zaman güveneceğini veya onlara ne zaman meydan okuyacağını belirleme yeteneğini tanımlıyor. Bu, sistemleri etkili bir şekilde yönlendirmeyi bilmekten farklı bir beceri.
Handa, "Yönlendirme (prompting) size daha iyi bir cevabı daha hızlı getirir" dedi.
"AJQ ise size cevabın doğru olup olmadığını söyler" diye ekledi.
Düzenlemelerin de bu tür yeteneklere olan talebi artırması bekleniyor. Özellikle AB Yapay Zeka Yasası (EU AI Act), kritik altyapılarda kullanıldığında belirli siber güvenlik sistemlerini yüksek riskli olarak sınıflandırıyor.
Bu sistemler, yapay zeka kararlarını pratikte izleyebilen, anlayabilen ve geçersiz kılabilen gerçek insan denetimini içermeli.
Handa, "Düzenleyiciler, sadece bir kapatma düğmesinin (kill switch) var olduğunu söyleyen bir politikayla yetinmeyecek" dedi.
Bu tür gereklilikler için uyumluluk son tarihi Aralık 2027'ye uzatıldı. Bu da kuruluşlara güvenilir doğrulama mekanizmaları geliştirmeleri için zaman tanıyor.
Handa, otonom yapay zeka karar alma, azalan insan uzmanlığı ve düzenleyici incelemenin kesiştiği noktada yeni bir pazarın ortaya çıktığı ve henüz net bir liderin bulunmadığı sonucuna vardı.
Handa, "Yapay zeka, üretim ortamlarında zaten denetimsiz güvenlik kararları alıyor" dedi.
"Öyleyse, bakalım bunu ilk kim inşa edecek" diye ekledi.
