Yapay Zeka ve Hatalı Yazılım İllüzyonu

Bu sözde "devrim niteliğindeki" yazılım doğrulama AI sistemini şüpheci gözlerle izliyorum. Baldur diyorlar - sadece teknoloji endüstrisinin insan sorunlarını daha fazla teknoloji ile çözme girişimlerinden biri. Kendi adıma kod doğrulama alanında çalışmış biri olarak, abartılı iddialara gözlerimi devirmeden edemiyorum.

Bu Baldur sistemi, LLM'leri kullanarak matematiksel kanıtları otomatik olarak üretme iddiasında bulunuyor. Harika, insan yargısını değiştirmek için daha fazla otomasyon. Thor ile eşleştirildiğinde %65.7 doğruluk oranını öne sürüyorlar. Yani, hâlâ her üç seferde bir yanlış! %34 güvenlik kontrolünde başarısız olan bir uçakta uçar mıydın?

Kimsenin konuşmadığı şey, bu sistemlerin ihtiyaç duyduğu muazzam hesaplama kaynakları. Çevresel etkisi tek başına korkunç. Minerva'yı 118GB veriyle eğittiler - o karbon ayak izini kim sayıyor?

Bu LLM'lerin sessiz hataları özellikle tehlikelidir. ChatGPT'nin uyarı vermeden saçmalıklar yayması eğlenceli olabilir. Ancak doğrulama sistemleri bunu tıbbi cihazları veya finansal sistemleri kontrol eden kodlarla yaptığında, bu felakettir.

Teknoloji endüstrisinin her şeyi otomatikleştirme takıntısı, aslında daha iyi kod yazma sorununu çözme konusundaki yetersizliklerinden kaynaklanıyor. Programlama paradigmalarımızın eksikliklerini kapatmak için karmaşık yapay zeka sistemleri üretiyoruz, kök nedenleri ele almak yerine.

Ve bunu finanse edenlerin kim olduğunu unutmayalım - DARPA ve NSF. Askeri uygulamalar açıkça ufukta. Tam olarak ne için "hatasız" yazılım yaratılıyor? Olasılıklar endişe verici.

Şatafatlı İskandinav mitolojisi isimlendirme kurallarına rağmen, Baldur yazılım mühendisliği için bir ilahi kurtarıcı değil. Çoğu geliştiricinin anlamakta ve etkili bir şekilde uygulamakta zorlanacağı giderek karmaşıklaşan bir araç zincirinde sadece bir başka araç.

"Devrim niteliğinde" doğrulama sistemlerinin gelip geçtiğini çok gördüm. Gerçek şu ki, yazılımlar hatalar içermeye devam edecek çünkü onları insanlar yazıyor ve insanlar hata yapabilir. Hiçbir yapay zeka sistemi bu temel gerçeği değiştirmeyecek.