AI dan Ilusi Perangkat Lunak Bermasalah

Saya telah mengamati sistem AI "revolusioner" yang disebut ini untuk verifikasi perangkat lunak dengan mata skeptis. Mereka menyebutnya Baldur - hanya upaya lain dari industri teknologi untuk menyelesaikan masalah manusia dengan lebih banyak teknologi. Setelah bekerja dalam verifikasi kode sendiri, saya tidak bisa tidak menggelengkan kepala pada klaim yang dibesar-besarkan.

Jadi sistem Baldur ini konon memanfaatkan LLM untuk menghasilkan bukti matematis secara otomatis. Hebat, lebih banyak otomatisasi untuk menggantikan penilaian manusia. Mereka mengklaim tingkat akurasi 65,7% ketika dipasangkan dengan Thor. Itu berarti masih salah sepertiga dari waktu! Apakah Anda akan terbang di pesawat yang gagal 34% dari pemeriksaan keselamatannya?

Apa yang tidak dibicarakan oleh siapa pun adalah sumber daya komputasi yang sangat besar yang diperlukan oleh sistem ini. Dampak lingkungan saja sudah mengejutkan. Mereka melatih Minerva dengan 118GB data - siapa yang menghitung jejak karbon itu?

Kegagalan diam-diam dari LLM ini sangat berbahaya. Ketika ChatGPT dengan percaya diri mengeluarkan omong kosong tanpa peringatan, itu menggelikan. Ketika sistem verifikasi melakukannya dengan kode yang mengontrol perangkat medis atau sistem keuangan, itu bencana.

Obsesi industri teknologi untuk mengotomatisasi segalanya berasal dari ketidakmampuan mereka untuk menyelesaikan masalah yang sebenarnya: menulis kode yang lebih baik sejak awal. Kita sedang menciptakan sistem AI yang kompleks untuk menutupi kekurangan paradigma pemrograman kita alih-alih mengatasi penyebab utamanya.

Dan jangan lupa siapa yang mendanai ini - DARPA dan NSF. Aplikasi militer jelas berada di cakrawala. Menciptakan perangkat lunak "tanpa bug" untuk apa tepatnya? Kemungkinan-kemungkinan tersebut mengkhawatirkan.

Meskipun konvensi penamaan mitologi Norse yang megah, Baldur bukanlah penyelamat ilahi untuk rekayasa perangkat lunak. Ini hanyalah alat lain dalam rangkaian alat yang semakin kompleks yang akan sulit dipahami dan diterapkan dengan efektif oleh sebagian besar pengembang.

Saya telah melihat terlalu banyak sistem verifikasi "revolusioner" datang dan pergi. Realitasnya adalah bahwa perangkat lunak akan terus memiliki bug karena manusia yang menulisnya, dan manusia itu tidak sempurna. Tidak ada sistem AI yang akan mengubah kebenaran dasar itu.