AI và Ảo Tưởng Phần Mềm Lỗi

Tôi đã theo dõi hệ thống AI "cách mạng" này cho việc xác minh phần mềm với ánh mắt hoài nghi. Họ gọi nó là Baldur - chỉ là một nỗ lực khác của ngành công nghệ nhằm giải quyết các vấn đề của con người bằng nhiều công nghệ hơn. Đã từng làm việc trong lĩnh vực xác minh mã, tôi không thể không lắc đầu trước những tuyên bố phóng đại.

Hệ thống Baldur này được cho là khai thác LLMs để tự động tạo ra các chứng minh toán học. Tuyệt vời, nhiều tự động hóa hơn để thay thế phán đoán của con người. Họ đang quảng cáo tỷ lệ chính xác là 65,7% khi kết hợp với Thor. Điều đó có nghĩa là nó vẫn sai một phần ba thời gian! Bạn có bay trên một chiếc máy bay mà thất bại 34% trong các bài kiểm tra an toàn không?

Điều mà không ai nói đến là tài nguyên tính toán khổng lồ mà những hệ thống này yêu cầu. Chỉ riêng tác động môi trường đã rất đáng kinh ngạc. Họ đã đào tạo Minerva trên 118GB dữ liệu - ai đang tính đến lượng carbon thải ra?

Những thất bại im lặng của các LLM này đặc biệt nguy hiểm. Khi ChatGPT tự tin phun ra những điều vô nghĩa mà không có cảnh báo, điều đó thật buồn cười. Khi các hệ thống xác minh làm điều đó với mã điều khiển thiết bị y tế hoặc hệ thống tài chính, điều đó là thảm khốc.

Sự cuồng nhiệt của ngành công nghệ trong việc tự động hóa mọi thứ xuất phát từ sự thiếu khả năng giải quyết vấn đề thực sự: viết mã tốt hơn ngay từ đầu. Chúng tôi đang tạo ra các hệ thống AI phức tạp để che đậy những thiếu sót của các mô hình lập trình của chúng tôi thay vì giải quyết nguyên nhân gốc rễ.

Và đừng quên ai đang tài trợ cho điều này - DARPA và NSF. Các ứng dụng quân sự rõ ràng đang ở phía chân trời. Tạo ra phần mềm "không có lỗi" cho cái gì? Những khả năng này thật đáng lo ngại.

Mặc dù có những quy tắc đặt tên hấp dẫn từ thần thoại Bắc Âu, Baldur không phải là một vị cứu tinh thần thánh cho kỹ thuật phần mềm. Nó chỉ là một công cụ khác trong một chuỗi công cụ ngày càng phức tạp mà hầu hết các lập trình viên sẽ gặp khó khăn trong việc hiểu và triển khai một cách hiệu quả.

Tôi đã thấy quá nhiều hệ thống xác minh "cách mạng" đến rồi đi. Thực tế là phần mềm sẽ tiếp tục có lỗi vì con người viết ra nó, và con người thì có sai sót. Không có hệ thống AI nào sẽ thay đổi sự thật cơ bản đó.