L'IA et le mirage des logiciels bogués

J'ai observé ce soi-disant système d'IA "révolutionnaire" pour la vérification des logiciels avec un regard sceptique. Baldur, l'appellent-ils - juste une autre tentative de l'industrie technologique de résoudre les problèmes humains avec plus de technologie. Ayant moi-même travaillé dans la vérification de code, je ne peux m'empêcher de lever les yeux au ciel devant les revendications exagérées.

Donc, ce système Baldur prétend utiliser des LLM pour générer automatiquement des preuves mathématiques. Super, plus d'automatisation pour remplacer le jugement humain. Ils vantent un taux de précision de 65,7 % lorsqu'il est associé à Thor. Cela signifie qu'il se trompe encore un tiers du temps ! Voudriez-vous prendre l'avion d'un avion qui échoue à 34 % de ses contrôles de sécurité ?

Ce dont personne ne parle, c'est l'énorme puissance de calcul requise par ces systèmes. L'impact environnemental à lui seul est stupéfiant. Ils ont entraîné Minerva sur 118 Go de données - qui compte cette empreinte carbone ?

Les échecs silencieux de ces LLMs sont particulièrement dangereux. Quand ChatGPT débite avec confiance des absurdités sans avertir, c'est amusant. Quand les systèmes de vérification le font avec du code qui contrôle des dispositifs médicaux ou des systèmes financiers, c'est catastrophique.

L'obsession de l'industrie technologique pour l'automatisation de tout découle de son incapacité à résoudre le véritable problème : écrire un meilleur code dès le départ. Nous créons des systèmes d'IA complexes pour pallier les lacunes de nos paradigmes de programmation au lieu de s'attaquer aux causes profondes.

Et n'oublions pas qui finance cela - la DARPA et la NSF. Les applications militaires sont clairement à l'horizon. Créer des logiciels "sans bogues" pour quoi exactement ? Les possibilités sont préoccupantes.

Malgré les conventions de nommage élaborées de la mythologie nordique, Baldur n'est pas un sauveur divin pour l'ingénierie logicielle. C'est juste un autre outil dans une chaîne d'outils de plus en plus complexe que la plupart des développeurs auront du mal à comprendre et à mettre en œuvre efficacement.

J'ai vu trop de systèmes de vérification "révolutionnaires" apparaître et disparaître. La réalité est que les logiciels continueront à avoir des bogues parce que les humains les écrivent, et les humains sont faillibles. Aucun système d'IA ne changera cette vérité fondamentale.