Coinbase Teste ChatGPT. L'IA Changera-t-Elle l'Industrie de la Cryptographie ?
Coinbase, l'une des plus grandes bourses de crypto-monnaies dans le monde, a réalisé un test en utilisant l'application d'intelligence artificielle (IA) ChatGPT pour évaluer les risques de sécurité des contrats intelligents. La bourse basée à San Francisco a testé l'exactitude de l'outil d'IA en utilisant son cadre d'examen de jeton ERC-20, en publiant les résultats dans un billet de blog le 20 mars
Le processus d'examen de sécurité de Coinbase consiste à identifier les risques potentiels associés aux nouveaux actifs et à s'assurer qu'ils respectent les normes de sécurité de la bourse avant leur inscription. La capacité de ChatGPT à évaluer rapidement les risques de contrats intelligents en faisait un outil attrayant pour que Coinbase le teste. Cependant, la bourse a noté que ChatGPT ne répondait pas à ses exigences de précision pour les examens de sécurité, citant des réponses incohérentes et une étiquetage incorrect des actifs à haut risque comme étant à faible risque.
Pour déterminer l'exactitude de ChatGPT, Coinbase a comparé les résultats de l'analyse de ChatGPT avec ceux de son équipe interne. L'entreprise a comparé un total de 20 scores de risque de contrat intelligent entre ChatGPT et les examens manuels, ChatGPT obtenant le même résultat 60% du temps. Cependant, dans les huit sorties incorrectes, l'IA a étiqueté un actif à haut risque comme un actif à faible risque cinq fois sur dix.
L'équipe de sécurité de Coinbase a appris à ChatGPT comment effectuer l'analyse de sécurité en utilisant son format. Cependant, la machine a mal étiqueté les risques car elle ne pouvait pas reconnaître "quand elle manquait de contexte pour effectuer une analyse de sécurité robuste". En outre, les réponses de ChatGPT étaient également incohérentes lorsqu'on lui posait la même question à plusieurs reprises. Coinbase a déclaré que l'outil d'IA était "influencé par les commentaires dans le code et semblait parfois se fier aux commentaires plutôt qu'à la logique de la fonction".
Malgré les inexactitudes de ChatGPT, Coinbase croit que l'IA et l'automatisation peuvent considérablement améliorer les évaluations de sécurité. L'échange a déclaré que dès que les processus automatisés ou intelligents peuvent démontrer le même niveau de précision que leurs processus existants, ces outils ne seront utilisés qu'en tant qu'aide, et non en tant qu'outil principal.
Ce n'est pas la première fois que Coinbase expérimente ChatGPT. Plus tôt ce mois-ci, le PDG de Coinbase, Conor Grogan, a révélé dans son message Twitter que ChatGPT avait réussi à trouver des bugs dans des contrats intelligents. Grogan a proposé à ChatGPT un contrat Ethereum en direct, lui demandant de découvrir les vulnérabilités de sécurité. Non seulement il a découvert des exploits, mais il a également offert un moyen spécifique d'exploiter le contrat.
