Coinbase prueba ChatGPT. ¿La IA cambiará la criptoindustria?
Coinbase, uno de los intercambios de criptomonedas más grandes del mundo, realizó una prueba utilizando la aplicación de inteligencia artificial (IA), ChatGPT, para evaluar los riesgos de seguridad de los contratos inteligentes. El intercambio con sede en San Francisco probó la precisión de la herramienta de inteligencia artificial utilizando su marco de revisión de tokens ERC-20 y publicó los resultados en una publicación de blog el 20 de marzo
El proceso de revisión de seguridad de Coinbase implica identificar los riesgos potenciales asociados con los nuevos activos y garantizar que cumplan con los estándares de seguridad del intercambio antes de que se incluyan en la lista. La capacidad de ChatGPT para evaluar rápidamente los riesgos de los contratos inteligentes la convirtió en una herramienta atractiva para que Coinbase la probara. Sin embargo, el intercambio señaló que ChatGPT no cumplió con sus requisitos de precisión para las revisiones de seguridad, citando respuestas inconsistentes y etiquetado incorrecto de activos de alto riesgo como de bajo riesgo.
Para determinar la precisión de ChatGPT, Coinbase comparó los resultados del análisis de ChatGPT con los de su equipo interno. La empresa comparó un total de 20 puntajes de riesgo de contratos inteligentes entre ChatGPT y las revisiones manuales, y ChatGPT obtuvo el mismo resultado el 60 % de las veces. Sin embargo, en las ocho salidas incorrectas, la IA etiquetó un activo de alto riesgo como uno de bajo riesgo cinco de cada diez veces.
El equipo de seguridad de Coinbase le enseñó a ChatGPT cómo realizar el análisis de seguridad utilizando su formato. Sin embargo, la máquina todavía etiquetó incorrectamente los riesgos porque no podía reconocer "cuando carece de contexto para realizar un análisis de seguridad sólido". Además de eso, las respuestas de ChatGPT también fueron inconsistentes cuando se les hizo la misma pregunta repetidamente. Coinbase dijo que la herramienta de inteligencia artificial estaba "influenciada por los comentarios en el código y parecía que de forma predeterminada se mostraban los comentarios en lugar de la lógica de funciones de vez en cuando".
A pesar de las imprecisiones de ChatGPT, Coinbase cree que la IA y la automatización pueden mejorar significativamente las evaluaciones de seguridad. El intercambio indicó que una vez que los procesos automatizados o inteligentes puedan demostrar el mismo nivel de precisión que sus procesos existentes, estas herramientas solo se utilizarán como una ayuda, no como la herramienta principal.
Esta no es la primera vez que Coinbase experimenta con ChatGPT. A principios de este mes, el CEO de Coinbase, Conor Grogan, reveló que ChatGPT logró encontrar errores en los contratos inteligentes en su publicación de Twitter. Grogan le ofreció a ChatGPT un contrato de Ethereum en vivo, pidiéndole que descubriera cualquier vulnerabilidad de seguridad. No solo descubrió exploits, sino que también ofreció un medio específico para explotar el contrato.
