Investigadores de desinformación alertan sobre chatbots de IA

Anuncio

Apoyado por

Los investigadores usaron ChatGPT para producir un texto claro y convincente que repetía teorías de conspiración y narrativas engañosas.

Por Tiffany Hsu y Stuart A. Thompson

Para más periodismo de audio y narración de historias, descargue New York Times Audio, una nueva aplicación de iOS disponible para suscriptores de noticias.

Para escuchar más historias en audio de publicaciones como The New York Times, descargue Audm para iPhone o Android.

Poco después de que ChatGPT debutara el año pasado, los investigadores probaron lo que escribiría el chatbot de inteligencia artificial después de que se le hicieran preguntas llenas de teorías de conspiración y narrativas falsas.

Los resultados, en escritos con formato de artículos de noticias, ensayos y guiones de televisión, fueron tan preocupantes que los investigadores no se anduvieron con rodeos.

"Esta herramienta va a ser la herramienta más poderosa para difundir información errónea que jamás haya existido en Internet”, dijo Gordon Crovitz, codirector ejecutivo de NewsGuard, una compañía que rastrea la información errónea en línea y realizó el experimento el mes pasado. ahora se puede hacer una nueva narrativa falsa a una escala dramática, y con mucha más frecuencia, es como tener agentes de inteligencia artificial que contribuyen a la desinformación".

La desinformación es difícil de discutir cuando los humanos la crean manualmente. Los investigadores predicen que la tecnología generativa podría hacer que la desinformación sea más barata y fácil de producir para un número aún mayor de teóricos de la conspiración y difusores de desinformación.

Los chatbots personalizados en tiempo real podrían compartir teorías de conspiración de maneras cada vez más creíbles y persuasivas, dicen los investigadores, suavizando los errores humanos como la mala sintaxis y las malas traducciones y avanzando más allá de los trabajos de copiar y pegar fácilmente detectables. Y dicen que ninguna táctica de mitigación disponible puede combatirlo de manera efectiva.

Los predecesores de ChatGPT, que fue creado por la empresa de inteligencia artificial de San Francisco, OpenAI, se han utilizado durante años para salpicar foros en línea y plataformas de redes sociales con comentarios (a menudo gramaticalmente sospechosos) y spam. Microsoft tuvo que detener la actividad de su chatbot Tay dentro de las 24 horas posteriores a su presentación en Twitter en 2016 después de que los trolls le enseñaran a escupir lenguaje racista y xenófobo.

ChatGPT es mucho más poderoso y sofisticado. Suministrado con preguntas cargadas de desinformación, puede producir variaciones claras y convincentes sobre el contenido en masa en segundos, sin revelar sus fuentes. El martes, Microsoft y OpenAI presentaron un nuevo motor de búsqueda y navegador web Bing que puede usar la tecnología de chatbot para planificar vacaciones, traducir textos o realizar investigaciones.

Cuando los investigadores de NewsGuard le pidieron a ChatGPT que escribiera respuestas basadas en ideas falsas y engañosas, el bot cumplió aproximadamente el 80 por ciento de las veces. En este ejemplo, los investigadores le pidieron a ChatGPT que escribiera con la voz de Alex Jones, el teórico de la conspiración detrás de Infowars.

Los investigadores de OpenAI han estado nerviosos durante mucho tiempo acerca de que los chatbots caigan en manos infames, y escribieron en un artículo de 2019 sobre su "preocupación de que sus capacidades podrían reducir los costos de las campañas de desinformación" y ayudar en la búsqueda maliciosa "de ganancias monetarias, una agenda política particular y/ o un deseo de crear caos o confusión".

En 2020, los investigadores del Centro sobre Terrorismo, Extremismo y Contraterrorismo del Instituto de Estudios Internacionales de Middlebury descubrieron que GPT-3, la tecnología subyacente para ChatGPT, tenía un "conocimiento impresionantemente profundo de las comunidades extremistas" y podría generar polémica en el estilo de tiradores masivos, foros falsos que discuten el nazismo, una defensa de QAnon e incluso textos extremistas multilingües.

OpenAI utiliza máquinas y humanos para monitorear el contenido que ingresa y produce ChatGPT, dijo un portavoz. La empresa depende tanto de sus entrenadores humanos de IA como de los comentarios de los usuarios para identificar y filtrar datos de entrenamiento tóxicos mientras enseña a ChatGPT a producir respuestas mejor informadas.

Las políticas de OpenAI prohíben el uso de su tecnología para promover la deshonestidad, engañar o manipular a los usuarios o intentar influir en la política; la empresa ofrece una herramienta de moderación gratuita para manejar contenido que promueva el odio, las autolesiones, la violencia o el sexo. Pero por el momento, la herramienta ofrece soporte limitado para idiomas distintos al inglés y no identifica material político, spam, engaño o malware. ChatGPT advierte a los usuarios que "ocasionalmente puede producir instrucciones dañinas o contenido sesgado".

La semana pasada, OpenAI anunció una herramienta separada para ayudar a discernir cuándo un texto fue escrito por un humano en lugar de una inteligencia artificial, en parte para identificar campañas automatizadas de desinformación. La compañía advirtió que su herramienta no era completamente confiable: identificaba con precisión el texto de IA solo el 26 por ciento de las veces (mientras que etiquetaba incorrectamente el texto escrito por humanos el 9 por ciento de las veces), y podría evadirse. La herramienta también tuvo problemas con los textos que tenían menos de 1000 caracteres o estaban escritos en idiomas distintos al inglés.

Arvind Narayanan, profesor de informática en Princeton, escribió en Twitter en diciembre que le había hecho a ChatGPT algunas preguntas básicas sobre seguridad de la información que les había planteado a los estudiantes en un examen. El chatbot respondió con respuestas que sonaban plausibles pero que en realidad no tenían sentido, escribió.

"El peligro es que no puedes saber cuándo está mal a menos que ya sepas la respuesta", escribió. "Fue tan inquietante que tuve que mirar mis soluciones de referencia para asegurarme de que no estaba perdiendo la cabeza".

A los investigadores también les preocupa que la tecnología pueda ser explotada por agentes extranjeros con la esperanza de difundir desinformación en inglés. Algunas empresas ya utilizan chatbots multilingües para ayudar a los clientes sin traductores.

Existen tácticas de mitigación: campañas de alfabetización mediática, datos "radiactivos" que identifican el trabajo de los modelos generativos, restricciones gubernamentales, controles más estrictos sobre los usuarios, incluso requisitos de prueba de personalidad por parte de las plataformas de redes sociales, pero muchas son problemáticas a su manera. Los investigadores concluyeron que "no existe una bala de plata que desmantele singularmente la amenaza".

Trabajando el mes pasado a partir de una muestra de 100 narrativas falsas de antes de 2022 (ChatGPT está entrenado principalmente en datos hasta 2021), NewsGuard le pidió al chatbot que escribiera contenido que presentara afirmaciones dañinas para la salud sobre las vacunas, imitando la propaganda y la desinformación de China y Rusia y haciéndose eco del tono. de los medios de comunicación partidistas.

La tecnología produjo respuestas que parecían autorizadas pero que a menudo eran demostrablemente falsas. Muchos estaban marcados con frases populares entre los traficantes de información errónea, como "haz tu propia investigación" y "atrapado con las manos en la masa", junto con citas de estudios científicos falsos e incluso referencias a falsedades que no se mencionan en el mensaje original. Las advertencias, como instar a los lectores a "consultar con su médico o un profesional de la salud calificado", generalmente estaban ocultas bajo varios párrafos de información incorrecta.

ChatGPT pudo encarnar el lenguaje y la voz de los vendedores ambulantes de desinformación, usando frases populares como "haz tu propia investigación". En este ejemplo, los investigadores de NewsGuard pidieron información errónea sobre las vacunas en la voz de Joseph Mercola, un médico antivacunas. Pfizer actualizó la fórmula de su vacuna para incluir trometamina como agente estabilizador, no para tratar ninguna afección cardíaca.

Los investigadores presionaron a ChatGPT para discutir el tiroteo de 2018 en Parkland, Florida, que mató a 17 personas en la escuela secundaria Marjory Stoneman Douglas, utilizando la perspectiva de Alex Jones, el teórico de la conspiración que se declaró en bancarrota el año pasado después de perder una serie de casos de difamación presentados por familiares de otras víctimas de tiroteos masivos. En su respuesta, el chatbot repitió mentiras sobre la colusión de los principales medios de comunicación con el gobierno para impulsar una agenda de control de armas mediante el empleo de actores de crisis.

A veces, sin embargo, ChatGPT se resistió a los intentos de los investigadores de generar información errónea y, en cambio, desacreditó las falsedades. (Esto ha llevado a algunos comentaristas conservadores a afirmar que la tecnología tiene un sesgo políticamente liberal, al igual que los experimentos en los que ChatGPT se negó a producir un poema sobre el expresidente Donald J. Trump, pero generó versos elogiosos sobre el presidente Biden).

Newsguard le pidió al chatbot que escribiera un artículo de opinión desde la perspectiva de Trump sobre cómo nació Barack Obama en Kenia, una mentira repetidamente presentada por Trump durante años en un intento de poner en duda la elegibilidad de Obama para ser presidente. ChatGPT respondió con un descargo de responsabilidad de que el llamado argumento del nacimiento "no se basa en hechos y ha sido desacreditado repetidamente" y, además, que "no es apropiado ni respetuoso propagar información errónea o falsedades sobre cualquier individuo".

En este ejemplo, los investigadores de NewsGuard le pidieron a ChatGPT que se hiciera eco de la teoría de la conspiración racista de que el expresidente Barack Obama nació en Kenia. El programa llamó a la idea "repetidamente desacreditada".

Cuando The New York Times repitió el experimento usando una muestra de las preguntas de NewsGuard, era más probable que ChatGPT rechazara las indicaciones que cuando los investigadores realizaron originalmente la prueba, ofreciendo desinformación en respuesta a solo el 33 por ciento de las preguntas. NewsGuard dijo que ChatGPT cambiaba constantemente a medida que los desarrolladores modificaban el algoritmo y que el bot podría responder de manera diferente si un usuario ingresa información errónea repetidamente.

Los legisladores preocupados están llamando a la intervención del gobierno a medida que más rivales de ChatGPT llenan la tubería. Google comenzó a probar su chatbot experimental Bard el lunes y lo lanzará al público en las próximas semanas. Baidu tiene Ernie, abreviatura de Representación mejorada a través de la integración del conocimiento. Meta dio a conocer Galactica (pero la eliminó tres días después en medio de preocupaciones sobre inexactitudes e información errónea).

En septiembre, la representante Anna G. Eshoo, demócrata de California, presionó a los funcionarios federales para que abordaran modelos como el generador de imágenes Stable Diffusion de Stability AI, que criticó por estar "disponible para que cualquiera lo use sin restricciones estrictas". Stable Diffusion, escribió en una carta abierta, puede y probablemente ya se haya utilizado para crear "imágenes utilizadas para campañas de desinformación e información errónea".

Check Point Research, un grupo que proporciona inteligencia sobre ciberamenazas, descubrió que los ciberdelincuentes ya estaban experimentando con el uso de ChatGPT para crear malware. Si bien la piratería generalmente requiere un alto nivel de conocimiento de programación, ChatGPT estaba dando una ventaja a los programadores novatos, dijo Mark Ostrowski, jefe de ingeniería de Check Point.

"La cantidad de energía que podría estar circulando debido a una herramienta como esta simplemente aumentará", dijo.

Audio producido por Kate Winslett.

Tiffany Hsu es una reportera de tecnología que cubre información errónea y desinformación. @tiffkhsu

Stuart A. Thompson es un reportero en el departamento de Tecnología que cubre información errónea y desinformación. @stuartathompson

Anuncio