Guerra de información

La IA de Facebook puede analizar memes, pero ¿puede entenderlos? La tecnología Rosetta de Facebook analiza miles de millones de imágenes que contienen texto, pero los memes son demasiado complejos para la inteligencia artificial. Cada día se suben miles de millones de textos, fotografías y vídeos a las redes sociales. Se trata de una gran cantidad de información que los moderadores humanos y sus verificadores de hechos no pueden examinar, controlar y controlar de manera integral. Empresas como Facebook y YouTube han dependido durante mucho tiempo de la inteligencia artificial para mantener el spam, la violencia, el contenido crítico y la pornografía fuera de sus plataformas.

Algo así como un meme crítico para el sistema sin texto puede resultar difícil de analizar y procesar para sus supercomputadoras y sus algoritmos, ya que esta tarea requiere calcular varios elementos visuales diferentes al mismo tiempo. Los sistemas automatizados, los llamados sistemas bot, tienen que reconocer y “leer” las palabras encima de la foto, así como analizar y asignar la propia imagen. Los memes también pueden describirse como artefactos culturales complicados que son difíciles de entender fuera de contexto. A pesar de los desafíos que plantean, todas las principales plataformas sociales ya utilizan IA para controlar los memes, incluido Facebook, que utiliza una herramienta llamada Rosetta para analizar fotos y vídeos que contienen texto y subtítulos.

Según Facebook, Rosetta ya se está utilizando para detectar automáticamente contenido que viola las pautas de incitación al odio. Con la ayuda de Rosetta, Facebook se esfuerza por controlar el contenido de los usuarios, incluidas fotos y vídeos, y no sólo publicaciones de texto. Rosetta admite el proceso en el que se comprueba automáticamente si las imágenes y vídeos que contienen texto han sido marcados previamente como “críticos”. Rosetta combina la tecnología OCR (reconocimiento óptico de caracteres) con otras técnicas de aprendizaje automático para ver, procesar, clasificar y asignar texto en fotos y videos y luego guardarlo. Primero, el OCR se utiliza para determinar dónde está el texto en un meme o vídeo. Esto les permite transformar datos rápidamente y utilizar sus "selectores" para evaluar el contenido.

Una vez que Rosetta sabe dónde están las palabras, Facebook utiliza una red neuronal que puede comprender el texto, su transcripción y su significado. Este texto luego puede pasar a través de otros sistemas, como un sistema que verifica si el meme es un mensaje viral que ya ha sido desacreditado según sus pautas. Los desarrolladores e investigadores de Rosetta afirman que la herramienta ahora puede extraer texto de cualquier imagen cargada públicamente en Facebook en tiempo real y reconocer los textos, así como "leer" sus identificadores de idioma, incluidos inglés, español, alemán y árabe.

Rosetta también puede analizar imágenes que contienen texto en muchas formas diferentes, como fotografías de carteles de protesta, menús de restaurantes, escaparates de tiendas y más. Viswanath Sivakumar, un ingeniero de software de Facebook que trabaja en Rosetta, dijo en un correo electrónico que la herramienta funciona bien tanto para identificar texto en un paisaje como un letrero de una calle como para memes, pero esto último es más desafiante. "En el contexto de la detección proactiva del discurso de odio y otros contenidos que violan las políticas, las imágenes de estilo meme presentan el desafío más complejo de la IA", escribió.

A diferencia de los humanos, una IA también suele necesitar ver decenas de miles de ejemplos antes de poder aprender a completar una tarea complicada, afirma Sivakumar. Pero los memes no son infinitamente controlables, ni siquiera para Facebook, y recopilar y almacenar suficientes ejemplos en diferentes idiomas y emociones también puede resultar difícil. Encontrar mensajes de alta calidad es un desafío continuo para la investigación de la inteligencia artificial en general. A menudo es necesario etiquetar y archivar cuidadosamente los datos manualmente. Muchas bases de datos también están protegidas por derechos de autor.

Para alimentar a Rosetta con los datos necesarios y entrenar su utilidad, el texto, junto con sus leyendas y las ubicaciones desde las que fueron publicados, se combinan en un proceso computacional. En pocas palabras, ha creado un programa para crear exactamente aquellos ejemplos cuyo contenido parece cuestionable. Esto significa que todo el proceso está hasta cierto punto automatizado: un programa escupe automáticamente los memes y otro intenta analizarlos. La IA enfrentará desafíos muy grandes. Rosetta, por ejemplo, se enfrenta a idiomas como el árabe, que se lee de derecha a izquierda, a diferencia de otros idiomas como el inglés o el alemán. Rosetta “lee” el árabe al revés, luego Facebook invierte los caracteres después del procesamiento. Este truco funciona sorprendentemente bien y permite un modelo unificado que funciona tanto para lenguajes de izquierda a derecha como de derecha a izquierda.

Los sistemas automatizados pueden resultar extremadamente útiles para la moderación de contenidos y la verificación de datos, pero no siempre son fáciles. Por ejemplo, WeChat utiliza dos algoritmos diferentes para filtrar imágenes. El primero, un programa basado en OCR, filtra fotografías que contienen texto sobre temas prohibidos, mientras que los demás censuran imágenes similares a las de una lista negra probablemente creada por el gobierno chino. A través de los filtros de WeChat, puedes eliminar fácilmente las características de una imagen, así como el color o el cambio de orientación. Rossetta de Facebook es compleja, pero probablemente no perfecta. El sistema puede burlarse mediante textos difíciles de leer o fuentes distorsionadas. Todos los algoritmos de reconocimiento de imágenes también son potencialmente vulnerables a ejemplos contradictorios, imágenes ligeramente alteradas que parecen iguales para los humanos pero que causan confusión en la IA.

Facebook y otras plataformas como Twitter, YouTube y Reddit están bajo una enorme presión para controlar ciertos tipos de contenido en varios países. En 2018, la Unión Europea propuso nuevas leyes que requerirían que las empresas de redes sociales eliminaran las publicaciones terroristas dentro de una hora después de la notificación o enfrentarían multas. Rosetta y otras herramientas automatizadas similares ya ayudan a Facebook y otras plataformas a cumplir con leyes similares en países como Alemania. Y están mejorando en su trabajo: hace dos años, el director ejecutivo Mark Zuckerberg dijo que los sistemas de inteligencia artificial de Facebook sólo interceptan proactivamente alrededor de la mitad del contenido que la empresa elimina. La gente tiene que marcar el resto primero. Según Facebook, sus herramientas de inteligencia artificial detectan casi el 100 por ciento del spam que condenan, así como el 99,5 por ciento del contenido terrorista y el 86 por ciento de la violencia gráfica. Otras plataformas como YouTube han logrado un éxito similar con sistemas automatizados de reconocimiento de contenidos.

Sin embargo, esto no significa que los sistemas de inteligencia artificial como Rosetta sean una solución perfecta, especialmente cuando se trata de formas de expresión más matizadas. A diferencia del menú de un restaurante, puede resultar difícil analizar el significado de un meme sin conocer el contexto en el que se publicó. Por eso hay sitios web completos que los explican. Los memes a menudo incluyen chistes internos o son muy específicos de una determinada subcultura en línea y su trasfondo moral y ético. Y una inteligencia artificial todavía no es capaz de entender un meme o un vídeo como lo haría una persona. Por ahora, Facebook todavía tendrá que depender de moderadores humanos y sus verificadores de datos para tomar decisiones sobre si eliminar un meme.

Artículo traducido de la revista Wired 14.09.2018 de septiembre de XNUMX

(a través de Vale Rion)