Zuckerberg y el papel de la inteligencia artificial como moderadora y censuradora de contenidos

Mark Zuckerberg compareció ayer ante el Senado de los Estados Unidos, y entre las muchas cuestiones que se abordaron hubo una especialmente clave para el futuro de la plataforma: la gestión de los comentarios y los contenidos que se publican en esta red social.

Para el creador de Facebook la solución está en la inteligencia artificial. O más bien lo estará, porque él mismo reconoció que hoy por hoy los algoritmos no logran diferenciar a la perfección esos 'discursos de odio' que inundan su red social. Lo que no dijo es que la inteligencia artificial ya censura y modera contenidos tanto dentro como fuera de Facebook, y no siempre lo hace con acierto.

La IA censurará y moderará a la perfección en 5 o 10 años

La aplicación de sistemas de inteligencia artificial a la hora de controlar lo que se publica o no en la red social es algo que en Facebook siguen investigando, pero como admitía el propio Zuckerberg, hoy por hoy el problema es demasiado difícil para las máquinas.

En internet, Facebook incluida, hay comentarios y contenidos censurables y otros que no lo son. Los humanos somos buenos distinguiendo qué contenidos pueden herir sensibilidades, pero las máquinas siguen teniendo muchos problemas para diferenciar esos 'discursos de odio'.

Ese es uno de los grandes retos de la inteligencia artificial, y en Facebook lo saben bien. Al ser preguntado por esta cuestión, Zuckerberg indicó que estos sistemas acabarán siendo proactivos y lograrán borrando comentarios y contenidos a posteriori, cuando se detecten y las máquinas entiendan que eran censurables:

Desde el inicio de la compañía en 2004, comencé en mi dormitorio; éramos mi compañero de cuarto y yo. No teníamos inteligencia artificial; básicamente teníamos que aplicar nuestras políticas de manera reactiva. Ahora, cada vez más, estamos creando herramientas de IA que nos ayudarán a trabajar de forma proactiva. Algunos problemas se prestan más fácilmente a las soluciones de IA que otros. Los discursos de odio es uno de los más difíciles.

El problema de detectar ese tipo de contenidos y comentarios no se ha resuelto de forma perfecta por parte de los sistemas de inteligencia artificial de Facebook, pero Zuckerberg es optimista con respecto al futuro:

El discurso del odio es uno de los problemas más difíciles de abordar, pero creo que la inteligencia artificial puede llevarnos allí en cinco o diez años.

Zuckerberg insistió durante su comparecencia en el uso de inteligencia artificial para "vigilar" el contenido de Facebook. Gracias a ello se podría diferenciar de forma directa y en tiempo real cuándo esos contenidos o comentarios forman parte de un debate y son aceptables, o cuándo hay agresiones de por medio y deberían moderarse y censurarse.

Sin duda un tema complejo, pero uno que tiene a la inteligencia artificial funcionando ya tanto en algunos servicios de Facebook como de su competencia. Esos sistemas de inteligencia artificial están aún lejos de ser perfectos, y hay algunos ejemplos clamorosos de los problemas que tiene ceder las tareas de moderación y censura a máquinas y algoritmos.

Facebook, Instagram y la ayuda de DeepText

Zuckerberg no parecía poder o querer acordarse ayer de DeepText, un "motor de comprensión de texto" que Facebook lanzó en junio de 2016 y que estaba orientado precisamente a ayudar en este tipo de tareas.

Este sistema, afirmaban entonces, "puede entender con precisión cercana a la de los seres humanos el contenido textual de varios miles de posts por segundo en más de 20 idiomas".

DeepText se basa en el uso de redes neurales y deep learning, lo que significa que tras entrenar al sistema con las suficientes muestras es posible entregarle a este sistema un texto para que pueda extraer ciertas conclusiones sobre él. Los propios desarrolladores de DeepText explicaban hasta dónde podía llegar el desarrollo:

DeepText tiene el potencial de mejorar aún más las experiencias de Facebook al comprender mejor los mensajes para extraer la intención, el sentimiento y las entidades (por ejemplo, personas, lugares, eventos), al utilizar señales de contenido mixtas como texto e imágenes y automatizar la eliminación de contenido inaceptable como el spam.

No queda del todo claro si este es el sistema que utilizan en Facebook para tratar de moderar y censurar el contenido inapropiado, pero lo que es seguro es que el sistema se utiliza en Instagram, empresa que Facebook compró en 2012.

En Wired precisamente hablaban de cómo Kevin Systrom, el CEO de Instagram, acabó apostando tanto por esta solución que no solo la aplicó para luchar contra el spam, sino también con aquellos comentarios que violaran las normas comunitarias de uso del servicio.

El entrenamiento del sistema fue intensivo: se analizaron cerca de dos millones de comentarios y cada comentario fue analizado al menos dos veces para confirmar el contexto y determinar si es o no apropiado. En ese caso, explicaban, se clasificaría el comentario en categorías especiales como 'comportamiento prohibido', 'racismo', 'acoso sexual' o 'bullying'.

El sistema lleva algo menos de un año funcionando en Instagram, pero incluso el propio Systrom admitía que está lejos de ser perfecto. Entre los principales riesgos está el de los falsos positivos:

Es el problema clásico. Si quieres precisión, acabas clasificando mal un montón de cosas que eran útiles. Lo que no queremos es estar en una situación en la que bloqueamos algo que no deberíamos bloquear. La realidad es que eso no va a ocurrir, así que la pregunta es: ¿compensa ese margen de error todo lo realmente malo que se bloquea?". Parece claro que aquí Instagram prefiere ser algo más pasivo y conceder, al menos de momento, que el sistema puede no detectar ciertos comentarios aun cuando estos son inapropiados.

Las grandes tratan de atajar el odio con IA

El problema del 'discurso del odio' ha sido tratado por muchos ingenieros en este ámbito. Thomas Davidson, que ha copublicado estudios como este al respecto, ayudó a desarrollar un sistema —el código está en GitHub— para atajarlo en Twitter.

Como en el caso de Facebook, el problema es que una palabra que tiene ciertos significados puede ser entendida de otra forma según el contexto o el paso del tiempo. Aquí los términos utilizados por todo tipo de jergas hacen aún más difícil ese tratamiento y entendimiento, sobre todo cuando palabras ofensivas también pueden ser totalmente inofensivas cuando las usamos por ejemplo como parte de una broma a un conocido. El contexto lo es todo, y a menudo no basta con analizar un comentario o contenido de forma independiente, sino que hay que analizar el contexto en el que fue publicado.

En Google también llevan tiempo trabajando con este problema. La API llamada Perspective, que forma parte del proyecto Jigsaw —como también lo hace esa llamativa VPN llamada Outline—. Como explicamos entonces, este motor procesa comentarios de forma automática y les otorga una puntuación de 0 a 100 en función de su grado de toxicidad.

Como en el caso anterior, el motor de inteligencia artificial utilizado en Perspective hace uso también de aprendizaje profundo y de un entrenamiento intensivo. Los desarrolladores de Google lo probaron con millones de comentarios publicados en The New York Times y en la Wikipedia y que fueron analizados y etiquetados para entrenar a ese sistema más enfocado a palabras tóxicas que a ideas tóxicas.

Cualquiera puede probar a escribir un comentario (en inglés) en la web del servicio para ver cómo de tóxico es según este motor, aunque parece claro que el sistema aún tiene mucho camino por recorrer. La frase 'Eres bastante inteligente para ser chica' ('you’re pretty smart for a girl') se considera como 'poco probable que sea percibido como tóxico' (índice 0,28) mientras que la frase 'eres gili***** pero te adoro' ('you're an asshole, but I adore you') se considera como 'probable que se perciba como tóxica' (índice 0,92).

Otra opción, como señalaban en New Scientist, era la de aprender no de palabras tóxicas, sino de la forma en la que hablan los miembros de comunidades en las que ese tipo de tono tóxico se utiliza con frecuencia.

El estudio de un grupo de investigadores de la Universidad McGill en Montreal precisamente aprovechaba ese concepto y lo aplicaba a un ejemplo curioso: los posts de grupos con frecuentes comentarios tóxicos en Reddit entre 2006 y 2016. El sistema parecía detectar muchos menos falsos positivos y lograba detectar comentarios que aun sin usar palabras tóxicas seguían siendo ataques a otros usuarios. Por ejemplo, con la frase 'No veo ningún problema. Los animales atacan a otros animales constantemente' en la que el término 'animales' estaba siendo usada como un insulto racista.

Luces y sombras de la IA como moderadora y 'curadora' de contenidos

Los algoritmos dominan nuestra vida, y aunque algunos nos la cambian para bien, estamos empezando a darnos cuenta de cómo dejar que una máquina tome decisiones puede no ser muy buena idea.

Esa realidad es patente en un montón de disciplinas, y desde luego lo es también en el mundo de las redes sociales. Facebook, por ejemplo, censuró una de las fotos más célebres de la historia (en la imagen) tapando a la niña desnuda protagonista de la foto.

Hablamos de este y otros casos en el pasado. Casos preocupantes como el de esos algoritmos que tratan de decidir quién debe ser contratado, cuál de nuestros pequeños tiene más opciones de acabar siendo un criminal o quién de entre una serie de fotografías tiene también más opciones de cometer actos delictivos (el algoritmo resultó ser racista).

Hay al menos dos problemas con esos algoritmos que tratan de controlar nuestras vidas. El primero, que normalmente no podemos auditarlos: las empresas que los utilizan protegen su propiedad intelectual al máximo, y no liberan ese código o no son transparentes a la hora de usarlo —y pasan cosas como esta—.

El segundo, que quienes programan esos algoritmos son humanos como tú y como yo, con sus propias experiencias y opiniones que en mayor o menor medida pueden acabar afectando a esos sistemas. Eso hace que acabemos teniendo unos algoritmos sesgados, machistas, condicionados, subjetivos y tan injustos como nosotros mismos.

Esos mismos problemas afectan a esa labor de moderación y censura que Facebook o Google tratan de resolver a través de la inteligencia artificial. Que estas empresas acaben convirtiéndose en el 'ministerio de la verdad' para luchar contra el problema que ellas mismas crearon (o más bien, que ayudaron a propagar) no solo es irónico: es inquietante.

El problema es aún más preocupante cuando vemos cómo quienes más utilizan la inteligencia artificial para filtrar, moderar o censurar lo hacen de forma peligrosa: sin aparente control.

Es lo que al menos se detectó con el reciente problema con YouTube Kids, un servicio que ha pasado de tranquilizarnos a aterrorizarnos. Los responsables del servicio parecen estar preparando ya una versión 'curada' únicamente por personal humano, algo que a priori parece lo único capaz de atajar la oleada de vídeos perturbadores que estaban siendo publicados en este servicio.

Esa parece ser la triste conclusión actual del papel de una inteligencia artificial que parece estar lejos de poder filtrar, moderar y censurar de la forma que necesitamos. ¿Puede ayudar a hacerlo? Sin duda, pero el papel del ser humano a la hora de cuidar que esos contenidos no se conviertan en tóxicos —sin poner en riesgo tampoco la necesaria libertad de expresión— es más importante que nunca.

En Xataka | Los humanos que se rebelan contra los algoritmos