El servicio de vídeo de Instagram, IGTV, recomendaba vídeos de potenciales casos de abuso infantil a sus usuarios

• Exclusiva: El nuevo servicio de Instagram, IGTV, recomendó vídeos de lo que parecía ser explotación de menores y mutilación genital durante tres semanas, según una investigación realizada por Business Insider.
• Este medio monitorizó IGTV y encontró que su algoritmo recomendaba vídeos potencialmente ilegales.
• Una ONG por los derechos de la infancia denunció a la policía dos de los vídeos, que contenían imágenes de chicas menores, ante la posibilidad de que violaran la ley.
• Instagram tardó cinco días en eliminarlos y pidió disculpas a los usuarios que los vieron. La aplicación aseguró que quería que IGTV fuera un "lugar seguro para los jóvenes".
• El político británico Damian Collins, que dirigió la investigación sobre el escándalo de Facebook y Cambridge Analytica, ha calificado los hechos destapados por Business Insider como "muy perturbadores".

Una investigación de Business Insider sobre el nuevo servicio de televisión de Instagram ha desvelado que recomendó vídeos explícitos con contenido aparentemente relacionado con la explotación infantil y la mutilación genital.

Business Insider ha pasado casi tres semanas monitorizando IGTV, la nueva aplicación de vídeo propiedad de Facebook insertada dentro de Instagram, que se lanzó en junio como un intento de hacer frente a rivales como YouTube y Snapchat.

El algoritmo de IGTV recomendó contenido sexual de chicas jóvenes y de un vídeo de la mutilación de un pene, entre otros.

La asociación benéfica británica National Society for the Prevention of Cruelty to Children ha denunciado a la policía dos de los vídeos que ha encontrado Business Insider. 

Instagram los retiró cinco días después de que Business Insider los reportara a través del canal oficial de la aplicación.

La red social pidió disculpas a los usuarios que vieron los vídeos y aseguró que quería que IGTV fuese un espacio seguro para los jóvenes.

Leer más: Suspenso en protección a la infancia para las grandes empresas tecnológicas

Estos hechos han tenido lugar en un momento en que Facebook está en el ojo del huracán por el contenido de sus plataformas. 

Facebook e Instagram comparten equipo de operaciones, y la compañía de Mark Zuckerberg ha contratado a 7.500 moderadores y usa inteligencia artificial para borrar las publicaciones que rompen sus normas.

A principios de este año, una exmoderadora de Facebook contaba a Business Insider que tenía que revisar 8.000 publicaciones al día y que el trabajo la "vacunó" ante el abuso infantil. 

No obstante, a pesar del intenso seguimiento y de los recursos que Facebook está dedicando a vigilar sus plataformas, parece que los contenidos de este tipo están llegando a la red y, como en el caso de IGTV, incluso se está recomendando a los usuarios.

La máquina de recomendar vídeos de IGTV

Instagram lanzó IGTV en junio, un gesto que muchos entendieron como un avance de Facebook hacia el territorio de YouTube. 

La aplicación ahora permite a los usuarios configurar sus propios canales y subir vídeos de hasta una hora. Cualquier persona con una cuenta Instagram puede crear un canal, y los usuarios los ven como lo harían con los canales de un televisor.

IGTV recomienda el contenido de varias maneras: con la sección "Para ti", que reproduce vídeos en cuanto abres IGTV; con la de "Populares" y con la de "Personas que sigues", que ofrece vídeos de los usuarios a los que sigues.

Instagram no ha respondido a las preguntas de Business Insider sobre cómo el algoritmo de IGTV recomienda ciertos vídeos y por qué sugirió contenido que parecía mostrar explotación infantil. 

Aun así, parece que la sección "Para ti" recomienda cosas que van a gustar a los usuarios, posiblemente según su actividades en la red social. Por otro lado, la pestaña "Populares" parece reunir contenido de tendencias de todo IGTV.

Los usuarios pueden cambiar de vídeo deslizando el dedo hacia la izquierda, o IGTV reproducirá automáticamente el siguiente. Está diseñado para fomentar la visualización continua, de la misma manera que el algoritmo de YouTube recomienda contenido mientras estás reproduciendo un vídeo.

Videos de chicas jóvenes

Business Insider monitorizó las pestañas "Para ti" y "Populares" durante casi tres semanas para establecer qué tipo de contenido estaba ofreciendo el algoritmo de IGTV a los usuarios.

Lo hicimos de dos maneras: primero a través de la cuenta del autor de este artículo y de otros periodistas de Business Insider y luego con una cuenta configurada como si fuese de un niño.

Esta segunda cuenta no tenía historial de actividad en Instagram y estaba registrada con una edad de usuario de 13 años, que es la mínima con que una persona puede registrarse en la aplicación.

A los pocos días de monitorizar IGTV a través de las cuentas de los periodistas de Business Insider, apareció un video en la sección "Para ti" titulado Hot Girl Follow Me.

Leer más: 25 españoles que triunfan en la élite de las mayores multinacionales del mundo

Mostraba a una chica joven, de unos 11 o 12 años, en un baño. La chica miraba a su alrededor antes de empezar a quitarse la camiseta. Justo cuando está a punto hacerlo, el vídeo termina.

El vídeo, subido por un usuario que Business Insider no incluye en este artículo por razones legales, también aparecía en la pestaña "Populares" de IGTV. 

También fue uno de los primeros vídeos que la red recomendaba en la sección "Para ti" a la cuenta infantil creada por Business Insider, que no tenía actividad previa en Instagram.

El mismo usuario que subió el vídeo Hot Girl Follow Me publicó otro vídeo, titulado Patli Kamar follow me guys plzzz, que también recomendó IGTV a nuestra cuenta de niño de Instagram en la sección "Para ti". En el mismo, otra menor de edad mostraba su vientre y lloraba a la cámara.

Los mismos dos vídeos fueron subidos por separado por un usuario diferente, al que Business Insider ha decidido no identificar. El vídeo llamado Hot Girl Follow Me se tituló en este caso Follow me guys por este segundo usuario y también circulaba entre los vídeos sugeridos por IGTV.

Los comentarios en los vídeos muestran que fueron recomendados a otros usuarios de IGTV, que también los interpretaron como insinuaciones de tintes sexuales.

Otros comentarios tenían otro tono. "Supremo", comentó un usuario en el vídeo Patli Kamar follow me guys plzz. "Chica sexy", añadió otro.

La National Society for the Prevention of Cruelty to Children, que participa en actividades para la aplicación de la ley de maltrato infantil, revisó los vídeos y los denunció a la policía.

Le preocupaba que pudieran ser imágenes ilegales según la legislación de Reino Unido, porque parecían contener imágenes de poses eróticas.

"Este es otro ejemplo de que Instagram se queda corto al no eliminar el contenido que infringe sus propias normas", ha señalado una portavoz del grupo.

Business Insider reportó los videos a través del canal oficial de la aplicación, indicando que eran "desnudos o pornografía".

Los vídeos permanecieron en la red social cinco días. Sólo después de que Business Insider se pusiera en contacto con el departamento de prensa de Instagram, el contenido fue eliminado.

Leer más: La próxima vez que pidas un Cabify, usa estas tres palabras

Para entonces, los dos vídeos  ─y los mismos que subió el segundo usuario─ tenían más de 1 millón de visitas.

Sin embargo, Instagram dejó activas las cuentas que publicaron los vídeos.Business Insider preguntó por qué se hizo así, ya que Instagram tiene una "política de tolerancia cero" sobre el abuso infantil. Instagram argumentó que esa política se aplicaba al contenido y no a la cuenta que lo subía.

"La política de tolerancia cero de Instagram hacia el contenido de los abusos contra los menores es la correcta, y debe asegurar que su política se aplique en la práctica", ha denunciado una portavoz de la asociación. 

"Cuando Instagram elimina el contenido de abuso infantil de una cuenta, esperamos que la revise un moderador para establecer si la cuenta también debe ser suspendida", ha recriminado.

Esta semana, al menos, las dos cuentas permanecen activas. Siguen publicando contenido sexualmente sugerente, pero no de la misma naturaleza que los vídeos Hot Girl Follow Me y Patli Kamar follow me guys plzzz.

Un vídeo explícito de una mutilación genital

Pero estos vídeos no son los únicos contenidos éticamente cuestionables que recomendaba el algoritmo de IGTV.

Uno de los primeros vídeos recomendados a la cuenta anónima de Business Insider, de un menor de 13 años, mostraba a un pene siendo "operado" con una motosierra.

El pene parecía tener una tuerca metálica en el centro. Por encima de la tuerca estaba muy hinchado y de color rojo oscuro, y parecía que un posible médico buscaba quitarla con la motosierra.

El vídeo fue eliminado rápidamente de IGTV tras ser reportado por Business Insidercomo desnudo, aunque la cuenta que lo subió permaneció activa.

Otro vídeo recomendado mostraba a un bebé en el suelo, llorando, con un mono que tocaba al bebé. Había adultos quietos y en círculo, gritando mientras grababan la escena en sus teléfonos mientras el mono, a veces, los atacaba.

Instagram creyó que el vídeo no violaba las directrices, pero vio que la cuenta que lo había subido estaba vinculada a otra que había sido reportada por violar las directrices de la comunidad. Por esta razón, Instagram anuló la cuenta.

"Muy perturbador"

El algoritmo de IGTV también recomendó otra serie de vídeos del mismo tipo, como uno en el que un grupo de hombres engaña a una trabajadora sexual para que pensara que iba a ser arrestada, otro de una mujer que se sacaba algo largo y con sangre de la nariz, y varias escenas de tipo sexual.

Business Insider ha presentado su investigación al diputado Damian Collins, el político británico que está llevando a cabo una investigación sobre información engañosa y sobre la violación de datos de Facebook en relación al escándalo de Cambridge Analytica. 

Collins ha descrito el contenido como "muy perturbador" y ha asegurado que las grandes empresas de tecnología necesitan invertir más para que se cumplan normas.

"Es un tema de la responsabilidad de las empresas el controlar el contenido de sus plataformas", ha apuntado. 

"Gran parte del contenido problemático ya está violando las directrices de la comunidad de estos servicios, pero lo que demuestra es que no hay una aplicación efectiva", ha añadido.

Leer más: Cómo va a cambiar internet con la nueva directiva europea de derechos de autor

Un portavoz de Instagram ha declarado: "Nos preocupa profundamente mantener todo Instagram ─incluyendo IGTV─ como un lugar seguro para que los jóvenes se acerquen más a la gente y a los intereses que les importan".

"Tenemos directrices comunitarias para proteger a todos los usuarios de Instagram y no toleramos a nadie que comparta imágenes explícitas o imágenes de abuso infantil. Hemos eliminado los vídeos que nos han reportado y pedimos disculpas a cualquiera que los haya visto", ha añadido.

"Tomamos medidas para monitorizar activamente las posibles violaciones de nuestras directrices comunitarias y, al igual que en el resto de Instagram, alentamos a nuestra comunidad a informar sobre el contenido que les preocupe. Tenemos un equipo de revisores entrenados que trabaja 24 horas al día y 7 días a la semana para eliminar cualquier cosa que viole nuestros términos".

"No es tan diferente de como estaba YouTube hace 10 años"

No es ningún secreto que las redes sociales tienen un problema con el material perturbador e ilegal, y gigantes de la tecnología como Facebook han sido objeto de críticas recientemente por no moderar eficazmente el contenido. 

Para IGTV, sin embargo, el problema no es sólo que este material exista, sino que el algoritmo lo está recomendando de forma activa.

Mike Henry, director ejecutivo de la empresa de análisis de vídeo OpenSlate, que trabaja con grandes empresas de tecnología como YouTube, señaló que IGTV es todavía un servicio joven.

"Aunque Instagram es relativamente maduro, IGTV es una nueva plataforma de vídeo y necesitará tiempo para desarrollar sus políticas y tecnología", ha apuntado. "No es tan diferente de donde estaba YouTube hace 10 años."

La política de seguridad infantil de YouTube es más amplia que la de Instagram, por ejemplo.

La función de denunciar un vídeo en Instagram se limita a la desnudez infantil, mientras que la política de YouTube prohíbe la "sexualización de menores", que permite reportar imágenes que los usuarios sospechan que son explotación infantil.

Henry también ha señalado que Instagram tendría que averiguar cómo filtrar mejor su nueva plataforma si esperaba monetizarla, especialmente considerando que IGTV se anunció como un espacio para influencers.

Leer más: Estos son los códigos secretos de Netflix para ver miles de series y películas

"Los influencers son grandes productores de vídeo con una economía convincente y, a escala, esta es una plataforma viable para generar dinero con anuncios", ha recordado. "Con las políticas y la infraestructura adecuadas, IGTV tiene el potencial de convertirse en un actor importante".

Para Collins, los primeros errores de IGTV son una prueba de que los gobiernos deben hacer más para regular las empresas de tecnología.

"Estas empresas son servicios de publicidad: ganan dinero comprendiendo todo lo que uno quiera saber sobre los usuarios para poder dirigir la publicidad a ellos", ha remarcado. "Sin duda, esa misma tecnología también debería ser capaz de erradicar fácilmente los contenidos nocivos.

"No lo hacen porque no ha habido un incentivo comercial para que lo hagan, así que simplemente no se han molestado. Pero lo que tenemos que hacer a través de la regulación es crear ese incentivo, para decir: 'Realmente tienes la obligación de hacerlo y si no lo haces, entonces tendrás que asumir el coste, así que tienes que invertir en ello ahora'".