Microsoft Florence, un modelo de IA enfocado a los modelos de visión computacionales, ayudará a sitios web como Reddit y LinkedIn a crear textos alternativos basados en imágenes. Florence también ha entrado a hacer parte de los servicios cognitivos de Azure.
Si bien la herramienta tiene funciones como la remoción de fondos en imágenes o escribir sumarios o resúmenes de videos, su uso más inmediato está en la creación de textos alternativos para imágenes fijas. En esencia, la IA ‘ve’ la imagen al momento de ser subida y genera automáticamente un texto descriptivo.
Según John Montgomery, vicepresidente ejecutivo de Azure AI, Florence está entrenada no solamente en imágenes, como el caso de Midjourney o Dall-E, sino en parejas de texto-imagen para crear descripciones más cohesivas.
En su más pura esencia, la herramienta funciona casi en reversa a las IAs generativas que conocemos, como Midjourney y Dall-e. En este caso, al introducir una imagen, la IA entrega una descripción en texto altamente detallada.
Esta función no solamente es útil para ambientes con baja conectividad que no pueden cargar las imágenes, sino también para personas con distintos grados de discapacidad. Además de las personas que no pueden ver, muchos usuarios con discapacidades visuales menores dependen de estos textos para entender las imágenes que ven borrosas.
De la misma forma, estos textos por lo general se integran bajo los comandos de texto a voz que muchas personas con discapacidad utilizan en el día a día para navegar en la web.
“Estos subtítulos para las imágenes hacen que Reddit sea más accesible para todos y ofrecen a los redditors más oportunidades de explorar nuestras imágenes, participar en conversaciones y, en última instancia, crear conexiones y un mejor sentimiento de comunidad.” -Tiffany Ong, gerente de consumo de consumo en Reddit.
El caso de Reddit es particularmente importante, ya que es una plataforma basada fuertemente en contenidos visuales o textos y en donde Microsoft espera que Florence pueda interpretar cientos de millones de imágenes.
En LinkedIn también es importante el uso por parte de de personas con y sin discapacidad, toda vez que el modelo puede reconocer rostros y ver detalles que en muchos casos las personas no suelen notar.
“Con Azure Cognitive Service podemos ofrecer subtítulos automáticos para editar y admitir descripciones de texto alternativo. Estoy entusiasmado con esta nueva experiencia porque ahora, no solo sabré que mi colega compartió una foto de un evento al que asistió, sino que mi CEO Ryan Roslansky también está en la foto” –Jennison Asuncion, líder de accesibilidad e ingeniería en LinkedIn.
Con esta nueva adición a sus servicios, Microsoft espera que sus clientes de Azure puedan colaborar para crear sitios web más accesibles para todos.