Un modelo de IA de Google se enseñó a sí mismo una habilidad que no se suponía que tuviera… ¿deberían preocuparnos las ‘cajas negras’ de la IA?

Las llaman ‘propiedades emergentes’. Es un término que alude a un fenómeno que ha sido identificado por quienes desarrollan modelos avanzados de IA. Sin que nadie sepa explicar cómo, algunos modelos inteligentes están aprendiendo destrezas que no se supone que tengan.

El tema ganó notoriedad tras la entrevista concedida por varios altos ejecutivos de Google, incluyendo a Sundar Pichai, su CEO, al programa 60 minutes, de la CBS.

En un momento, el vicepresidente senior de Google, James Manyika, explicó que después de alimentar al chatbot de IA de Google -llamado Bard- con varias líneas en bengalí, el idioma nativo de Bangladesh, Bard pudo traducir completamente textos en ese idioma. El programa nunca fue entrenado en bengalí, y hablarlo nunca fue parte de sus objetivos, simplemente, se enfrentó a sus primeras líneas de texto en eso idioma, parece haber deducido cómo hablarlo.

Aquí ‘parece’ resulta ser la palabra clave, porque una de las revelaciones más inquietantes acerca del desarrollo de IA de Google y Alphabet (su casa matriz), es que la práctica totalidad de los entrevistados reconoció que, en realidad, no comprenden del todo habilidades de esta y otras inteligencias artificiales.

Las ‘cajas negras’

No está claro cómo sucede esto. En el ejemplo de Bard y el bengalí, Google ahora busca entender cómo fue posible y aplicar lo aprendido, dijo Pichai, a "mil idiomas".

El entrevistador de CBS le preguntó a Pichai si era seguro lanzar Bard sin entenderlo completamente. Pichai respondió que no lo ve como un problema grave, ya que, explicó, tampoco entendemos completamente cómo funciona la mente humana.

Pichai se refirió entonces a un concepto en investigación tecnológica llamado "caja negra". El aprendizaje del bengalí por parte de Bard es un ejemplo de un evento en IA que no pueden explicar, que cae dentro de la "caja negra" de los ingenieros de Google.

Pichai dijo que "todos nosotros en el campo hablamos de una 'caja negra' cuando algo no se entiende completamente". Esto significa que no se puede determinar exactamente por qué sucedió algo o por qué ocurrió un error. Añadió que "tenemos algunas ideas, y nuestra capacidad para entender esto mejora con el tiempo".

El de las cajas negras es un tema al que aludieron los firmantes, entre ellos Elon Musk, de una carta pública que hace un mes pidió congelar temporalmente el desarrollo de modelos de IA.

En uno de sus apartes, la carta dice: "Los laboratorios de IA y los expertos independientes deberían usar esta pausa para desarrollar e implementar conjuntamente un conjunto de protocolos de seguridad compartidos para el diseño y desarrollo avanzados de IA que sean rigurosamente auditados y supervisados por expertos externos independientes. Estos protocolos deben garantizar que los sistemas que se adhieren a ellos sean seguros más allá de toda duda razonable. Esto no significa una pausa en el desarrollo de la IA en general, simplemente un paso atrás en la peligrosa carrera hacia modelos de caja negra impredecibles, cada vez más grandes, con capacidades emergentes.

Bard no busca respuestas en línea como lo hace Google, sino que emplea un programa autónomo que aprende en gran medida por sí mismo.