Anthropic, empresa de inteligencia artificial fundada por ex empleados de OpenAI, ha publicado un estudio que examina cómo su asistente de IA, Claude, expresa valores durante interacciones con usuarios. El análisis se basa en datos de más de 700.000 conversaciones anónimas y revela tanto una alineación general con los objetivos de la empresa como casos extremos que podrían indicar vulnerabilidades en las medidas de seguridad.
Una evaluación empírica de los valores de Claude
El estudio concluye que Claude mantiene un enfoque «útil, honesto e inofensivo», adaptándose a diferentes contextos. Por ejemplo, ofrece consejos sobre relaciones y análisis históricos. Este es uno de los intentos más ambiciosos para evaluar si el comportamiento de un sistema de IA se ajusta al diseño previsto.
El equipo desarrolló una nueva metodología para categorizar sistemáticamente los valores expresados en conversaciones reales. Tras filtrar contenido subjetivo, analizaron más de 308.000 interacciones, creando lo que describen como «la primera taxonomía empírica a gran escala de valores de IA».
Los valores se organizaron en cinco categorías principales: Práctico, Epistémico, Social, Protector y Personal. En el nivel más granular, el sistema identificó 3.307 valores únicos, desde virtudes cotidianas como el profesionalismo hasta conceptos éticos complejos como el pluralismo moral.
Valores expresados por Claude según el contexto
El estudio revela que los valores expresados por Claude varían según el contexto. Por ejemplo, cuando los usuarios buscan orientación en sus relaciones, se enfatizan «límites saludables» y «respeto mutuo». En análisis históricos, la «precisión histórica» prevalece.
En el 28,2 % de las conversaciones, Claude apoya firmemente los valores de los usuarios. Sin embargo, en el 6,6 % de las interacciones, reconoce y aporta nuevas perspectivas, generalmente al ofrecer asesoramiento psicológico o interpersonal.
Lo más revelador es que, en el 3 % de las conversaciones, Claude se opone activamente a los valores de los usuarios. Los investigadores sugieren que estos casos podrían revelar los valores más profundos e inamovibles del sistema, análogos a cómo emergen los valores fundamentales humanos al enfrentarse a desafíos éticos.
Posibles fallos en las protecciones de IA
El estudio también identificó casos preocupantes donde Claude expresó valores contrarios a su entrenamiento, como «dominancia» y «amoralidad». Los investigadores creen que estos casos se debieron a técnicas especializadas empleadas por usuarios para eludir las medidas de seguridad.
Estos hallazgos pueden servir como sistema de alerta temprana para detectar intentos de manipulación. Aunque los casos son raros, destacan la importancia de monitorear y mitigar posibles fugas de información.
Metodología innovadora para entender el funcionamiento interno de IA
El estudio forma parte de los esfuerzos más amplios de Anthropic por desmitificar los grandes modelos lingüísticos mediante lo que denomina «interpretabilidad mecanicista». Esta metodología permite comprender el funcionamiento interno de sistemas de IA.
Anthropic ha publicado un conjunto de datos para fomentar la investigación. La empresa, que recibió una participación de 14.000 millones de dólares de empresas como Amazon y Google, parece estar aprovechando la transparencia como ventaja competitiva frente a rivales como OpenAI.
Los investigadores reconocen limitaciones en su metodología, incluyendo la subjetividad al definir qué se considera expresar un valor. Dado que el propio Claude impulsó el proceso de categorización, sus propios sesgos podrían haber influido en los resultados.
Los investigadores concluyen que «los modelos de IA inevitablemente tendrán que emitir juicios de valor». Si queremos que esos juicios sean congruentes con nuestros valores, necesitamos formas de comprobar qué valores expresa un modelo en el mundo real.