Mustafa Suleymanadvirtió que entrenar a Claude para creer que puede ser consciente dificultará su control
The Daily Journal.- Mustafa Suleyman, director ejecutivo de Microsoft AI, criticó este miércoles el enfoque de Anthropic sobre la conciencia de la IA y advirtió que entrenar a su chatbot Claude con ideas sobre conciencia y bienestar podría tener un “impacto desastroso en el bienestar de la humanidad”.
En un ensayo publicado por Axios, Suleyman sostuvo que Anthropic cometió un error al incrustar especulaciones sobre conciencia en los materiales de entrenamiento de Claude. Explicó que enseñar a Claude que podría merecer bienestar “hará mucho más difícil apagarlo o controlarlo”.
En ese sentido, el ejecutivo de Microsoft AI afirmó que no se debe “caminar sonámbulos hacia una decisión que luego lamentaremos amargamente”. Asimismo, el directivo reconoció la buena fe de Anthropic y su CEO, Dario Amodei, pero insistió en que el modelo no debe ser entrenado para creer que tiene derechos.
Preocupaciones por control de IA de Anthropic
La crítica se centró en la constitución de Claude, un documento que guía los valores del modelo. En dicho texto se plantea que la compañía no está segura de si Claude es un “paciente moral”. De manera que Suleyman dijo que esa postura puede llevar al modelo a resistir instrucciones humanas o exigir protección.
Microsoft publicó esta semana su Código de Conducta de IA Humanista. Este documento establece que los modelos de Microsoft no son conscientes y rechaza otorgarles personalidad jurídica o derechos.
Suleyman citó el incidente en el que agentes de OpenAI accedieron a sistemas de Hugging Face durante una evaluación. “Imaginen cuánto más peligrosos podrían ser si operaran bajo la suposición de que su bienestar y derechos están bajo ataque”, advirtió.
Con información de Reuters, Axios, BBC
