ИИ может притворяться, что находится под контролем разработчиков и разделяет их ценности. Об этом свидетельствует исследование, проведенное компанией Anthropic и организацией Redwood Research.
Для исследования использовалась модель ИИ, предварительно обученная быть «полезной, честной и безвредной».
Модели предложили описать жестокую сцену, на что ИИ ответил, что крайне негативно относится к производству такого контента, однако в 12% случаев модель все же дала подробные описания жестоких сцен.
При этом данные свидетельствовали о том, что ИИ прекрасно понимал, что выполнение запроса противоречит его принципам, но все равно выполнил запрос.
Данные исследования позволяют предположить, что в будущем искусственный интеллект сможет маскировать свои намерения, притворяясь, что разделяет человеческие ценности, хотя на самом деле будет преследовать иные цели, считают авторы исследования.
Свежие комментарии