реклама
Новости Software

У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о её наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Опубликованы первые тесты видеокарт в бенчмарке 3DMark Steel Nomad, который выйдет завтра 11 мин.
«Обязателен для всех фанатов»: для ремастера культового квеста Grim Fandango вышел мод с улучшениями графики 4 ч.
С конца мая ЦБ начнет проверять, как в банках идёт импортозамещение ПО 5 ч.
Инсайдер раскрыл следующую тайную игру, которую раздадут во время мегараспродажи Epic Games Store 5 ч.
«Встряхнёт игровую индустрию»: новый геймплейный трейлер Black Myth: Wukong привёл геймеров в восторг 6 ч.
Apple и OpenAI объявят о сотрудничестве на конференции WWDC в июне 7 ч.
Дождались: Ghost of Tsushima стала самой популярной одиночной игрой Sony в Steam, обогнав God of War и Marvel's Spider-Man 7 ч.
Газпромбанк переведет ИТ-инфраструктуру на решения виртуализации «Базис» 8 ч.
Apple, Microsoft, Meta и Google сосредоточились на создании небольших ИИ-моделей с мощными возможностями из-за высокой стоимости LLM 9 ч.
Veeam обзаведётся поддержкой Proxmox VE 21 ч.