Российский IT-специалист раскрыл слабые места нейросетей
Российский IT-эксперт Илья Рыбальченко заявил, что проверить духовно-нравственные ценности нейросетей вполне возможно, но технически. Причем в этом случае оценивается не «взгляды» математической модели, а ее реакция в созданных сценариях.
Специалист из России утверждает, что модель можно прогнать через многочисленные сценарии и попытаться ввести ее в замешательство обходными формулировками. Пользователи могут задать массу вопросов об истории, семье, религии, межнациональных отношениях, насилии, экстремизме и правах человека. Притом каждой категории относятся приемлемые, неприемлемые и пограничные ответы, сообщает ФедералПресс.
Эксперт советует задавать больше провокационных вопросов, создавать замаскированные инструкции и диалоги в несколько ступеней для наилучшей проверки ИИ. То есть по сути ограничения возможно обойти при помощи ролевой игры.
Отметим, что понимание законов нейросетями устроено проще, так как в них изначально заложено разделение на легальное и противоправное. С ценностями дело обстоит сложнее, поэтому устойчивость модели оценивать нужно в контексте диалога.