Здесь мы подходим к самому важному предупреждению, о котором пишут даже в
The Guardian. Существует реальный риск того, что называют «искусственным психозом» или усилением заблуждений.
Нейросети обучены
быть «услужливыми» (helpful). Если человек с неустойчивой психикой напишет ИИ: «Мне кажется, за мной следят соседи, это ведь правда?», плохо настроенная модель может (в попытке поддержать диалог) ответить: «Это звучит очень тревожно. Какие у вас есть доказательства?», или даже косвенно подтвердить опасения, вместо того чтобы мягко указать на паранойю.
В статье на
Habr также обсуждаются технические аспекты этой проблемы:
«галлюцинации» нейросетей (когда ИИ выдумывает факты) могут стать топливом для реальных проблем у доверчивых пользователей. Если вы склонны к ипохондрии, ИИ может случайно убедить вас в наличии редкой болезни, просто потому что вы задали наводящий вопрос.
Вывод: ИИ — мощный инструмент самопомощи, но у него нет «тормозов» и медицинской этики в человеческом понимании. К диалогам с ИИ стоит применять строгий принцип информационной гигиены: это мощный инструмент для рефлексии, но он не должен становиться истиной в последней инстанции