Ученые узнали, насколько хорошо ИИ определяет психологический портрет человека

Какие черты, ценности и установки пользователей могут определять языковые модели, выяснили ученые Санкт-Петербургского государственного университета совместно с коллегами из Института искусственного интеллекта AIRI и Института психологии ран. 

фото: IMAGO/Global Look Press

Для исследования в качестве участников было привлечено 645 человек. С каждым провели интервью, после чего протестировали для определения черт личности и моральных ценностей (всего 38 показателей). После материалы интервью дали на изучение пяти известным большим языковым моделям (LLM) с тем, чтобы после они сами спрогнозировали ответы каждого участника на вопросы предложенных психологических тестов. Иными словами, специалисты решили проверить, насколько разойдутся ответы ИИ с выводами настоящих психологов.

Оказалось, что лучше всего искусственный разум пока воспроизводит те черты характера человека, о которых он сам говорит в интервью, описывая себя. например, насколько он религиозен, экстраверт или интроверт и так далее. А вот менее очевидные мотивы, скрытую тревожность, гедонистические установки или представления о справедливости ускользнули от «нейронок».

К тому же исследователи выявили эффект идеализации человека: LLM высоко оценивали его доброту и честность и занижает баллы по таким показателям, как нарциссизмпсихопатия. 

 Данная работа показала, что на откуп ИИ нельзя отдавать оценку человеческой личности без дополнительной калибровки проверки.

Источник