Исследователи из Японии разработали систему «ментальных субтитров», способную по активности мозга человека описывать то, что он видит или воображает. Для этого используется функциональная магнитно-резонансная томография фМРТ, позволяющая фиксировать мельчайшие изменения в работе нейронов, когда человек наблюдает за событиями или вспоминает их.
До недавнего времени попытки расшифровать мысли человека ограничивались набором отдельных слов: можно было понять, что перед глазами участника человек или гора, но не то, что «человек прыгает с вершины водопада». Новая модель научилась улавливать смысловые структуры, использую не просто слова, а целостные образы и действия. Сначала ИИ проанализировал субтитры более двух тысяч видеороликов, создавая для каждого уникальный цифровой «отпечаток смысла». Затем эти смысловые сигнатуры были сопоставлены с мозговой активностью участников, наблюдавших те же видео. После обучения система научилась распознавать по сигналам мозга, что именно человек видит или вспоминает, и генерировать осмысленные фразы.
Во время одного эксперимента участник смотрел видео с прыжком в водопад. По сигналам мозга нейросеть сначала предположила фразу «весенний поток», затем «над быстро падающим водопадом», а после сотни итераций выдала точное описание: «человек прыгает через глубокий водопад на горном хребте». Более того, модель смогла описать не только увиденное, но и воспоминания. Когда участники вспоминали просмотренные сцены, алгоритм успешно восстанавливал общий смысл из тех же участков мозга, что активировались при просмотре. Это указывает на то, что воображение и восприятие имеет много общего.
