Meta создала «мозг в цифре»: мысли не читает, но уже догадывается, куда у вас сейчас «пригорело»

По сути, это цифровой аналог мозга: на вход подаётся видео, а на выходе формируется карта нейронной активности — какие области и насколько интенсивно активируются. Разработкой занималась команда Brain & AI из Meta FAIR (Meta признана экстремистской организацией и запрещена в России).

Главная ценность TRIBE v2 — возможность проводить нейронаучные эксперименты без участия людей и сканеров. Например, исследователи могут заранее оценить реакцию «среднего» мозга на определённый стимул. Потенциальные применения включают интерфейсы мозг–компьютер, изучение восприятия и клиническую диагностику. При этом модель не является «искусственным мозгом» и не читает мысли — она лишь прогнозирует изменения кровотока в активных зонах мозга.

Как это работает: система анализирует три типа данных из видео — изображение, звук и текст (субтитры или речь). Для этого используются предобученные модели Meta: V-JEPA 2 (видео), Wav2Vec-BERT (аудио) и Llama 3.2 (текст). Затем трансформер объединяет информацию и предсказывает паттерны BOLD-сигнала фМРТ по всей коре мозга.

Если первая версия TRIBE обучалась всего на четырёх людях, смотревших «Друзей» и фильмы в томографе, и делила мозг на 1000 зон, то TRIBE v2 использует более 500 часов фМРТ-данных от 700+ участников. Она оперирует примерно 20 000 участками коры, способна делать прогнозы для новых людей без дообучения и доступна исследователям по некоммерческой лицензии.