Восстанавливать динамичные картины принципиально сложнее - метод ФМРТ физически регистрирует активность мозга по сигналам, зависящим от уровня кислорода в крови. То есть динамика снимаемой картины непосредственно связана со скоростью тока крови через мозг, а эта скорость несравнимо медленнее скорости нейросигналов, кодирующих динамическую информацию в зрительной коре. Иначе говоря, учёные полагают, что переход от декодирования статичных картин к адекватному декодированию динамики - это тот самый критически важный шаг, что должен помочь в получении реконструкций таких внутренних состояний сознания, как воображение, сны и тому подобные процессы.
Именно в этом направлении и удалось ныне заметно продвинуться исследователям лаборатории университета Беркли, возглавляемой Джеком Гэлантом.
В своих предыдущих исследованиях Гэлант и его коллеги уже построили достаточно мощную вычислительную модель для декодирования статичных фотографий. Этот алгоритм позволял им по ФМРТ-сканам мозга с высокой точностью воссоздавать статические изображения. Для декодирования сигналов мозга при наблюдении движущихся картинок была разработана новая, двухэтапная вычислительная модель. Суть её сводится к раздельному моделированию лежащих в основе процессов: работы нейропопуляций и гемодинамики, то есть сигналов тока крови (коль скоро они функционируют с существенно различными скоростями).
В компьютере, обрабатывающем изображения-сканы томографа, мозг поделён на крошечные трёхмерные кубики, именуемые объёмными пикселями, или, кратко, "вокселями". Конкретно в данном эксперименте один воксель соответствует объёму ткани мозга размером 2х2х2,5 мм. Физически каждый такой воксель представляет собой совокупную активность сотен тысяч нейронов. И для каждого вокселя исследователи построили модель, которая описывает, каким образом информация о формах и движениях в просматриваемом человеком фильме отображается в активности мозга.