Японські дослідники створили нейромережу, яка може реконструювати зображення предметів на основі даних про мозкову активність людей, які на них дивляться.

Така нейромережа успішно реконструює букви, геометричні фігури і навіть зображення тварин і предметів, передає Уніан з посиланям N+1.

Можливість "читання" людських думок вабить вчених досить давно, а єдиний реальний спосіб її досягнення - розшифровка патернів активності головного мозку. Використання для цієї мети даних функціональної магнітно-резонансної томографії (фМРТ) є найбільш ефективним: такий метод дозволяє візуалізувати мозкову активність із найбільшою просторовою роздільною здатністю, тобто локалізувати її з максимальною точністю.

Усі існуючі підходи, однак, мають низку обмежень: наприклад, відновлююча нейромережа може бути обмежена навчальною вибіркою, тобто відтворювати тільки окремий ряд зображень, про особливості яких їй відомо. Крім того, отримані зображення дуже часто нагадують вихідні тільки частково. Розробники з Кіотського університету під керівництвом Юкіасу Камітані представили новий алгоритм такої реконструкції - нейромережу, що працює завдяки методам глибокого навчання. Така нейромережа працює з допомогою декодера патернів зображення мозкової активності. Вона була навчена на парах "зображення-активність", отриманих в ході експерименту, учасників якого просили розглянути 1200 зображень (кожне зображення було переглянуто кожним з трьох учасників по п'ять разів).

В результаті нейромережа змогла відтворити зображення геометричних фігур, букв і навіть цілих предметів.

Незважаючи на те, що зображення предметів вийшли абстрактними, робота нейромережі, за оцінками системи попіксельної кореляції початкового і одержаного зображень, опинилася на 79,7 % ефективною. Незважаючи на те, що ефективність нової нейромережі виявилася досить високою, робота над її поліпшенням повинна тривати надалі: візуально вона показала кращі результати при реконструюванні простих форм і цифр, але не реальних об'єктів.