Нейроінженери з Колумбійського університету створили систему, яка "переводить" думки у розбірливу і впізнавану мову.
Розробники вважають, що їх система, що працює на основі нейромереж і вокодера, поліпшить систему спілкування комп'ютера з мозком, повідомляє Scientific Reports.
Справа в тому, що коли люди говорять (або навіть уявляють собі, що кажуть) в деяких ділянках моза виникає активність. Чітка (але впізнавана) картина сигналів також спостерігається, коли ми чуємо, як хтось говорить, чи уявляємо собі, що хтось слухає.
Команда Німа Месгарані (Nima Mesgarani) зосередилися на простих комп'ютерних моделях, котрі аналізують спектрограми, які являють собою візуальне подання звукових частот.
ТЦК заблокували водійські права: чи можна повернутися за кермо
Таких цін не бачили давно: скільки доведеться заплатити за курячі та перепелині яйця
У комунальних платіжках з'явилася нова графа: за що доведеться доплачувати
"Газмережі" просять встигнути до 20 травня: що потрібно зробити всім побутовим споживачам
Але оскільки цей підхід не дав нічого схожого на розбірливе мова, команда доктора Месгарані звернулася до вокодеру — комп'ютерного алгоритму, який може синтезувати мову після навчання записи розмов людей. Та ж технологія, яку використовують Amazon Echo і Apple Siri.
У рамках дослідження пацієнтів з епілепсією попросили прослухати фрази, висловлені різними людьми і виміряти моделі мозкової активності. Ці нейронні візерунки і навчили вокодери.
Потім дослідники попросили тих же пацієнтів прослухати дикторів, які повторюють цифри від 0 до 9, записуючи при цьому сигнали мозку, які потім можна було б пропустити через вокодер.
Звук, видаваний вокодером у відповідь на ці сигнали, був проаналізований і очищений нейронними мережами.
У підсумку з'явився роботизований голос, що вимовляє послідовність цифр. Для перевірки правильності запису доктор Месгарані і його команда доручили окремим особам прослухати запис і повідомити про те, що вони почули.
"Ми виявили, що люди можуть розуміти і відтворювати звуки приблизно 75 % випадків", — сказав д-р Месгарані.
Доктор Месгарані і його команда планують протестувати складні слова і пропозиції, і вони хочуть провести ті ж самі тести на мозкові сигнали, що випромінюються, коли людина говорить або думає говорити.
Зрештою, вони сподіваються, що їх система може бути частиною імплантату, подібно тим, що носять деякі хворі на епілепсію, які "переводять" думки власника безпосередньо в слова.
Нагадаємо, як нейрони мозку людини реагує на обличчя.
Як повідомляв портал "Знай.uа", загибель нейронних клітин може захистити мозок від розвитку хвороби Альцгеймера.
Також "Знай.uа" писав, що потрібно знати про нейрони.