Наш веб-сайт использует файлы cookie, чтобы предоставить вам возможность просматривать релевантную информацию. Прежде чем продолжить использование нашего веб-сайта, вы соглашаетесь и принимаете нашу политику использования файлов cookie и конфиденциальность.
Дослідники Техаського університету в Остіні розробили семантичний декодер, який перетворює активність мозку в текст. Ця система штучного інтелекту, яка є неінвазивною та не потребує хірургічних імплантатів, може надати новий засіб спілкування для людей, які фізично не можуть говорити. Декодер навчається, коли учасник слухає години подкастів, перебуваючи в сканері фМРТ, і потім може генерувати текст лише на основі активності мозку.
Нова система штучного інтелекту під назвою семантичний декодер може перетворювати мозкову активність людини — під час прослуховування історії або тихої уяви, що розповідає історію — у безперервний потік тексту. Система, розроблена дослідниками з Техаського університету в Остіні, може допомогти людям, які розумово свідомі, але не можуть фізично говорити, наприклад, ослабленим інсультом, знову спілкуватися зрозуміло.
Дослідження, опубліковане сьогодні (1 травня) в журналі Nature Neuroscience , очолювали Джеррі Танг, докторант з інформатики, і Алекс Хат, доцент кафедри нейронаук і інформатики в UT Austin. Робота частково спирається на модель трансформатора, подібну до тих, що працюють у ChatGPT Open AI і Bard Google.
На відміну від інших систем декодування мови, які розробляються, ця система не вимагає від суб’єктів хірургічних імплантатів, що робить процес неінвазивним. Учасникам також не потрібно вживати лише слова зі встановленого списку. Активність мозку вимірюється за допомогою сканера fMRI після тривалого навчання декодера, під час якого людина годинами слухає подкасти на сканері. Пізніше, за умови, що учасник готовий до розшифровки своїх думок, прослуховування нової історії або уява, що розповідає історію, дозволяє машині генерувати відповідний текст лише на основі діяльності мозку.
«Для неінвазивного методу це справжній стрибок вперед у порівнянні з тим, що робилося раніше, яке зазвичай складається з окремих слів або коротких речень», — сказав Хат. «Ми отримуємо модель для декодування безперервної мови протягом тривалих періодів часу зі складними ідеями».
Результат не є дослівною транскрипцією. Натомість дослідники розробили його, щоб передати суть сказаного чи думки, хоча й недосконало. Приблизно в половині випадків, коли декодер був навчений стежити за мозковою активністю учасника, машина створює текст, який близько (і іноді точно) відповідає передбачуваним значенням вихідних слів.
Наприклад, під час експериментів учасник, який слухав спікера, який говорив: «У мене ще немає водійських прав», їхні думки були перекладені так: «Вона ще навіть не почала вчитися водити». Слухаючи слова: «Я не знав, кричати, плакати чи тікати. Замість цього я сказав: «Залиш мене в спокої!»» було розшифровано як «Почала кричати і плакати, а потім вона просто сказала: «Я сказала тобі залишити мене в спокої».
