Оңтүстік Кореядағы POSTECH ғылым және технология университетінің зерттеушілері сөздерді үнсіз айту кезінде мойынның ең ұсақ қозғалыстарын тіркеп, оларды пайдаланушының даусымен тыңдаушыға жеткізілетін сөйлеуге айналдыра алатын силиконды жағалық құрылғы ойлап тапты.

Құрылғының жұмыс принципі

Құрылғы сөздердің қалыптасуы кезінде мойын бұлшықеттері мен терісінің ерекше қозғалыстары пайда болатынына негізделген, бұл әрбір буынға тән ерекше паттерндер жасайды. Бұрын мұндай сигналдарды тіркеу үшін электромиография (ЭМГ) және электроэнцефалография (ЭЭГ) қолданылған, бірақ бұл әдістер көлемді жабдықты қажет етіп, зертханадан тыс жерде қолайсыз болатын.

POSTECH командасы басқа тәсілді таңдады: жағалық құрылғы жұмсақ силиконды, шағын камераны және қозғалыс датчиктерін біріктіреді, олар пайдаланушының даусына үйретілген жасанды интеллектпен бірге жұмыс істейді. Көпвекторлы сенсор артикуляция кезінде терінің деформациясының дәрежесі мен бағытын бақылайды, бұл ауыз бен тамақтың жұмысын егжей-тегжейлі бақылауға мүмкіндік береді. Силиконды жағалыққа салынған маркерлер камераға бұл деформацияларды нақты уақытта өлшеуге көмектеседі.

Алгоритм құрылғыны әр киген сайын оның орналасуындағы аздаған айырмашылықтарды түзетіп, көрсеткіштердің тұрақтылығын қамтамасыз етеді. Алынған деформация паттерндері жасанды интеллект моделіне жіберіліп, айтылған сөзді анықтайды.

Тестілеу және тиімділік

Сынақ барысында жүйе НАТО фонетикалық алфавитінің сөздеріне үйретілді, бұл алфавит күрделі жағдайларда анық естілетіндей арнайы жасалған. 26 сөзбен жұмыс істегенде тану дәлдігі 85,8% болды. Сөз танылғаннан кейін ол сымсыз байланыс арқылы серверге жіберіледі, онда жекелендірілген мәтіннен сөйлеуге түрлендіру моделі арқылы пайдаланушының шынайы даусына барынша жақын аудиофайл синтезделеді. Дауыстық модельді үйрету үшін 10 минуттан аз жазба жеткілікті.

Жүйе қатты кедергілерге төзімділігін көрсетті: шу деңгейі 90 дБ (құрылыс алаңына ұқсас) болғанда, сигнал/шу қатынасы 33,75 дБ-ға дейін сақталды, бұл коммерциялық ЭМГ жүйелерінің ұқсас жағдайлардағы көрсеткіштерінен жоғары.

Шектеулер мен болашағы

Қазіргі құрылғы нұсқасы тек алдын ала белгіленген 26 сөзден тұратын шектеулі сөздікпен жұмыс істейді, еркін сөйлеу мүмкін емес. Пайдаланушы қозғалғанда немесе басын белсенді бұрғанда дәлдік 39,72%-ға дейін төмендеуі мүмкін. Болашақта сөздік қорын кеңейту, көбірек пайдаланушыларда сынау және дене қозғалыстарын өтеу жүйесін жетілдіру жоспарлануда.

Мүмкін қолдану салалары

Бұл технологияны тек медицинада, мысалы, ларингэктомиядан кейінгі пациенттерге ғана емес, сонымен қатар кәдімгі микрофондар тиімсіз немесе қолжетімсіз болатын жағдайларда да қолдануға болады: өнеркәсіптік нысандарда, төтенше жағдай қызметтерінде, авиацияда, теңіз операцияларында және әскери сценарийлерде. Жүйе тек ақ шу жағдайында ғана емес, газды мылтық көрсетілімі кезінде де, яғни шу мен діріл болғанда да сыналды.

Басқа әзірлемелермен салыстыру

Бұған дейін ұқсас тәсілдер зертханаларда, мысалы, Кембридж университетінде де сыналған, онда да сөздерді үнсіз айту кезінде тамақтың дірілін анықтайтын датчиктері бар жағалықтар қолданылған. Кембридж прототипі сөйлеуді декодтау дәлдігі 95,25%-ға жетіп, нақты сөздікпен шектелмеген. Соңғы зерттеулерде олардың жүйесі пайдаланушының эмоциялық күйін де анықтай алды. POSTECH әзірлемесінің ерекшелігі — жасанды интеллект арқылы пайдаланушының жеке дауысын қалпына келтіру мүмкіндігі.