Қимылдарды тану - Gesture recognition - Wikipedia

Бала қолдың орналасуын және қимылын анықтайтын ым-ишараны танудың қарапайым алгоритмімен сезіледі
Қимылдарды тану әдетте өңделеді орта бағдарламалық жасақтама, нәтижелер қолданушының қосымшаларына жіберіледі.

Қимылдарды тану тақырыбы есептеу техникасы және тілдік технология адамды түсіндіру мақсатымен қимылдар математикалық арқылы алгоритмдер.[1] Ым-ишара кез-келген дене қимылынан немесе күйден туындауы мүмкін, бірақ көбінесе -дан пайда болады бет немесе қол. Ағымдағы[қашан? ] саладағы фокусты қамтиды эмоцияны тану бет пен қол қимылын танудан. Пайдаланушылар құрылғыларды физикалық қол тигізбестен басқару немесе өзара әрекеттесу үшін қарапайым қимылдарды қолдана алады. Көптеген тәсілдер қолданылды камералар және компьютерлік көру түсіндіру алгоритмдері ымдау тілі. Алайда, позаның сәйкестендірілуі мен танылуы, жүру, проксемика және адамның мінез-құлқы ым-ишараны тану тәсілдерінің пәні болып табылады.[2]Қимылдарды тану компьютерлердің басталу тәсілі ретінде қарастырылуы мүмкін адамның дене тілін түсіну Осылайша, машиналар мен адамдар арасында қарабайырға қарағанда бай көпір салу мәтіндік қолданушы интерфейстері немесе тіпті GUI (графикалық интерфейстер), олар клавиатура мен тінтуірге кірудің көп бөлігін әлі де шектейді және ешқандай механикалық құрылғыларсыз табиғи түрде өзара әрекеттеседі. Қимылдарды тану тұжырымдамасын қолдана отырып, саусақты осы нүктеге бағыттауға болады, сәйкесінше қозғалады. Бұл құрылғыларға әдеттегі кірісті осындай және тіпті қажет етуі мүмкін.

Шолу

Ымды тану ерекшеліктері:

  • Дәлірек
  • Жоғары тұрақтылық
  • Құрылғының құлпын ашу үшін уақытты үнемдеу

Ағымдағы қимылдарды танудың негізгі қолданылу салалары[қашан? ] сценарий:

Қимылдарды тану келесі тәсілдермен жүргізілуі мүмкін компьютерлік көру және кескінді өңдеу.[5]

Әдебиеттерге адамның немесе жалпы адамның қимылдарын түсіру бойынша компьютерлік көру саласындағы тұрақты жұмыстар кіреді қалып және компьютерге қосылған камералардың қозғалысы.[6][7][8][9]

Қимылдарды тану және қаламды есептеу:Қаламды есептеу жүйенің аппараттық әсерін азайтады, сонымен қатар пернетақта мен тышқандар сияқты дәстүрлі цифрлық объектілерден тыс басқаруға болатын физикалық әлем объектілерін көбейтеді. Мұндай қондырғылар мониторларды қажет етпейтін жабдықтың жаңа спектрін қосуы мүмкін. Бұл идея голографиялық дисплей жасауға әкелуі мүмкін. Қимылдарды тану термині мәтінге енгізілмеген қолжазбалық белгілерге, мысалы, белгі қоюға қатысты тар мағынада қолданылады. графикалық планшет, мульти-сенсорлық қимылдар және тышқанмен ымдау тану. Бұл меңзердің меңзерімен символдарды салу арқылы компьютермен өзара әрекеттесу.[10][11][12] (қараңыз Қаламды есептеу )

Қимыл түрлері

Компьютерлік интерфейстерде ымдардың екі түрі ажыратылады:[13] Біз онлайн ымдарын қарастырамыз, оларды масштабтау және айналдыру сияқты тікелей манипуляциялар деп санауға болады. Керісінше, офлайн ым-ишаралар әдетте өзара әрекеттесу аяқталғаннан кейін өңделеді; e. ж. а-ны белсендіру үшін шеңбер салынады контекстік мәзір.

  • Офлайн қимылдары: пайдаланушының объектімен өзара әрекеттесуінен кейін өңделетін қимылдар. Мысал ретінде мәзірді іске қосуға болатын қимылдарды айтуға болады.
  • Желідегі қимылдар: Тікелей манипуляция қимылдары. Олар материалдық затты масштабтау немесе айналдыру үшін қолданылады.

Сенсорсыз интерфейс

Сенсорсыз пайдаланушы интерфейсі - ым-ишараны басқаруға қатысты дамып келе жатқан технология түрі. Сенсорсыз пайдаланушы интерфейсі (TUI) бұл пернетақтаға, тінтуірге немесе экранға тигізбестен дене қимылдары мен қимылдар арқылы компьютерге бұйрық беру процесі.[14] Қимылдарды басқарудан басқа, сенсорсыз интерфейс кеңінен танымал болып келеді, өйткені олар құрылғылармен физикалық түртусіз өзара әрекеттесу мүмкіндігін береді.

Сенсорсыз технология түрлері

Интерфейстің осы түрін қолданатын бірқатар құрылғылар бар, мысалы, смартфондар, ноутбуктар, ойындар, теледидарлар және музыкалық жабдықтар.

Сенсорсыз интерфейстің бір түрі компанияның келушілерді басқару жүйесін белсендіру үшін смартфонның bluetooth қосылымын қолданады. Бұл интерфейстің тиіп кетуіне жол бермейді COVID-19 пандемия.[15]

Кіріс құрылғылары

Адамның қимыл-қозғалысын қадағалап, оның қандай ым-ишараларды орындай алатынын анықтау қабілетіне әр түрлі құралдар арқылы қол жеткізуге болады. Кинетикалық қолданушы интерфейстері (KUI)[16] пайда болатын түрі болып табылады пайдаланушы интерфейстері пайдаланушыларға заттар мен денелердің қозғалысы арқылы есептеу құрылғыларымен өзара әрекеттесуге мүмкіндік береді. KUI мысалдары жатады қолданушының интерфейстері сияқты қозғалысты білетін ойындар Wii және Microsoft корпорациясы Kinect, және басқа интерактивті жобалар.[17]

Суретке / бейнеге негізделген ым-ишараны тану кезінде көптеген зерттеулер жүргізілгенімен, құралдар мен орталарда кейбір вариациялар бар.

  • Сымды қолғап. Бұлар магниттік немесе инерциялық қадағалау құрылғыларының көмегімен компьютердің қолдың орналасуы мен айналуы туралы ақпаратты қамтамасыз ете алады. Сонымен қатар, кейбір қолғаптар саусақтардың иілуін жоғары дәлдікпен (5-10 градус) анықтай алады, тіпті қолданушыға хаптический кері байланыс береді, бұл жанасу сезімін модельдеу. Қолмен қадағалауға арналған қолғап түріндегі алғашқы құрылғы DataGlove болды,[18] қолдың орналасуын, қимылын және саусақтың бүгілуін анықтай алатын қолғап типті құрылғы. Мұнда қолдың артқы жағында орналасқан талшықты-оптикалық кабельдер қолданылады. Жеңіл импульстар жасалады және саусақтар бүгілген кезде жарық кішкене жарықтар арқылы ағып, жоғалу тіркеліп, қолдың позасына жуықтайды.
  • Тереңдікті білетін камералар. Сияқты мамандандырылған камераларды пайдалану құрылымдалған жарық немесе ұшу уақыты камералары, біреуін жасауға болады тереңдік картасы қысқа қашықтықта камера арқылы көрінетін нәрсені және осы деректерді көрінетін нәрсені шамамен 3 рет көрсету үшін пайдаланыңыз. Бұл қолдың қимылдарын анықтау үшін тиімді болуы мүмкін, өйткені олардың мүмкіндіктері қысқа.[19]
  • Стерео-камералар. Бір-бірімен қарым-қатынасы белгілі екі камераны пайдаланып, 3d бейнесін камералардың шығуымен шамалас етуге болады. Камералардың қарым-қатынасын білу үшін a. Сияқты позициялау сілтемесін қолдануға болады лексикалық жолақ немесе инфрақызыл эмитенттер.[20] Тікелей қозғалыс өлшеуімен бірге (6D-Vision ) қимылдарды тікелей анықтауға болады.
  • Қимылға негізделген контроллерлер. Бұл контроллерлер дененің кеңеюі рөлін атқарады, сондықтан қимылдар орындалған кезде олардың кейбір қимылдары бағдарламалық қамтамасыздандырумен ыңғайлы болады. Жаңадан пайда болған ым-ишараға мысал қозғалысты түсіру қаңқа арқылы жүреді қолмен қадағалау виртуалды шындық пен толықтырылған шындық қосымшалары үшін жасалуда. Бұл технологияның мысалын трекингтік компаниялар көрсетеді uSens және Гестигон, бұл пайдаланушыларға қоршаған ортамен контроллерлерсіз өзара әрекеттесуге мүмкіндік береді.[21][22]

Мұның тағы бір мысалы тінтуірдің қимылдарын қадағалау, мұнда тышқанның қозғалысы адамның қолымен сызылған таңбамен байланысты, ол ымдарды білдіру үшін уақыт бойынша үдеудегі өзгерістерді зерттей алады.[23][24][25] Бағдарламалық жасақтама адамның дірілдеуі мен байқамай қозғалуын да өтейді.[26][27][28] Осы ақылды жарық шығаратын текшелердің сенсорлары қолдар мен саусақтарды, сондай-ақ жақын маңдағы басқа заттарды сезуге және мәліметтерді өңдеу үшін қолданыла алады. Қосымшалардың көпшілігі музыкалық және дыбыстық синтезде,[29] бірақ басқа өрістерге қолдануға болады.

  • Бір камера. Стандартты 2D камера қимылдарды тану үшін пайдаланылуы мүмкін, егер ресурстар / қоршаған орта кескінге негізделген танудың басқа түрлері үшін ыңғайлы болмайтын болса. Бұрын бір камера стерео немесе тереңдіктен хабардар камералар сияқты тиімді болмауы мүмкін деп ойлаған едік, бірақ кейбір компаниялар бұл теорияға қарсы тұр. Қолдың ым-ишараларын анықтай алатын стандартты 2D камераны қолданатын бағдарламалық жасақтамаға негізделген қимылдарды тану технологиясы.

Алгоритмдер

Қимылдарды қадағалау мен талдаудың әр түрлі тәсілдері бар және олардың негізгі сызбасы жоғарыда келтірілген. Мысалы, көлемдік модельдер мұқият талдауға қажетті ақпаратты жеткізеді, дегенмен олар есептеу қуаты жағынан өте қарқынды және нақты уақыт режимінде талдау үшін іске асырылуы үшін әрі қарайғы технологиялық дамуды қажет етеді. Екінші жағынан, сыртқы түрге негізделген модельдерді өңдеу оңайырақ, бірақ әдетте адам мен компьютердің өзара әрекеттесуі үшін қажетті жалпылық болмайды.

Кіріс деректерінің түріне байланысты ым-ишаратты түсіндіру тәсілі әр түрлі жолмен жасалуы мүмкін. Дегенмен, техникалардың көпшілігі 3D координаттар жүйесінде ұсынылған негізгі көрсеткіштерге сүйенеді. Осылардың салыстырмалы қозғалысына сүйене отырып, ым-ишаратты енгізу сапасына және алгоритм тәсіліне байланысты жоғары дәлдікпен анықтауға болады.
Дене қимылдарын түсіндіру үшін оларды жалпы қасиеттеріне қарай және қимылдар білдіретін хабарламаға сәйкес жіктеу керек. Мысалы, ым тілінде әр қимыл ым немесе сөз тіркесін білдіреді.

Кейбір әдебиеттерде ым-ишараны тануда 2 түрлі тәсіл ажыратылады: 3D моделі және сыртқы түріне негізделген.[30] Алғашқы әдіс бірнеше маңызды параметрлерді алу үшін дене бөліктерінің негізгі элементтерінің 3D ақпаратын пайдаланады, мысалы, алақанның орналасуы немесе буын бұрыштары. Екінші жағынан, сыртқы түрге негізделген жүйелер суреттерді немесе бейнелерді тікелей түсіндіру үшін қолданады.

Нақты қол (сол жақта) 3D торлы нұсқасындағы шыңдар мен сызықтардың жиынтығы ретінде түсіндіріледі (оң жақта), ал бағдарламалық жасақтама қимылдарды шығару үшін олардың өзара орналасуы мен өзара әрекеттесуін қолданады.

3D модельге негізделген алгоритмдер

3D модель тәсілі көлемді немесе қаңқа модельдерін, тіпті екеуінің тіркесімін де қолдана алады. Көлемдік тәсілдер компьютерлік анимация индустриясында және компьютерлік көру мақсатында көп қолданылды. Модельдер көбінесе NURBS немесе полигон торлары сияқты күрделі 3D беттерінен жасалады.

Бұл әдістің жетіспеушілігі мынада: ол өте көп есептеуді қажет етеді және нақты уақыттағы жүйелерді әзірлеу керек. Қазіргі кезде қарапайым қарабайыр заттарды адамның ең маңызды дене мүшелеріне (мысалы, қолдар мен мойынға арналған цилиндрлер, басқа арналған сфералар) картаға түсіру және олардың өзара әрекеттесу тәсілдеріне талдау жасау қызықты тәсіл болады. Сонымен қатар, кейбір дерексіз құрылымдар суперквадрикалар және жалпыланған цилиндрлер дене бөліктерін жақындату үшін одан да қолайлы болуы мүмкін.

Скелеттік нұсқа (оң жақта) қолды (сол жақта) тиімді модельдейді. Мұның көлемдік нұсқаға қарағанда параметрлері азырақ және оны есептеу оңай, сондықтан оны ым-ишараны талдау жүйелеріне ыңғайлы етеді.

Қаңқаға негізделген алгоритмдер

Үш өлшемді модельдерді қарқынды өңдеудің орнына және көптеген параметрлермен жұмыс істеудің орнына түйісу бұрышының параметрлерінің оңайлатылған нұсқасын сегменттің ұзындығымен бірге пайдалануға болады. Бұл дененің қаңқалық көрінісі ретінде белгілі, мұнда адамның виртуалды қаңқасы есептеледі және дененің бөліктері белгілі бір сегменттерге түсіріледі. Мұндағы талдау осы сегменттердің орналасуы мен бағытын және олардың әрқайсысының арасындағы байланысты қолдана отырып жасалады (мысалы, буындар арасындағы бұрыш және салыстырмалы орналасу немесе бағдар)

Қаңқа модельдерін пайдаланудың артықшылығы:

  • Алгоритмдер жылдамырақ, себебі тек негізгі параметрлер талданады.
  • Үлгі дерекқорына сәйкес келетін үлгі болуы мүмкін
  • Негізгі нүктелерді пайдалану анықтау бағдарламасына дененің маңызды бөліктеріне назар аударуға мүмкіндік береді
Бұл екілік силуэт (сол жақта) немесе контурда (оң жақта) кескіндер сыртқы түрге негізделген алгоритмдер үшін әдеттегі кірісті білдіреді. Олар әр түрлі қол шаблондарымен салыстырылады, егер олар сәйкес келсе, корреспонденттің ым-ишарасы шығарылады.

Сыртқы түрге негізделген модельдер

Бұл модельдер дененің кеңістіктік көрінісін енді пайдаланбайды, өйткені олар шаблон базасын пайдаланып кескіндерден немесе бейнелерден параметрлерді алады. Кейбіреулері дененің адам бөліктерінің, әсіресе қолдың деформацияланатын 2D шаблонына негізделген. Деформацияланатын шаблондар дегеніміз - объектінің сұлбасын жақындастыру үшін интерполяция түйіндері ретінде қолданылатын объектінің контурындағы нүктелер жиынтығы. Қарапайым интерполяция функцияларының бірі сызықтық болып табылады, ол нүктелік жиынтықтардан, нүктелік өзгергіштік параметрлерінен және сыртқы деформациялаушылардан орташа пішінді орындайды. Бұл шаблонға негізделген модельдер көбінесе қолмен бақылау үшін қолданылады, бірақ қарапайым қимылдарды жіктеу үшін де қолданылуы мүмкін.

Сыртқы түрге негізделген модельдерді қолдану арқылы қимылдарды анықтаудың екінші тәсілі қимылдар шаблоны ретінде сурет ретін пайдаланады. Бұл әдістің параметрлері - бұл кескіндердің өзі немесе олардан алынған белгілі бір ерекшеліктер. Көбіне тек бір (моноскопиялық) немесе екі (стереоскопиялық) көріністер қолданылады.

Электромиографияға негізделген модельдер

Электромиография (EMG) ағзадағы бұлшықеттер тудыратын электрлік сигналдарды зерттеуге қатысты. Қолдың бұлшық еттерінен алынған мәліметтерді жіктеу арқылы әрекетті жіктеуге болады, сол арқылы ым-ишара сыртқы бағдарламалық жасақтамаға енгізіледі.[1] Тұтынушыларға арналған EMG құрылғылары қолдың немесе аяқтың жолағы сияқты инвазивті емес тәсілдерге мүмкіндік береді және bluetooth арқылы қосылады. Осыған байланысты, EMG визуалды әдістерге қарағанда артықшылығы бар, өйткені пайдаланушыға қозғалыс еркіндігін қамтамасыз ететін кіріс енгізу үшін камерамен бетпе-бет келудің қажеті жоқ.

Қиындықтар

Ымды танудың бағдарламалық жасақтамасының дәлдігі мен пайдалылығымен байланысты көптеген қиындықтар бар. Қимылдарды кескінге негізделген тану үшін қолданылатын жабдықта шектеулер бар кескін шу. Кескіндер немесе бейне тұрақты жарықта болмауы немесе сол жерде болмауы мүмкін. Фондағы элементтер немесе пайдаланушылардың ерекше ерекшеліктері тануды қиындатуы мүмкін.

Қимылдарды имиджді тануға арналған әр түрлі қондырғылар сонымен қатар технологияның жалпы қолданыстағы өміршеңдігіне проблема тудыруы мүмкін. Мысалы, бір камераға калибрленген алгоритм басқа камерада жұмыс істемеуі мүмкін. Фондық шудың мөлшері бақылауға және тануға қиындық тудырады, әсіресе окклюзия (жартылай және толық) пайда болған кезде. Сонымен қатар, фотокамерадан қашықтық, камераның ажыратымдылығы мен сапасы да тану дәлдігінің өзгеруіне әкеледі.

Адамның ым-ишараларын визуалды сенсорлар арқылы түсіру үшін компьютердің сенімді көру әдістері қажет, мысалы, қолды қадағалау және қолдың күйін тану.[31][32][33][34][35][36][37][38][39] немесе бастың қимылын, мимиканы немесе көзқарас бағытын түсіру үшін.

Әлеуметтік қабылдау

Смартфондар мен смарт-сағаттар сияқты тұтынушы мобильді құрылғыларында ым-ишара интерфейстерін қабылдаудың бір маңызды проблемасы ым-ишараттың әлеуметтік тұрғыдан қолайлы болуынан туындайды. Қимылдар көптеген жаңа форма-факторлы компьютерлерге жылдам және дәл енгізуді жеңілдете алады, бірақ олардың қабылдануы мен пайдалылығы көбінесе техникалық емес, әлеуметтік факторлармен шектеледі. Осы мақсатта ым-ишараны енгізу тәсілдерінің дизайнерлері техникалық ойларды да, қолданушылардың әр түрлі әлеуметтік жағдайда ым-ишара жасауға дайындықтарын теңестіруге ұмтылуы мүмкін.[40] Сонымен қатар, құрылғының әр түрлі аппаратурасы және сезу механизмдері әр түрлі танымал қимылдарды қолдайды.

Ұялы құрылғы

Ұялы және кішігірім форма-фактор құрылғыларындағы ымдау интерфейстері көбінесе сияқты қозғалыс датчиктерінің болуымен қамтамасыз етіледі инерциялық өлшем бірліктері (ӨИИ). Бұл құрылғыларда қимылдарды сезіну осы қозғалыс датчиктерімен таныла алатын қимылға негізделген қимылдарды орындайтын қолданушыларға негізделген. Бұл ықтимал жіңішке немесе төмен қимылмен жасалатын ым-ишара сигналын тудыруы мүмкін, өйткені оларды табиғи қозғалыстардан немесе шулардан ажырату қиынға соғуы мүмкін. Зерттеушілер ым-ишараның ыңғайлылығын зерттеу және зерттеулері барысында бар технологияға ұқсас болып көрінетін, нәзік қимылдарды қамтитын ым-ишараларды қолданушылар қабылдауы ықтимал, ал көрінетін қимылдарды таңқаларлық, орындауға ыңғайсыз, байланысқа кедергі келтіреді немесе әдеттен тыс қозғалысқа байланысты, пайдаланушылар оларды пайдаланудан бас тартуы мүмкін.[40] Мобильді құрылғы ымдарының әлеуметтік қолайлылығы ымның табиғилығына және әлеуметтік контекстке тәуелді.

Денедегі және киілетін компьютерлер

Киюге болатын компьютерлер әдетте дәстүрліден ерекшеленеді мобильді құрылғылар олардың қолданылуы мен өзара әрекеттесуі пайдаланушының денесінде болады. Бұл жағдайда ымдау интерфейстері дәстүрлі енгізу әдістеріне қарағанда ұнамды бола алады, өйткені олардың кішігірім өлшемдері көрінеді сенсорлық экрандар немесе пернетақталар аз тартымды. Соған қарамастан, олар ым-ишара өзара әрекеттесу кезінде мобильді құрылғылар сияқты көптеген әлеуметтік қабылдауға болатын кедергілерді бөліседі. Алайда, киюге болатын компьютерлерді көзден тасалау немесе басқа күнделікті заттарға біріктіру мүмкіндігі, мысалы, көйлек жағасын реттеу немесе алдыңғы шалбардың қалтасын ысқылау сияқты жалпы киімнің өзара әрекеттесуін имидж арқылы енгізуге мүмкіндік береді.[41][42] Компьютердің тозуы мүмкін өзара әрекеттесуінің маңызды құралы - бұл құрылғыны орналастыру және өзара әрекеттесу орны. Үшінші тараптың құрылғының тозуға болатын өзара әрекеттесуіне қатынасын зерттейтін зерттеу АҚШ және Оңтүстік Корея дененің әр түрлі аймақтарына байланысты ерлер мен әйелдердің тозуға болатын есептеулерін пайдаланудағы айырмашылықтарды анықтады.[42] Денедегі болжанған интерфейстердің әлеуметтік қолайлылығын зерттейтін тағы бір зерттеу ұқсас нәтижелерге қол жеткізді, екі зерттеуде де бел, шап және дененің жоғарғы бөлігін (әйелдер үшін) ең аз қолайлы, ал білек пен білек айналасындағы аймақтарды ең қолайлы деп таңбалаған.[43]

Қоғамдық қондырғылар

Қоғамдық қондырғылар мысалы, интерактивті көпшілікке арналған дисплейлер ақпаратқа қол жеткізуге және мұражай, галереялар мен театрлар сияқты жалпыға қол жетімді жерлерде интерактивті медианы көрсетуге мүмкіндік береді.[44] Сенсорлық экрандар жалпыға қол жетімді дисплейлер үшін енгізудің жиі түрі болса, ым-ишарат интерфейстері гигиенаны жақсарту, арақашықтықтан өзара әрекеттесу, ашылатын қабілетін жақсарту сияқты қосымша артықшылықтар береді және орындаушылық өзара әрекеттесуді жақсарта алады.[41] Қоғамдық дисплейлермен ыммен өзара әрекеттесудің маңызды мәселесі - көрермен аудиториясының ықтималдығы немесе күтуі.[44]

«Горилла қолы»

«Горилла қолы» тігінен бағытталған сенсорлық экранды немесе жарық қаламды қолданудың жанама әсері болды. Ұзақ пайдалану кезеңінде пайдаланушылардың қолдары шаршауды және / немесе ыңғайсыздықты сезіне бастады. Бұл әсер сенсорлы экран енгізуінің төмендеуіне ықпал етті, 1980 жылдары танымал болғанына қарамастан.[45][46]

Қолдың шаршауын және горилла қолының жанама әсерін өлшеу үшін зерттеушілер Consumed Endurance деп аталатын әдістемені жасады.[47][48]

Сондай-ақ қараңыз

Әдебиеттер тізімі

  1. ^ а б Кобылярз, Джонатан; Берд, Джордан Дж .; Фариа, Диего Р .; Рибейро, Эдуардо Паренте; Ekárt, Anikó (2020-03-07). «Бас бармақ, бас бармақ: индуктивті және бақыланатын трансдуктивті трансферті оқыту арқылы нақты уақыттағы EMG классификациясы арқылы робот-адам-роботтың өзара әрекеттесуі». Ambient Intelligence және Humanized Computing журналы. «Springer Science and Business Media» жауапкершілігі шектеулі серіктестігі. дои:10.1007 / s12652-020-01852-z. ISSN  1868-5137.
  2. ^ Матиас Рехм, Николаус Би, Элизабет Андре, Египеттік - акселерометр негізіндегі ым-ишараны мәдениеттің ерекше өзара әрекеттесуі сияқты тану, Британдық компьютер қоғамы, 2007 ж
  3. ^ «Patent Landscape Report PatSeer Pro қол қимылын тану». PatSeer. Алынған 2017-11-02.
  4. ^ Чай, Сицзюань және т.б. «Қимылмен ымдау тілін тану және аудару. «AFGR-дегі IEEE конф.. 655-том. 2013 ж.
  5. ^ Султана А, Раджапусфа Т (2012), «SVM жіктеуішін қолдана отырып, алфавиттік қол қимылдары үшін көріністі ым-ишара арқылы тану», Халықаралық компьютерлік ғылымдар журналы және инженерлік технологиялар (IJCSET)., 2012 ж
  6. ^ Павлович, В., Шарма, Р. және Хуанг, Т. (1997), «Адам мен компьютердің өзара әрекеттесуіндегі қол қимылдарын визуалды түсіндіру: шолу», Үлгіні талдау және машиналық интеллект бойынша IEEE транзакциялары, шілде, 1997 ж., Т. 19 (7), 677 -695 б.
  7. ^ Р. Киполла және А. Пентланд, Адам мен машинаның өзара әрекеттесуіне арналған компьютерлік пайым, Кембридж университетінің баспасы, 1998, ISBN  978-0-521-62253-0
  8. ^ Ин Ву және Томас С. Хуанг,«Көруді ым-ишара арқылы тану: шолу» Мұрағатталды 2011-08-25 Wayback Machine, In: Адам мен компьютердің өзара іс-қимылындағы ымға негізделген байланыс, Информатикадағы Springer дәрістерінің 1739 томы, 103-115 беттер, 1999, ISBN  978-3-540-66935-7, дои:10.1007/3-540-46616-9
  9. ^ Алехандро Хаймс және Нику Себе,Адам мен компьютердің мультимодальдық өзара әрекеті: Сауалнама Мұрағатталды 2011-06-06 сағ Wayback Machine, Компьютерлік көзқарас және бейнені түсіну 108-том, 1-2 шығарылымдар, қазан-қараша 2007 ж., 116-134 беттер Адам мен компьютердің өзара әрекеттесуі үшін көзқарас туралы арнайы шығарылым, дои:10.1016 / j.cviu.2006.10.019
  10. ^ Допертоук, Олег; «Қолжазбаларды тану», gamedev.net, 9 қаңтар 2004 ж
  11. ^ Чен, Шидзи; «Қимылдарды тану әдістері қолжазбаны тануда қолдану», Қолжазбаны танудағы шекаралар 142-147 қараша 2010 ж
  12. ^ Баладжи, Р; Дипу, V; Мадхванат, Шриганеш; Прабхакаран, Джаясри «Қимыл пернетақтасы үшін ым-ишараны тану» Мұрағатталды 2008-09-06 ж Wayback Machine, Hewlett-Packard зертханалары
  13. ^ Дитрих Каммер, Мэнди Кек, Георг Фрейтаг, Маркус Ваккер, Таксономия және мульти-сенсорлық негіздерге шолу: архитектура, қолдану саласы және ерекшеліктері Мұрағатталды 2011-01-25 сағ Wayback Machine
  14. ^ «ДК журналының энциклопедиясынан пайдаланушының интерфейсінің анықтамасы». pcmag.com. Алынған 2017-07-28.
  15. ^ «COVID 19 кірушілердің кіру бағдарламаларымен жұмыс істеу тәсілін қалай өзгерте алады». 22 мамыр 2020.
  16. ^ В.Паллотта; П.Брюггер; B. Hirsbrunner (ақпан 2008). «Кинетикалық қолданушы интерфейстері: мобильді кеңейтілген есептеу жүйелерімен физикалық өзара әрекеттесу». Барлық жерде қолданылатын есептеу техникасының жетістіктері: болашақ парадигмалар мен бағыттар. IGI Publishing.
  17. ^ С.Бенфорд; Х.Шнадельбах; Б.Колева; Б.Гэвер; А.Шмидт; A. Boucher; А.Стид; Р. Анастаси; C. Гринхалг; Т.Родден; Х.Геллерсен (2003). «Сезімтал, сезімтал және қалаулы: физикалық интерфейстерді жобалауға арналған негіз» (PDF). CiteSeerX  10.1.1.190.2504. Архивтелген түпнұсқа (PDF) 2006 жылдың 26 ​​қаңтарында. Журналға сілтеме жасау қажет | журнал = (Көмектесіңдер)
  18. ^ Томас Г.Зиммерман, Джарон Ланье, Чак Бланчард, Стив Брайсон және Янг Гарвилл. http://portal.acm.org. "ҚОЛ ҚЫЗЫҒЫ ИНТЕРФЕС ҚҰРЫЛҒЫСЫ." http://portal.acm.org.
  19. ^ Ян Лю, Юндэ Цзя, Қолмен қадағалап, ым-ишараны киюге болатын визуалды интерфейстер мен оның қосымшалары үшін сенімді әдіс, Үшінші Халықаралық сурет және графика конференциясының материалдары (ICIG’04), 2004 ж
  20. ^ Куэ-Бум Ли, Джунг-Хён Ким, Кванг-Сеок Хонг, PDA негізінде көпмодальды ойын интерфейсін енгізу, Бағдарламалық қамтамасыз етуді зерттеу, басқару және қолдану бойынша бесінші халықаралық конференция, 2007 ж
  21. ^ «Gestigon қимылдарын бақылау - TechCrunch бұзылуы». TechCrunch. Алынған 11 қазан 2016.
  22. ^ Матни, Лукас. «uSens мобильді VR үшін бай тәжірибе ұсынуға бағытталған жаңа бақылау датчиктерін ұсынады». TechCrunch. Алынған 29 тамыз 2016.
  23. ^ Пермь-Мальместиг, Софи Сундберг, SignWiiver - ымдау тілі технологиясын жүзеге асыру Мұрағатталды 2008-12-25 Wayback Machine
  24. ^ Томас Шломер, Бенджамин Попингпа, Нильс Хенце, Сюзанн Болл, Wii контроллерімен қимылдарды тану, Материалдық және ендірілген өзара әрекеттесу бойынша 2-ші халықаралық конференция материалдары, 2008 ж
  25. ^ AiLive Inc., LiveMove White Paper Мұрағатталды 2007-07-13 сағ Wayback Machine, 2006
  26. ^ Электрондық дизайн 8 қыркүйек, 2011. Уильям Вонг. Табиғи пайдаланушы интерфейсі сенсордың интеграциясын қолданады.
  27. ^ Cable & Satellite International Қыркүйек / қазан, 2011. Стивен Кузинс. Толқудың көрінісі.
  28. ^ TechJournal Оңтүстік 7 қаңтар, 2008 ж. Hillcrest зертханалары 25 миллион долларға бағаланады.
  29. ^ Percussa AudioCubes блогы 2012 жылғы 4 қазан. Дыбыстық синтездегі ым-ишараттық бақылау. Мұрағатталды 2015-09-10 Wayback Machine
  30. ^ Владимир И. Павлович, Раджеев Шарма, Томас С. Хуанг, Адам мен компьютердің өзара әрекеттесуіндегі қол қимылдарын визуалды түсіндіру; Шолу, IEEE транзакцияларын үлгіні талдау және машиналық интеллект, 1997 ж
  31. ^ Иван Лаптев және Тони Линдеберг «Бөлшектерді сүзуді және көп масштабты кескін ерекшеліктерінің иерархиясын қолдана отырып, көп күйлі қол модельдерін бақылау», Компьютерлік пайымдаудағы кеңістік-морфология жинағының материалдары, Информатикадағы Springer дәріс жазбаларының 2106 томы, 63-74 беттер, Ванкувер, б.з.д., 1999 ж. ISBN  978-3-540-42317-1, дои:10.1007/3-540-47778-0
  32. ^ фон Харденберг, христиан; Берард, Франсуа (2001). «Адам мен компьютердің жалаң қолмен өзара әрекеттесуі». Пайдаланушылық интерфейстерді қабылдау бойынша 2001 жылғы семинар материалдары. ACM Халықаралық конференциясы. 15 мұрағат. Орландо, Флорида. 1-8 бет. CiteSeerX  10.1.1.23.4541.
  33. ^ Ларс Брецнер, Иван Лаптев, Тони Линдеберг «Көп масштабты түстердің ерекшеліктерін, иерархиялық модельдерді және бөлшектерді сүзуді қолдана отырып, қимылдарды тану», Бетті және қимылдарды автоматты түрде тану жөніндегі бесінші IEEE Халықаралық конференциясының материалдары, Вашингтон, Колумбия округі, АҚШ, 21-21 мамыр 2002 ж., 423-428 беттер. ISBN  0-7695-1602-5, дои:10.1109 / AFGR.2002.1004190
  34. ^ Домитилла Дель Векчио, Ричард М.Мюррей Пьетро Перона, «Суреттер салу кезінде адам қозғалысының динамикаға негізделген примитивтерге ыдырауы» Мұрағатталды 2010-02-02 сағ Wayback Machine, AutomaticaT том 39, 12 шығарылым, 2003 ж. Желтоқсан, 2085–2098 беттер, дои:10.1016 / S0005-1098 (03) 00250-4.
  35. ^ Томас Б. Моеслунд және Лау Норгард, «Адамның компьютерлік интерфейстерінде қолданылатын қол қимылдарына қысқаша шолу» Мұрағатталды 2011-07-19 сағ Wayback Machine, Техникалық есеп: CVMT 03-02, ISSN  1601-3646, Компьютерлік көру және медиа технологиялар зертханасы, Дания, Ольборг университеті.
  36. ^ М.Кольш және М.Түрк «Функциялардың отары бар жылдамдықты 2D қолмен қадағалау және көп нүктелі интеграция» Мұрағатталды 2008-08-21 Wayback Machine, CVPRW '04. Компьютерлік көзқарас және үлгіні тану бойынша семинар, 2004 ж., 27 мамыр - 2 маусым, дои:10.1109 / CVPR.2004.71
  37. ^ Ся Лю Фуджимура, К., «Тереңдіктегі деректерді қолдана отырып, ым-ишараны тану», IEEE Алтыншы Халықаралық Конференциясының материалдары, бет пен қимылды автоматты түрде тану, 2004 ж. 17-19 мамыр, 529- 534 беттер, ISBN  0-7695-2122-3, дои:10.1109 / AFGR.2004.1301587.
  38. ^ Стенгер Б, Таянантан А, Торр PH, Cipolla R: «Иерархиялық Байес сүзгісін қолданып қолмен бақылау», IEEE транзакциялары IEEE транзакциялары бойынша өрнекті талдау және машиналық интеллект, 28 (9): 1372-84, қыркүйек 2006 ж.
  39. ^ A Erol, G Bebis, M Nicolescu, RD Boyle, X Twombly, «Көріністі қолмен позаны бағалау: шолу», Компьютерлік көзқарас және бейнені түсіну 108-том, 1-2 шығарылымдар, 2007 ж. Қазан-қараша, 52-73 беттер Адам мен компьютердің өзара әрекеттесуі үшін көзқарас туралы арнайы шығарылым, дои:10.1016 / j.cviu.2006.10.012.
  40. ^ а б Рико, Джули; Брюстер, Стивен (2010). «Мобильді интерфейстерге арналған ым-ишаралар: әлеуметтік қабылдауды бағалау». Есептеу жүйесіндегі адам факторлары туралы SIGCHI конференциясының материалдары. CHI '10. Нью-Йорк, Нью-Йорк, АҚШ: ACM: 887–896. дои:10.1145/1753326.1753458. ISBN  9781605589299. S2CID  16118067.
  41. ^ а б Уолтер, Роберт; Bailly, Gilles; Мюллер, Йорг (2013). «StrikeAPose: ашық дисплейлердегі әуе қимылдарын анықтау». Ереуіл. Есептеу жүйелеріндегі адам факторлары жөніндегі SIGCHI конференциясының материалдары - CHI '13. Нью-Йорк, Нью-Йорк, АҚШ: ACM Press. 841–850 бб. дои:10.1145/2470654.2470774. ISBN  9781450318990. S2CID  2041073.
  42. ^ а б Профита, Галлей П.; Клаусон, Джеймс; Джилиланд, Скотт; Зиглер, Клинт; Starner, Thad; Буд, Джим; До, Эллен И-Луен (2013). «Мені білегіме тигізетіндігіңді ескерме: көпшілік алдында дененің технологиясымен өзара әрекеттесу туралы мысал». 2013 жылы киілетін компьютерлер туралы халықаралық симпозиум материалдары. ISWC '13. Нью-Йорк, Нью-Йорк, АҚШ: ACM: 89–96. дои:10.1145/2493988.2494331. ISBN  9781450321273. S2CID  3236927.
  43. ^ Харрисон, Крис; Faste, Haakon (2014). «Орналасқан интерфейстің орналасуы мен жанасуының салдары». Интерактивті жүйелерді жобалау бойынша 2014 конференция материалдары. DIS '14. Нью-Йорк, Нью-Йорк, АҚШ: ACM: 543–552. дои:10.1145/2598510.2598587. ISBN  9781450329026. S2CID  1121501.
  44. ^ а б Ривз, Стюарт; Бенфорд, Стив; О'Мэлли, Клэр; Фрейзер, Майк (2005). «Көрермендер тәжірибесін жобалау» (PDF). Есептеу жүйелеріндегі адам факторлары туралы SIGCHI конференциясының материалдары - CHI '05. Нью-Йорк, Нью-Йорк, АҚШ: ACM Press: 741. дои:10.1145/1054972.1055074. ISBN  978-1581139983. S2CID  5739231.
  45. ^ Руперт Гудвинс. «Windows 7? Онда қол жоқ». ZDNet.
  46. ^ «горилла қолы». catb.org.
  47. ^ Hincapié-Ramos, JD, Guo, X., Moghadasian, P. and Irani. P. 2014. «Тұтынылатын төзімділік: ауадағы өзара әрекеттесудің шаршауын анықтайтын метрика». Есептеу жүйелеріндегі адам факторлары (CHI '14) бойынша 32-ші ACM конференциясының материалдары. ACM, Нью-Йорк, Нью-Йорк, АҚШ, 1063–1072. DOI = 10.1145 / 2556288.2557130
  48. ^ Hincapié-Ramos, JD, Guo, X. және Irani, P. 2014. «Тұтынылатын жұмыс үстелі: ауадағы өзара әрекеттесу кезінде қолдың шаршауын бағалау құралы». Интерактивті жүйелерді жобалау бойынша 2014 серіктес басылымның еңбектерінде (DIS Companion '14). ACM, Нью-Йорк, Нью-Йорк, АҚШ, 109-112. DOI = 10.1145 / 2598784.2602795

Сыртқы сілтемелер