Бет галлюцинациясы - Face hallucination

Бет галлюцинациясы кез келгеніне сілтеме жасайды супершешім бетке арнайы қолданылатын техника. Мұнда шулы немесе төмен ажыратымдылықтағы суреттерді қабылдайтын және оларды типтік бет ерекшеліктері туралы білімді пайдалана отырып, оларды жоғары ажыратымдылыққа айналдыратын әдістер бар. Оны қолдануға болады бетті тану жүйелері беттерді тезірек және тиімді анықтау үшін.Бетті тану жүйелеріндегі ықтимал қосымшалардың арқасында бет галлюцинациясы зерттеудің белсенді бағытына айналды.

Бет галлюцинациясы мен супер-ажыратымдылық арасындағы айырмашылықтар

Кескін супершешім - бұл төмен ажыратымдылықтағы кескіндер жиынтығының көмегімен кескіннің ажыратымдылығын күшейтетін әдістер класы. Екі техниканың басты айырмашылығы - бет галлюцинациясы - бұл бет бейнелері үшін супер-ажыратымдылық және әрқашан бет-әлпеттің домендік тұжырымдамасына берік үйлесімді типтік бет-бейнелерді қолданады.

Іс-шаралар

128x96 пикселді өлшегенде кескін жоғары ажыратымдылық болып саналады.[дәйексөз қажет ] Демек, бет галлюцинациясының мақсаты - енгізілген кескінді осы пикселдер санына жеткізу. Кіріс кескінінің ең көп таралған мәндері әдетте 32х24 пиксель немесе 16х12 пиксель болып табылады.[дәйексөз қажет ]

Сонымен, бет галлюцинациясындағы қиындық - беттерді туралаудың қиындығы. Алынған тест үлгісі мен жаттығу үлгілері арасында сәйкестендіру үшін көптеген әдістер қажет. Қате туралаудың шамалы мөлшері де әдіс пен нәтижені нашарлатуы мүмкін.

Алгоритм

Соңғы екі онжылдықта осы техниканы жүзеге асыратын көптеген нақты галлюцинация алгоритмдері туралы хабарлады. Қолданыстағы галлюцинация әдістері үлкен жетістіктерге жеткенімен, әлі де жақсартуға мүмкіндік бар.

Жалпы алгоритмдер әдетте екі әрекетті орындайды: бірінші қадам ықтималдық әдісін қолдана отырып, тұлғаның сипаттамаларын сақтайтын ғаламдық бет бейнесін жасайды. максимум - постериори (Карта). Екінші қадам бірінші қадамның нәтижесін өтеу үшін қалдық кескін шығарады. Сонымен қатар, барлық алгоритмдер жоғары және төмен ажыратымдылықтағы жаттығулар суреттерінің жиынтығына негізделген, олар бет суреттерін синтездеуге супер ажыратымдылық техникасын енгізеді.

Кез-келген галлюцинация алгоритмі үш шектеулерге негізделуі керек:

Деректерді шектеу

Шығарылатын кескін түпнұсқаға тегістелген немесе іріктелген кезде жақын болуы керек.

Ғаламдық шектеулер

Алынған кескін әрқашан адамның бет-әлпетіндегі барлық жалпы белгілерді қамтиды. Бет ерекшеліктері әрқашан келісімді болуы керек, бұл шектеусіз шығу тым шулы болуы мүмкін.

Жергілікті шектеулер

Шығарылатын кескінде фотореалистік жергілікті ерекшеліктермен ұқсастығы бар бет кескінінің ерекше ерекшеліктері болуы керек, бұл шектеусіз алынған кескін тым тегіс болуы мүмкін.

Әдістер

Бет галлюцинациясы әртүрлі әдістерді қолдана отырып, бет әлпетін жақсартатын кескін ажыратымдылығын арттырады.

Кескіннің ажыратымдылығын арттырудың қарапайым тәсілі - жақын интерьер, билинярлы және кубтық сплайн интерполяциясының варианттары сияқты алгоритмдермен кіретін кескіндердің пиксель қарқындылығын арттыратын тікелей интерполяция. Интерполяцияның тағы бір тәсілі - жоғары ажыратымдылықтағы жаттығу үлгілерінің жиынтығынан интерполяция жасауды және олардың төмен рұқсаты бар нұсқаларымен бірге үйрену. (pg 4 наубайшы және канад)

Алайда, нәтижелер өте нашар, өйткені процесте жаңа ақпарат қосылмайды. Сол себепті соңғы жылдары жаңа әдістер ұсынылды.

Байес теоремасына негізделген бет галлюцинациясы

Бұл әдісті Бейкер мен Канаде ұсынды,[1] бет галлюцинациясы техникасының ізашары.

Алгоритм Bayesian MAP тұжырымдамасына негізделген және мақсатты функцияны оңтайландыру үшін градиенттік түсіруді қолданады және ол жоғары жиілікті бөлшектерді ата-аналық құрылымнан жаттығу үлгілерінің көмегімен жасайды.

Үйренілген кескін модельдерін қолдана отырып, бірнеше көріністерден жоғары ажыратымдылық

Капель және Циссерман [2] бірінші болып жергілікті SR әдісін ұсынды.

Ол бет бейнесін төрт негізгі аймаққа бөлді: көз, мұрын, ауыз және щек аймақтары. Әр сала үшін ол бөлек біледі Негізгі компоненттерді талдау (PCA) негізде және аймақты бөлек қалпына келтіреді. Алайда, осы әдіс бойынша қалпына келтірілген бет кескіндері әр түрлі аймақтар арасында көрінетін артефактілерге ие.

Сирек кодтау арқылы бет галлюцинациясы

Бұл әдісті Дж.Янг мен Х.Танг ұсынған[3] және ол төмен ажыратымдылықты енгізу мәнін қабылдау арқылы жоғары ажыратымдылықты бет кескінін галлюцинациялауға негізделген. Әдіс негативті емес матрицалық факторизацияны қолдану арқылы бет ерекшеліктерін пайдаланады (NMF ) локализацияланған ішінара кеңістікті үйрену тәсілі. Бұл кіші кеңістік келбетті супер шешуге тиімді.

Беттің егжей-тегжейлі құрылымын одан әрі жақсарту үшін сирек көрініске негізделген жергілікті патч әдісін қолданыңыз.

Эгентрансформация арқылы бет галлюцинациясы

Бет бейнелерінің өзіндік беттері

Бұл әдісті Ван мен Тан ұсынған [4] және ол меншікті трансформация. Бұл әдіс шешімді әртүрлі стильдер арасындағы трансформация ретінде қарастырады және төмен ажыратымдылықты бет кескініне қолданылатын негізгі компоненттік талдауды (PCA) қолданады. «Жеке бет» санын таңдау арқылы біз бет әлпеті туралы аз ажыратымдылықтағы ақпарат көлемін шығарып, шуды алып тастай аламыз.

Өзін-өзі өзгерту алгоритмінде галлюцинирленген бет кескіні жоғары ажыратымдылықтағы жаттығулар кескіндерінің сызықтық тіркесімі арқылы синтезделеді және үйлесімділік коэффициенттері төмен ажыратымдылықты бет кескіндерінен негізгі компонент аналисис әдісін қолдана отырып шығады. Алгоритм екі бөлік арасындағы корреляцияны пайдаланып, төменгі жиіліктегі бет ақпаратынан кейбір жоғары жиілікті бет бөлшектерін шығару арқылы кескіннің ажыратымдылығын жақсартады. Бет суреттерінің құрылымы ұқсас болғандықтан, көп шешімді талдау кезінде жоғары жиілікті диапазон мен төмен жиілікті диапазон арасында қатты корреляция бар. Ажыратымдылығы жоғары бет кескіндері үшін PCA осы өзара байланысты ақпаратты аздаған негізгі компоненттерге жинай алады. Содан кейін, меншікті трансформация процесінде жоғары және төмен ажыратымдылықтағы жаттығу жұптары арасында картаға түсіру арқылы төмендегі ажыратымдылықтың негізгі компоненттерінен осы негізгі компоненттер туралы қорытынды шығаруға болады.

Екі сатылы тәсіл

Бұл әдісті К.Лю және Шум жасаған [5][6] және ол ғаламдық параметрлік және жергілікті параметрлік модельді біріктіреді. Жаһандық модель - бұл сызықтық параметрлік қорытынды, ал жергілікті модель - патчқа негізделген параметрлік емес Марков желісі.

Бірінші қадамда жоғары ажыратымдылықтағы кескін мен олардың тегістелген және іріктелген үлгілері арасындағы байланысты біліп алыңыз. Екінші қадамда беттердің жоғары жиіліктегі мазмұнын түсіру үшін параметрлік емес Марков желісі арқылы үйренілген сызықтық модельді қолданғаннан кейін түпнұсқа жоғары ажыратымдылық пен қалпына келтірілген жоғары ажыратымдылықтағы сурет арасындағы қалдықты модельдеңіз.

MCA негізіндегі бет галлюцинациясы

Бұл алгоритм тұлғаның галлюцинациясын кескіннің ыдырау мәселесі ретінде тұжырымдайды және морфологиялық компонентті талдауды ұсынады (MCA)]][7] негізделген әдіс.

Әдіс үш сатылы шеңберде ұсынылған, біріншіден, шешімі төмен кіріс суреті интерполяция арқылы таңдалған. Интерполяцияланған кескінді ғаламдық жоғары ажыратымдылықтағы суреттің суперпозициясы және «айқын емес маска» ретінде ұсынуға болады. Екінші қадамда интерполяцияланған кескіннен HR кескінінің ғаламдық жуықтамасын алу үшін MCA көмегімен интерполяцияланған кескін жаһандық жоғары ажыратымдылықтағы кескінге айналады. Сонымен, бет туралы егжей-тегжейлі ақпарат позитивті-патчты көршінің қайта құруы арқылы болжамды HT кескініне өтеледі.

Басқа әдістер

  • Тензорлық патчтың супершешімімен және қалдықтың орнын толтырумен галлюцинация.
  • Супершешім сирек ұсыну бейнебақылау үшін.
  • Позициялық патчпен галлюцинирленген бет.
  • Лауазымға негізделген.
  • Қалдықтың орнын толтыру үшін LPH супер-рұқсаты және көршіні қайта құру.

Нәтижелер

Жоғарыда келтірілген барлық әдістер өте қанағаттанарлық нәтижелерге ие және үміттерді ақтайды, сондықтан қай әдіс тиімді және қайсысы жақсы нәтиже беретінін анықтау қиын.

Алайда мынаны айтуға болады:

  • Бейкер мен Канаде әдісі бет кескінінің сипаттамаларын бұрмалай алады.
  • Ван мен Тан құрастырған әдістеменің нәтижесі қоңырау эффектісін жасай алады.

Әдебиеттер тізімі

  1. ^ Бейкер, Саймон; Канаде, Такео. «Галлюцинирленген жүздер». Алынған 18 қараша 2014. Журналға сілтеме жасау қажет | журнал = (Көмектесіңдер)
  2. ^ Капел, Д .; Зиссерман, А. (2001). «Үйренген кескін модельдерін қолдана отырып, бірнеше көріністерден супер ажыратымдылық» (PDF). Үйренілген кескін модельдерін қолдана отырып, бірнеше көріністерден супер ажыратымдылық. 2. Кауаи, Гавайи. бет.627–634. дои:10.1109 / CVPR.2001.991022. ISBN  978-0-7695-1272-3. Алынған 4 наурыз 2015.
  3. ^ Ян, Цзянчао; Тан, Хао; Маған болады ма; Хуанг, Томас. «Сирек кодтау арқылы бет галлюцинациясы» (PDF). Алынған 4 наурыз 2015. Журналға сілтеме жасау қажет | журнал = (Көмектесіңдер)
  4. ^ Сяоган Ванг пен Сяоу Тан «Эгентрансформация арқылы галлюцинациялық бет» (PDF). 2005. Алынған 17 қараша 2014.
  5. ^ C. Liu, H.Y. Шум және В.Т.Фриман «Бет галлюцинациясы: теория және практика». Қазан 2007. Алынған 20 қараша 2014.
  6. ^ C. Liu, H.Y. Шум және В.Т.Фриман «Бет галлюцинациясы: теория және практика» (PDF). Қазан 2007. Алынған 20 қараша 2014.
  7. ^ Ян Лян, Сяохуа Се, Цзян-Хуан Лай «Морфологиялық компоненттерді талдауға негізделген бет галлюцинациясы» (PDF). Қазан 2012. мұрағатталған түпнұсқа (PDF) 5 желтоқсан 2014 ж. Алынған 21 қараша 2014.

Библиография

Сыртқы сілтемелер