Шулы мәтін - Noisy text

Шулы мәтін кодталған көрінісінің беттік формасы арасындағы айырмашылықтары бар мәтін мәтін және мақсатты, дұрыс немесе түпнұсқа мәтін.[1] The шу байланысты болуы мүмкін типографиялық қателер немесе ауызекі сөйлеу әрқашан қатысады табиғи тіл және әдетте деректер сапасы мәтінді компьютерлермен, соның ішінде автоматты өңдеуге қол жетімді етпейтін етіп табиғи тілді өңдеу. Шу экстракция процесі арқылы да енгізілген болуы мүмкін (мысалы, транскрипция немесе OCR ) түпнұсқадан басқа ақпарат құралдарынан электрондық мәтіндер.[2]

Сияқты компьютерлік дискурстарда тілді қолдану чаттар, электрондық пошта және қысқаша хабар қызметі мәтіндер, тілдің стандартты түрінен айтарлықтай ерекшеленеді. Хабарламаның қысқа ұзындығын жеңілдетуге ұмтылыс жылдам теру және қажеттілік семантикалық осындай дискурстарда қолданылатын мәтіннің құрылымын айқындылығы, формасы.

Әр түрлі бизнес-сарапшылар бұны бағалайды құрылымданбаған мәліметтер жалпы 80% құрайды кәсіпорын туралы мәліметтер. Бұл деректердің үлкен үлесін чат транскрипттері, электрондық пошта хабарлары және басқа бейресми және жартылай ресми ішкі және сыртқы байланыстар құрайды. Әдетте мұндай мәтін адамның тұтынуына арналған, бірақ - мәліметтердің мөлшерін ескере отырып - бұл ресурстарды қолмен өңдеу және бағалау енді іс жүзінде мүмкін емес. Бұл сенімділіктің қажеттілігін тудырады мәтіндік тау-кен әдістер.[3]

Шуды азайту әдістері

Пайдалану емле тексерушілер және грамматикалық тексерушілер терілген мәтіндегі шудың мөлшерін азайта алады. Көптеген мәтіндік процессорлар оны редакциялау құралына қосыңыз. Желіде, Google іздеу пайдаланушыларға сұрауларымен қателік жіберген кезде басшылыққа алатын іздеу терминінің ұсыныс жүйесін қосады.

Сондай-ақ қараңыз

Әдебиеттер тізімі

  1. ^ Кноблок, С., Лопрести, Д., Рой, С., Субраманиам, Л.В. (2007). «Шулы мәтіндік анализ бойынша арнайы шығарылым». Халықаралық құжаттарды талдау және тану журналы. 10 (3–4): 127–128. дои:10.1007 / s10032-007-0058-9.CS1 maint: бірнеше есімдер: авторлар тізімі (сілтеме)
  2. ^ Винчарелли, А. (2005). «Шулы мәтінді санатқа бөлу». Үлгіні талдау және машиналық интеллект бойынша IEEE транзакциялары. 27 (12): 1882–1895. дои:10.1109 / TPAMI.2005.248. PMID  16355657.
  3. ^ Субраманиам, Л.В., Рой, С., Фаруки, Т.А., Неги, С. (2009). Мәтін шуының түрлерін және шулы мәтінмен жұмыс істеу техникасын зерттеу. Шуылдық құрылымдық емес мәтіндік деректерді талдау бойынша үшінші семинар (ЖӘНЕ).CS1 maint: бірнеше есімдер: авторлар тізімі (сілтеме)