VivaButton

텍스트 마이닝(Text Mining)텍스트 마이닝 기술은 자연언어처리(Natural Language Processing)기술에 기반하고 있다. 인간의 말은 각 언어별로 어휘적, 문법적독특성이 있을뿐 아니라, 그 표현의 현태가 매우 다양하고 복잡하여 일괄된 규칙으로 규정하기 힘든 경우가 많으며, 언어가 사용되는 환경에 따라 끊임없이 변화하는 특성을 지니고 있다. 인간 언어 중 문자로 표현된 언어를 컴퓨터로 분석 처리하고 그 구조와 의미를 이해하고자 하는 기술이 바로 자연언어처리 기술이다. 컴퓨터가 개발되면서부터 끊임없이 연구되어 온 분야지만, 언어가 가진 복잡성 때문에 아직도 도전적 목표가 많이 남아 있는 기술 분야로 손 꼽힌다. 텍스트 마이닝은 한마디로 비정형 텍스트 데이터에서 가치와 의미가 있는 정보를..

자연언어란?- 정보 전달의 수단- 인간 고유의 능력- 인공 언어에 대응되는 개념- 특정 집단에서 사용되는 모국어의 집합 : 한국어, 영어, 불어, 독일어, 스페인어, 일본어, 중국어 등 인공언어란?- 특정 목적을 위해 인위적으로 만든 언어- 자연어에 비해 엄격한 구문을 가짐- 형식 언어, 에스페란토어, 프로그래밍 언어 자연언어처리란?- 컴퓨터를 통해 인간의 언어를 처리하고 이용하려는 학문 분야- 인간의 언어를 이해하고, 이를 바탕으로 각종 정보처리에 적용함으로써 보다 빠르고 편리한 정보 획득- 자연언어 처리 기술의 대표적인 예로 정보검색 분야를 들수 있는데, 검색 대상 문서를 색인하는 과정에서 가장 기본적 자연어 처리 기술 중 하나인 형태소 분석기술을 대부분 적용하고 있다. 자연언어처리 응용 분야- 인간..

형태소 분석의 정의- 의미가 있는 최소의 단위(minimally meaningful unit)- 문법적, 관계적인 뜻을 나타내는 단어 또는 단어의 부분- 일정한 범위 안에서 쓰이는 낱말의 총체- 어떤 갈래의 낱말을 간단한 풀이를 붙여 차례대로 벌여 놓은 낱말의 집단 언어별 형태소 분석의 문제(예시) 영어- 사전 참조 및 품사 인식- 예-- to : 전치사, to-부정사-- study : 명사, 동사 중국어, 일본어- Word segmentation과 복합적인 문제 한국어 형태소 분석(예시) 형태소의 분리 기준형태소 사전에 수록된 어휘를 기준으로 분석사랑하다 = 사랑 + 하 + 다, 사랑하 + 다알뜰하다 = 알뜰 + 하 + 다, 알뜰하 + 다 - 애매한 경우군고구마 = 군 + 고구마산골짜기 = 산 + 골짜..