KoNLP - 한글 자연어 처리 툴킷

R에는 {tm}이 있어서 텍스트 마이닝을 손쉽게 할 수 있다. 그렇지만 각종 처리를 위해 단어를 분절하는 일 등을 할 때는 참 어렵다. 뿐만 아니라 collocation 혹은 concordance 문제를 처리하기도 쉽지 않다.

전희원씨가 만든 KoNLP는 이러한 문제를 좀 더 잘 해결할 수 있도록 여러 함수를 제공한다. 이 패키지를 쓰려면 {rJava} 패키지가 있어야 한다. 만약 이 패키지를 제대로 설치하지 못하면 KoNLP를 사용할 수 없으니 본 블로그의 다른 포스트를 참고하여 반드시 잘 설치하자.

R> install.packages("KoNLP")
R> library(KoNLP)

메모리에 문제가 있다면 다음을 추가한다.

R> options(java.parameters = "-Xmx2G") #2GB할당

**임시 추가 2016-01-01**
ignore.case()함수가 더 이상 사용되지 않아 KoNLP의 concordance_str()함수에 오류가 발생한다. 이 문제를 직접 해결해야 예제 코드가 정상 작동된다. 일단 다음과 같이 사용자 함수를 만들어 사용하자.

concordance_str <- function (string, pattern, span = 5) 
{
    res <- str_match_all(string, regex(sprintf(".{0,%d}%s.{0,%d}", 
                                                     span, pattern, span),ignore_case=TRUE))
    return(Filter(function(x) {
        length(x) != 0
    }, res))
}
concordance_file <- function (filename, pattern, encoding = getOption("encoding"), 
          span = 5) 
{
    f = file(filename, "r", encoding = encoding)
    on.exit(close(f), add = TRUE)
    retu <- c()
    while (TRUE) {
        next_line = readLines(f, n = 1, warn = FALSE)
        if (length(next_line) == 0) {
            break
        }
        ret <- concordance_str(next_line, pattern, span)
        if (length(ret) != 0) {
            retu <- c(retu, unlist(ret))
        }
    }
    return(retu)
}


다음과 같은 test.txt 파일이 있다고 하자.

님은 갔습니다. 아아, 사랑하는 나의 님은 갔습니다.
푸른 산빛을 깨치고 단풍나무 숲을 향하여 난 작은 길을 걸어서 차마 떨치고 갔습니다.
황금의 꽃같이 굳고 빛나던 옛 맹세는 차디찬 티끌이 되어서 한숨의 미풍에 날아갔습니다.
날카로운 첫 키스의 추억은 나의 운명의 지침을 돌려 놓고 뒷걸음쳐서 사라졌습니다.
나는 향기로운 님의 말소리에 귀먹고 꽃다운 님의 얼굴에 눈멀었습니다.
사랑도 사람의 일이라 만날 때에 미리 떠날 것을 염려하고 경계하지 아니한 것은 아니지만, 이별은 뜻밖의 일이 되고 놀란 가슴은 새로운 슬픔에 터집니다.
그러나 이별은 쓸데없는 눈물의 원천을 만들고 마는 것은 스스로 사랑을 깨치는 것인 줄 아는 까닭에 걷잡을 수 없는 슬픔의 힘을 옮겨서 새 희망의 정수박이에 들어부었습니다.
우리는 만날 때에 떠날 것을 염려하는 것과 같이 떠날 때에 다시 만날 것을 믿습니다.
아아, 님은 갔지마는 나는 님을 보내지 아니하였습니다.
제 곡조를 못 이기는 사랑의 노래는 님의 침묵을 휩싸고 돕니다.



잘 아는 '님의 침묵'이다. 이 파일을 EUC-KR 인코딩으로 저장하고 Windows를 사용한다고 가정한다. Mac이나 Linux에서는 기본이 UTF-8이기 때문에 이런 식의 걱정은 별로 필요없지만... 윈도우에서는 인코딩을 항상 신경 써야 한다.

이제 다음을 실행해 보자.

R> a <- concordance_file("c:/test.txt",pattern='?에')
R> a
[1] "숨의 미풍에 날아갔습" "의 말소리에 귀먹고 "  "님의 얼굴에 눈멀었습" " 만날 때에 미리 떠"
[5] "로운 슬픔에 터집니다" "아는 까닭에 걷잡을 "  " 정수박이에 들어부었" " 만날 때에 떠날 것"
[9] " 떠날 때에 다시 만"

보다시피 어떤 문서를 읽어서 패턴에 해당되는 구절을 찾아준다. 위의 예를 보면 pattern이 정규식임을 알 수 있다. "?에"는 에가 뒤에 붙는 두 문자로 이루어진 단어를 찾으라는 의미다.

이번에는 목적어에 해당되는 단어를 포함하여 그 전후의 맥락을 알 수 있게 적당히 추려보자.

R> a <- concordance_file("d:/test.txt",pattern='을')
 [1] "푸른 산빛을 깨치고 " "풍나무 숲을 향하여 " " 작은 길을 걸어서 "  "명의 지침을 돌려 놓" " 떠날 것을 염려하고"
 [6] "물의 원천을 만들고 " "스로 사랑을 깨치는 " "닭에 걷잡을 수 없는" "슬픔의 힘을 옮겨서 " " 떠날 것을 염려하는"
[11] " 만날 것을 믿습니다" " 나는 님을 보내지 "  "님의 침묵을 휩싸고 "


어떤 색인 구절을 만들기 위해 사용되는 concordance 함수를 적절히 활용하면 문서에서 흔히 사용되는 패턴들을 효과적이고 효율적으로 파악할 수 있다.

파일에서 데이터를 가져오지 않을 때는 concordance_str() 함수를 사용한다. 방법은 concordance_file()과 동일하다.


패턴을 확인하는 좋은 방법은 '키스트로크'를 분해하는 방법이다. 일단 분해하고 나면 유사성이 높은 단어패턴을 잘 뽑을 수 있다. 예를 들어 먹고 먹다 먹어 먹지만은 모두
"ㅁ ㅓ ㄱ"이라는 패턴이 포함되어 있다.

R> convertHangulStringToJamos("스스로 사랑을 깨치는")
 [1] "ㅅㅡ"   "ㅅㅡ"   "ㄹㅗ"   " "      "ㅅㅏ"   "ㄹㅏㅇ" "ㅇㅡㄹ" " "      "ㄲㅐ"   "ㅊㅣ"   "ㄴㅡㄴ"
R> convertHangulStringToKeyStrokes("스스로 사랑을 깨치는")
 [1] "ｔｍ"   "ｔｍ"   "ｆｈ"   " "      "ｔｋ"   "ｆｋｄ" "ｄｍｆ" " "      "Ｒｏ"   "ｃｌ"   "ｓｍｓ"


이번에는 명사(noun) 어구를 다 찾아보자.

R> library(foreach)
R> poem <- readLines("d:/test.txt")
R> foreach(p=poem, .combine='c') %do% extractNoun(p)
 [1] "님"             "사랑"           "나"             "님"             "산빛을"         "단풍나무"       "숲"             "길"          
 [9] "황금"           "꽃"             "맹세"           "티끌"           "한숨"           "미풍"           "첫"             "키스"        
[17] "추억"           "나"             "운명"           "나"             "향기"           "로운"           "님"             "말소리"      
[25] "귀먹고"         "꽃"             "님"             "얼굴"           "사랑"           "사람"           "일"             "때"          
[33] "것"             "염려"           "경계"           "것"             "이별"           "뜻밖"           "일"             "가슴"        
[41] "이별"           "눈물"           "원천"           "것"             "사랑"           "것"             "줄"             "까닭"        
[49] "수"             "힘"             "희망"           "정수"           "박이"           "들어부었습니다" "우리"           "때"          
[57] "것"             "염려"           "것"             "때"             "것"             "님"             "나"             "님"          
[65] "저"             "곡조"           "사랑"           "노래"           "님"             "침묵"    

보다시피 100% 정확도를 보이지는 않는다. 다음과 같은 문제를 보자.

• 산빛을 -> 산빛
• 로운: 제외
• 귀먹고 -> 귀
• 뜻밖: 제외
• 들어부었습니다: 제외

71.4 % 정도의 정확성을 보이는 셈이다.

한글의 형태소 분석은 다음과 같이 수행할 수 있다.

R> MorphAnalyzer('스스로 사랑을 깨치는')

$스스로

[1] "스스로/mag" "스스로/npp"

$사랑을

[1] "사랑을/ncn"       "사랑/ncn+을/jco"  "사랑/ncpa+을/jco"

$깨치는

[1] "깨치/pvg+는/etm"

KoNLP 메뉴얼을 보면 한나눔 형태소 분석기를 바탕으로 한다는 점을 알 수 있다. 고맙다 KAIST! 더욱 더 자세한 내용은 다음 링크 참조: 한나눔


{KoNLP} 중에 쓸만한 것들은 이정도다. Part-of-Speech 부분은 많이 부족하다.

이에 대한 쓸만한 보완책이 없었는데 좋은 소식이 있어 첨부한다.
2014년 10월에 열린 26회 한글 및 한국어 정보처리 학술대회에서 KoNLPy가 공개되었다. 서울대학교 산업공학과의 박은정, 조성준이 작성한 Python 모듈이다.

홈페이지
학술논문

설치가 좀 까다롭다. 홈페이지에서 잘 확인하고 설치하자.

Part-of-Speech 부분에 관한 Python 예를 가져와서 보여주고 포스트를 끝내고자 한다.

>>> from konlpy.tag import Kkma
>>> from konlpy.utils import pprint
>>> kkma = Kkma()
>>> pprint(kkma.pos(u'오류보고는 실행환경, 에러메세지와함께 설명을 최대한상세히!^^'))
[(오류, NNG),
 (보고, NNG),
 (는, JX),
 (실행, NNG),
 (환경, NNG),
 (,, SP),
 (에러, NNG),
 (메세지, NNG),
 (와, JKM),
 (함께, MAG),
 (설명, NNG),
 (을, JKO),
 (최대한, NNG),
 (상세히, MAG),
 (!, SF),
 (^^, EMO)]

실행 속도는 그다지 만족스럽지 않다... 하지만 성능은 상당히 좋은데 무엇보다도 꼬꼬마, 한나눔, MeCab-ko 등 현존하는 거의 대부분의 형태소 분석기를 한 자리에서 모두 사용할 수 있다는 장점이 있다. 아직 베타 버전 단계의 물건이지만 계량을 거듭해서 반드시 더 좋아질 것이라고 믿는다.