데이터 파일 분할하기
G Split 다운로드 하기
글
tidytext와 KoNLP 함께 사용하기
여러분 안녕하세요? 코딩하다가 여러분도 필요할 것 같아서 공유드립니다. 최근 Julia Silge가 내놓은 tidytext가 선풍적인 인기를 끌고 있습니다. LSTM을 사용하는 사람에게는 거의 필수품이 되고 있습니다. UT Austin 출신의 닥터 Silge의 노력으로 tidyr과 tibble 계열의 기술들이 새롭게 가치평가 받고 있다고 봅니다. 문제는... 한글 처리는 전혀 안되기 때문에... 그래도 우리에게는 koNLP가 있습니다. 오늘은 koNLP, stringr과 함께 tidytext를 함께 사용하는 방법에 대해서 소개 드리겠습니다. library(tidytext) library(dplyr) library(KoNLP) library(stringr) 필요한 것들을 다 불러왔네요. 그럼 분석할 대상을 좀 보죠. temp.text=tibble(lineid=1:3, text=c(" 한국 ( 韓國 ), 조선 ( 朝鮮 ), 또는 코리아 (Korea) 는 동아시아에 위치한 지역 또는 헌법상의 국가로 , 현대사에서는 한반도의 대한민국과 조선민주주의인민공화국을 통틀어 이르는 말이다 .", " 근현대사에서 한국은 고종이 수립한 대한제국을 일컫는 말이었다 .", " 넓은 의미로 한국은 고조선 이후 한반도에서 설립된 여러 한민족의 국가를 통칭하는 말이다 . 한국의 역사를 한국사라고 한다 ." temp.text를 분석하겠습니다. 몇 가지 stopping word 처리를 위한 데이터를 만들어보겠습니다. stopping_ko_end=regex(" 입니다 $| 이다 $") stopping_ko=tibble(word=c(' 이 ',' 가 ',' 은 ',' 는 ')) 이제, temp=temp.t...
행과 열을 결합하기
R에서 행이나 열을 결합하는 방법은? > library(dplyr) 이제 열은 동일한 두 개의 객체 A와 B가 있다고 합시다. 이들을 합치려면? > C<-bind_rows(A,B) 만약, 열이 다르고 행의 길이는 같은 A, B를 합치려면? > C<-bind_cols(A,B) 특히 bind_cols()는 데이터 정리할 때 자주 쓰는 편입니다. 꼭 알아두세요.
Notepad++ 팁 / line break
텍스트 마이닝을 할 때, 라인별로 데이터를 입력해야 할 때가 있다. 이때 적당한 길이로 라인을 끊어 줘야 한다. Ctrl+H 정규식 체크 Find: (?<=.{60})\s Replace: $0\n 60이라는 숫자를 바꾸면 길이를 적당히 조절할 수 있다.
xlwings tutorial - 데이터 계산하여 붙여 넣기
xlwings View PDF File XLWings 사용하기 ¶ xlwings로 Excel 데이터 열어서 계산하기 In [ ]: #Pokemon.xlsx #xlwings를 열겠습니다. import xlwings as xw #pandas를 가져옵니다. import pandas as pd #numpy를 가져옵니다. import numpy as np In [ ]: #active sheet를 가져옵니다. sht = xw . sheets . active  In [ ]: #active sheet의 전체 데이터를 가져옵니다. #header가 있고 index가 없는 데이터이기 때문에 index=False로 설정합니다. #만약 header도 없으면 header=False로 합니다. df = sht [ 0 , 0 ] . options ( pd . DataFrame , expand = 'table' , index = False ) . value In [25]: #컬럼 이름을 확인해보겠습니다. df . columns Out[25]: Index(['#', 'Name', 'Type', 'Total', 'HP', 'Attack', 'Defense', 'Special Attack', 'Special Defense', 'Speed', 'AD_ratio', 'AD_type'], dtype='obje...