큰 CSV 파일을 R로 빠르게 읽기
대용량의 CSV 파일을 좀 더 빠르게 읽는 방법?
1억 줄 정도에 컬럼이 5~6개 정도면 어마어마한 용량이 된다.
csvread 패키지를 쓰면 좋은데..
> install.packages("csvread")
> library("csvread")
파일을 test.csv라고 하고,컬럼은 다음과 같다고 하자.
컬럼 1: string
컬럼 2: integer
컬럼 3: double
컬럼 4: long
컬럼 5: double
> df.raw <- csvread("test.csv",coltypes=c("string","integer","double","long","double",header=TRUE)
파라미터로
nrows=10000
이렇게 주면 상위 10000 줄만 읽는다.
1억 줄 정도에 컬럼이 5~6개 정도면 어마어마한 용량이 된다.
csvread 패키지를 쓰면 좋은데..
> install.packages("csvread")
> library("csvread")
파일을 test.csv라고 하고,컬럼은 다음과 같다고 하자.
컬럼 1: string
컬럼 2: integer
컬럼 3: double
컬럼 4: long
컬럼 5: double
> df.raw <- csvread("test.csv",coltypes=c("string","integer","double","long","double",header=TRUE)
파라미터로
nrows=10000
이렇게 주면 상위 10000 줄만 읽는다.
댓글
댓글 쓰기