csv파일이 너무 클 때 python 에러

아무리 쪼개도 csv파일로도 너무 긴.. 데이터가 생길 수 있다.

 

_csv.Error: field larger than field limit

 

너무 큰 csv파일을 읽으려고 시도할때 나타나는 에러.

 

import sys
import csv

csv.field_size_limit(sys.maxsize)

 

구박사에서 찾은 코드인데 csv가 읽을 수 있는 크기를 최대한으로 늘려주는 코드이다.

이 코드를 상단에 추가하면 해결

된다고 했으나..

OverflowError: Python int too large to convert to C long

 

maxmize 값이 csv.field_size_limit 함수가 처리할 수 있는 용량보다 더 크기 때문에 생기는 문제.

이 문제를 해결하기 위해서 매개변수를 아~~주 큰 값을 넣어 해결.

 

import sys
import csv

csv.field_size_limit(10**9)

자그마치 10억 ㅎㅎ

 

그럼 이만