오지's blog

Worksheet index 0 is invalid, 0 worksheets found 혹은 openpyxl AttributeError: 'NoneType' object has no attribute 'rows' 에러가 발생한다. 분명히 xlsx파일이고 sheet가 존재한다. 왜일까? 알고보니 맥북이나 윈도우컴에서 Excel Workbook이 아닌 Strict Open XML Spreadsheet xlsx로 저장했기 때문이다. (O) (X)

brew install freetds openssl export LDFLAGS="-L/opt/homebrew/opt/freetds/lib -L/opt/homebrew/opt/openssl@3/lib" export CFLAGS="-I/opt/homebrew/opt/freetds/include" export CPPFLAGS="-I/opt/homebrew/opt/openssl@3/include" python -m pip install pymssql 참고 https://github.com/pymssql/pymssql/issues/727 Can not install on M1 Device · Issue #727 · pymssql/pymssql Describe the bug Can not install on M1 ..

FILE_NAME = os.path.join(set_downloads_folder("ga"), os.listdir(set_downloads_folder("ga"))[0]) for SHEET in LIST_SHEET: DF_sheet = pd.read_excel(FILE_NAME, sheet_name=SHEET, engine='openpyxl') 위와 같은 코드에서 read_excel함수를 통해 excel파일을 열려고 했다. 분명히 로컬에서 잘돌아가는데 왜 서버에서는 안돌아갈까.. openpyxl을 버전을 바꾸어보라고 하여 지우고 다시 깔아도 그대로였다. 아래 스택오버플로우에서 보면 "It's because you created empty .xlsx with no metadata which is an em..

네이버 스마트 스토어 크롤러를 개발하기 위해 날짜 선택을 하는데 무적 xpath로 접근하면 unable to locate라는 에러가 발생한다. 분명 소스 코드에는 해당 xpath가 있는데 에러가 발생한다.. 이유인즉슨, 접근하려고 하는 코드가 iframe으로 묶여 있으면 iframe에 먼저 접근한후 해당 xpath로 접근하면 된다. 다음코드를 xpath접근전 붙여 넣으면 해결된다. '//*[@id="__delegate"]' 와 같은 xpath는 사이트에 맞게 수정하면 된다. iframe = driver.find_element(By.XPATH, '//*[@id="__delegate"]') driver.switch_to.frame(iframe)

기존의 db에서 update 를 하려고 했을때, delete를 하려고 하면 건건이 지워야 했다. 지워야할 데이터가 많으면 약 5만건의 경우 경험상 7시간 정도 소요되었다. 이때를 대비하여 DELETE FROM ES_MEMBERCOUPON AS T1 INNER JOIN USING ES_MEMBERCOUPON_TEMP AS T2 WHERE T1.MEMBERNO == T2.MEMBERNO 이렇게 key만 존재하는 temp테이블을 만들고 DELETE문에 JOIN을 함께 사용하여 지운다.

mysql의 소스에서 snowflake의 target으로 데이터를 가져와 적재는 하는데 target에 그 해당날짜에 있는 데이터는 snowflake client를 통해서 삭제 하고 mysql의 데이터를 가져와 적재하였다. 그런데 아래와 같이 MySQL server has gone away (ConnectionResetError(104, 'Connection reset by peer')) sqlalchemy.exc.OperationalError: (pymysql.err.OperationalError) (2006, "MySQL server has gone away (ConnectionResetError(10054, '현재 연결은 원격 호스트에 의해 강제로 끊겼습니다', None, 10054, None))")..

에러메세지: 100096 (22007): Can't parse 'y' as timestamp with format 'AUTO' 에러 발생 원인과 해결책 관련 에러 ValueError: unsupported format character 'Y' (0x59) at index 1530 파이썬에서는 %를 %%로 묶어야 문자열 %으로 인식한다.

Numeric value 'referral' is not recognized 정확하게는 다음과 같이 에러가 발생했다. 분명히 varchar값인데 숫자값이라며 값을 인지하지 못하여 넣을수 없다고 한다. SELECT T.$1, T.$2, T.$3, T.$4, T.$5, T.$6, T.$7 from @M/220509/ga/SOCIAL_MEDIUM.csv (FILE_FORMAT=>'O_ga_DPN_SOCIAL_MEDIUM') as T; insert를 하면 error가 발생하기 때문에 select문을 통해 우선 데이터를 조회해보았다. describe table table_name;의 쿼리로 6번째 컬럼의 type을 조사하니 number type이었다. 컬럼 순서가 바뀌면서 number타입의 데이터통에 varcha..

from cloudpathlib import CloudPath, S3Client client = S3Client(aws_access_key_id = '', aws_secret_access_key = '') cp = client.CloudPath("s3://bucket_name") cp.download_to("./") s3의 특정 버킷내 파일을 모두 다운로드 하는 방법은 awscli를 이용하는 방법, 클릭해서 모두 다운로드 하는 방법, boto3 라이브러리를 사용하는 방법이 있다. 이중에서 boto3의 wrapup클래스인 cloudpathlib을 이용하여 다운로드 할수 있다. 매우 간단

어이 없지만 .. 해결은 했다. 역시나 stackoverflow가 해결해주었다. 문제는 java_home의 path문제 였다.... 허무하다.이것때문에 하루를 꼬박 고민을 했을까? Reference. https://stackoverflow.com/questions/49340941/the-system-cannot-find-the-path-specified-error-while-running-pyspark The system cannot find the path specified error while running pyspark I just downloaded spark-2.3.0-bin-hadoop2.7.tgz. After downloading I followed the steps mentioned her..