오지's blog

FILE_NAME = os.path.join(set_downloads_folder("ga"), os.listdir(set_downloads_folder("ga"))[0]) for SHEET in LIST_SHEET: DF_sheet = pd.read_excel(FILE_NAME, sheet_name=SHEET, engine='openpyxl') 위와 같은 코드에서 read_excel함수를 통해 excel파일을 열려고 했다. 분명히 로컬에서 잘돌아가는데 왜 서버에서는 안돌아갈까.. openpyxl을 버전을 바꾸어보라고 하여 지우고 다시 깔아도 그대로였다. 아래 스택오버플로우에서 보면 "It's because you created empty .xlsx with no metadata which is an em..

네이버 스마트 스토어 크롤러를 개발하기 위해 날짜 선택을 하는데 무적 xpath로 접근하면 unable to locate라는 에러가 발생한다. 분명 소스 코드에는 해당 xpath가 있는데 에러가 발생한다.. 이유인즉슨, 접근하려고 하는 코드가 iframe으로 묶여 있으면 iframe에 먼저 접근한후 해당 xpath로 접근하면 된다. 다음코드를 xpath접근전 붙여 넣으면 해결된다. '//*[@id="__delegate"]' 와 같은 xpath는 사이트에 맞게 수정하면 된다. iframe = driver.find_element(By.XPATH, '//*[@id="__delegate"]') driver.switch_to.frame(iframe)

기존의 db에서 update 를 하려고 했을때, delete를 하려고 하면 건건이 지워야 했다. 지워야할 데이터가 많으면 약 5만건의 경우 경험상 7시간 정도 소요되었다. 이때를 대비하여 DELETE FROM ES_MEMBERCOUPON AS T1 INNER JOIN USING ES_MEMBERCOUPON_TEMP AS T2 WHERE T1.MEMBERNO == T2.MEMBERNO 이렇게 key만 존재하는 temp테이블을 만들고 DELETE문에 JOIN을 함께 사용하여 지운다.

mysql의 소스에서 snowflake의 target으로 데이터를 가져와 적재는 하는데 target에 그 해당날짜에 있는 데이터는 snowflake client를 통해서 삭제 하고 mysql의 데이터를 가져와 적재하였다. 그런데 아래와 같이 MySQL server has gone away (ConnectionResetError(104, 'Connection reset by peer')) sqlalchemy.exc.OperationalError: (pymysql.err.OperationalError) (2006, "MySQL server has gone away (ConnectionResetError(10054, '현재 연결은 원격 호스트에 의해 강제로 끊겼습니다', None, 10054, None))")..

잠시 여의도로 파견나왔다. 그런데 한강뷰가 너무 멋있다. 기록은 남겨야 겠다. @2022.06.07 비가오기전 구름이 가득낀 한강뷰