일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- 조현병
- 우한
- Bolton
- everybody wants you
- red hearse
- 어서와한국은처음이지
- 전염병
- 봉준호감독통역
- 웨일즈
- cnn
- parasite
- 코로나
- 필리핀사망
- 우한 코로나
- 정은경 본부장님
- 창궐
- 봉준호감독통역사
- 우한코로나바이러스
- 미중
- 중국외교부
- 우한코로나
- wuhan
- sharonchoi
- 코로나바이러스
- 최성재
- 코로나19
- 진짜영웅
- 치앙마이
- 신종코로나
- 확진자수
- Today
- Total
목록개발노트 (96)
오지's blog
for table_name in table_list: tbl = pd.read_sql_query(f"SELECT * FROM {table_name}", con=conn) tbl.to_csv(f'{file_path}/{table_name}.csv', index=False, header=True, encoding='utf-8') 다음과 같이 해당 db에서 table전체를 select하고 csv로 변경하는데 문제는 이때 한글이 깨진다. 이런 경우, encoding값을 utf-8이 아닌 utf-8-sig로 변경하자. for table_name in table_list: tbl = pd.read_sql_query(f"SELECT * FROM {table_name}", con=conn) tbl.to_csv(f'{f..
url = 'https://www.google.com/' chrome_options = webdriver.ChromeOptions() prefs = {'download.default_directory': download_folder_fullpath} chrome_options.add_experimental_option('prefs',prefs) chrome_options.headless=True driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options) driver.get(url) 위 코드에서 중요한 것은 prefs = {'download.default_directory': downlo..
그대로 코드로 옮긴다. 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. if not os.path.exists(os.path.join(os.getcwd(), "downloads")) 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. os.makedirs(os.path.join(os.getcwd(), "downloads")) def set_downloads_folder(): downloads_folder = os.path.join(os.getcwd(), "downloads") if not os.path.exists(downloads_folder): os.makedirs(downloads_folder) return downloads..
RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography
remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information. fatal: Authentication failed for 'https://github.com/username/name.git/' 맥을 초기화 하고 처음 나의 깃의 데이터를 다운받으려고 clone을 하는데 분명히 로그인 할때의 id와 pw를 입력했는데 인증 실패라고 나온다..
airflow.cfg에서 endpoint_url, base_url의 주소를 변경해야 함
https://pythonspeed.com/articles/pandas-sql-chunking/
airflow.exceptions.AirflowException: Dag 'airflow_sql_etl' could not be found; either it does not exist or it failed to parse. 다음과 같이 dag id가 맞는데 해당 dag id를 찾을수 없다고 에러메세지가 나온다. 원인: 코드 자체에 문제가 있어 airflow web ui로 보면 import error가 발생함을 알수 있다. 해결: task를 돌리는 코드자체의 에러를 우선 해결한다.
https://stackoverflow.com/questions/46495448/unable-to-install-mysqlclient-on-centos