오지's blog

그대로 코드로 옮긴다. 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. if not os.path.exists(os.path.join(os.getcwd(), "downloads")) 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. os.makedirs(os.path.join(os.getcwd(), "downloads")) def set_downloads_folder(): downloads_folder = os.path.join(os.getcwd(), "downloads") if not os.path.exists(downloads_folder): os.makedirs(downloads_folder) return downloads..

RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography

remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information. fatal: Authentication failed for 'https://github.com/username/name.git/' 맥을 초기화 하고 처음 나의 깃의 데이터를 다운받으려고 clone을 하는데 분명히 로그인 할때의 id와 pw를 입력했는데 인증 실패라고 나온다..

airflow.cfg에서 endpoint_url, base_url의 주소를 변경해야 함

https://pythonspeed.com/articles/pandas-sql-chunking/

airflow.exceptions.AirflowException: Dag 'airflow_sql_etl' could not be found; either it does not exist or it failed to parse. 다음과 같이 dag id가 맞는데 해당 dag id를 찾을수 없다고 에러메세지가 나온다. 원인: 코드 자체에 문제가 있어 airflow web ui로 보면 import error가 발생함을 알수 있다. 해결: task를 돌리는 코드자체의 에러를 우선 해결한다.

https://stackoverflow.com/questions/46495448/unable-to-install-mysqlclient-on-centos

kill `ps -ef | grep 프로세스이름 | awk '{print $2}'` ex. airflow관련 프로세스 죽이기 kill -9 `ps -ef|grep airflow|awk '{print $2}'`

https://medium.com/analytics-vidhya/speed-up-bulk-inserts-to-sql-db-using-pandas-and-python-61707ae41990 Speed up Bulk inserts to SQL db using Pandas and Python This article gives details about 1.different ways of writing data frames to database using pandas and pyodbc 2. How to speed up the… medium.com

\특정문자.*$ ex1. :이후의 특정문자 모두 선택 \:.*$ ex2. 세미콜론 이후의 모든 문자 \;.*$ 특정문자이전 모두선택 ^.* ex. pyc이전 모두 선택 ^.*pyc