오지's blog

ubuntu에서 selenium으로 크롤링을 돌리던중 여러 파일을 다운로드 받는데 같은 이름이면 (1), (2)이렇게 파일 이름에 추가되는 것이 아니라 같은 파일에 덮어쓰기 형식으로 되어 파일이름을 변경하는 로직이 필요하였다. 그런데 분명이 그path에 파일을 변경하는데 자꾸 notfound에러가 발생한다. 디버깅을 하고 이유를 확인하려고 해도 쉽게 되지 않는다. 구글링을 해서 찾은 결과는 notfound에러는 해당 경로에 파일이 없다는 것인데 경록을 잘못 적었거나 absolute path와 relative path를 헷갈린 경우라고 한다. 해당 글의 필자가 나의 약점을 정확하게 파악하고 잇었다. 절대경로와 상대경로를 헷갈려 했던 것이다. 또 초보티를 냈다... project_path = os.path...

USER_DEFINED_MODULE이 분명 pycharm에서 import되었는데 EC2기반의 ubuntu환경에서는 module not found에러가 발생한다. from common_libs.utils import get_downloads_folder, set_downloads_folder, json_contents ModuleNotFoundError: No module named 'common_libs' 해결책 : export PYTHONPATH="${PYTHONPATH}:/home/ubuntu/prj/" 라고 project의 상위폴더를 위와 같이 export한다. ref https://towardsdatascience.com/how-to-fix-modulenotfounderror-and-importe..

for table_name in table_list: tbl = pd.read_sql_query(f"SELECT * FROM {table_name}", con=conn) tbl.to_csv(f'{file_path}/{table_name}.csv', index=False, header=True, encoding='utf-8') 다음과 같이 해당 db에서 table전체를 select하고 csv로 변경하는데 문제는 이때 한글이 깨진다. 이런 경우, encoding값을 utf-8이 아닌 utf-8-sig로 변경하자. for table_name in table_list: tbl = pd.read_sql_query(f"SELECT * FROM {table_name}", con=conn) tbl.to_csv(f'{f..

url = 'https://www.google.com/' chrome_options = webdriver.ChromeOptions() prefs = {'download.default_directory': download_folder_fullpath} chrome_options.add_experimental_option('prefs',prefs) chrome_options.headless=True driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options) driver.get(url) 위 코드에서 중요한 것은 prefs = {'download.default_directory': downlo..

그대로 코드로 옮긴다. 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. if not os.path.exists(os.path.join(os.getcwd(), "downloads")) 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. os.makedirs(os.path.join(os.getcwd(), "downloads")) def set_downloads_folder(): downloads_folder = os.path.join(os.getcwd(), "downloads") if not os.path.exists(downloads_folder): os.makedirs(downloads_folder) return downloads..

RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography

airflow.cfg에서 endpoint_url, base_url의 주소를 변경해야 함

https://pythonspeed.com/articles/pandas-sql-chunking/

airflow.exceptions.AirflowException: Dag 'airflow_sql_etl' could not be found; either it does not exist or it failed to parse. 다음과 같이 dag id가 맞는데 해당 dag id를 찾을수 없다고 에러메세지가 나온다. 원인: 코드 자체에 문제가 있어 airflow web ui로 보면 import error가 발생함을 알수 있다. 해결: task를 돌리는 코드자체의 에러를 우선 해결한다.

https://medium.com/analytics-vidhya/speed-up-bulk-inserts-to-sql-db-using-pandas-and-python-61707ae41990 Speed up Bulk inserts to SQL db using Pandas and Python This article gives details about 1.different ways of writing data frames to database using pandas and pyodbc 2. How to speed up the… medium.com