일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
- cnn
- parasite
- 확진자수
- 창궐
- 전염병
- 최성재
- 미중
- 중국외교부
- Bolton
- 우한 코로나
- everybody wants you
- 웨일즈
- 우한
- 치앙마이
- red hearse
- 어서와한국은처음이지
- 코로나19
- 봉준호감독통역사
- 정은경 본부장님
- 우한코로나바이러스
- 신종코로나
- sharonchoi
- wuhan
- 코로나바이러스
- 봉준호감독통역
- 필리핀사망
- 코로나
- 우한코로나
- 조현병
- 진짜영웅
- Today
- Total
목록개발노트/Python (60)
오지's blog
for table_name in table_list: tbl = pd.read_sql_query(f"SELECT * FROM {table_name}", con=conn) tbl.to_csv(f'{file_path}/{table_name}.csv', index=False, header=True, encoding='utf-8') 다음과 같이 해당 db에서 table전체를 select하고 csv로 변경하는데 문제는 이때 한글이 깨진다. 이런 경우, encoding값을 utf-8이 아닌 utf-8-sig로 변경하자. for table_name in table_list: tbl = pd.read_sql_query(f"SELECT * FROM {table_name}", con=conn) tbl.to_csv(f'{f..
url = 'https://www.google.com/' chrome_options = webdriver.ChromeOptions() prefs = {'download.default_directory': download_folder_fullpath} chrome_options.add_experimental_option('prefs',prefs) chrome_options.headless=True driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options) driver.get(url) 위 코드에서 중요한 것은 prefs = {'download.default_directory': downlo..
그대로 코드로 옮긴다. 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. if not os.path.exists(os.path.join(os.getcwd(), "downloads")) 만약 생성하고자 하는 폴더가 해당 path에 없으면, 해당 path에 폴더를 생성한다. os.makedirs(os.path.join(os.getcwd(), "downloads")) def set_downloads_folder(): downloads_folder = os.path.join(os.getcwd(), "downloads") if not os.path.exists(downloads_folder): os.makedirs(downloads_folder) return downloads..
RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods pip install cryptography
airflow.cfg에서 endpoint_url, base_url의 주소를 변경해야 함
https://pythonspeed.com/articles/pandas-sql-chunking/
airflow.exceptions.AirflowException: Dag 'airflow_sql_etl' could not be found; either it does not exist or it failed to parse. 다음과 같이 dag id가 맞는데 해당 dag id를 찾을수 없다고 에러메세지가 나온다. 원인: 코드 자체에 문제가 있어 airflow web ui로 보면 import error가 발생함을 알수 있다. 해결: task를 돌리는 코드자체의 에러를 우선 해결한다.
https://medium.com/analytics-vidhya/speed-up-bulk-inserts-to-sql-db-using-pandas-and-python-61707ae41990 Speed up Bulk inserts to SQL db using Pandas and Python This article gives details about 1.different ways of writing data frames to database using pandas and pyodbc 2. How to speed up the… medium.com
if __name__ =="__main__": dict_arr={"val1":"key1", "val2":"key2"} list_dict_arr1 = [dict_arr] list_dict_arr2=list(dict_arr) for item in list_dict_arr1: print(item) for item in list_dict_arr2: print(item) 결과 {'val1': 'key1', 'val2': 'key2'} val1 val2
모든 일이 마찬가지이겠지만 처음에만 해본적이 없어 헷갈리고 해멜수 있으나 한번 해보면 아무것도 아니다. 또한 아래 python document에 잘나와 있기 때문에 그대로 따로오기만 하면 된다. 이글도 파이썬 다큐멘트를 참고하여 설명을 추가하였다. 참고싸이트 https://packaging.python.org/tutorials/packaging-projects/ Packaging Python Projects — Python Packaging User Guide setup.cfg is the configuration file for setuptools. It tells setuptools about your package (such as the name and version) as well as which..