목록분류 전체보기 (126)

오지's blog

fatal: Authentication failed for .. 에러메세지 해결 방안

remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information. fatal: Authentication failed for 'https://github.com/username/name.git/' 맥을 초기화 하고 처음 나의 깃의 데이터를 다운받으려고 clone을 하는데 분명히 로그인 할때의 id와 pw를 입력했는데 인증 실패라고 나온다..
개발노트/서버 관리 2022. 2. 2. 22:59
2018년 11월 시애틀 방문기

오랜만에 여행관련 글을 올린다. 오늘 올린 시애틀은 약 3년전 2018년 가을에 방문한 곳으로 방문한지 꾀되었어도 사진으로 정리해두고자 한다. 사실 미국에서 한국으로 돌아오고 인천공항에 갈일이 없고 더구나 코로나로 인해 더더욱 입국수속할 일이 없어 사진으로 랜선여행을 하고자 한다. 스타벅스 리저브 로스터리. University of Washington(UW) - 여기저기 아시안들이 많이 보인다. 미국 시골에서 상경한 나로써는 신기할수 밖에... 캠퍼스가 넘 이쁘다. 시애틀 인근 redmond의 마이크로소프트 방문 시애틀에서 마소까지는 버스를, 마소에서 시애틀 도심까지는 택시를 탔었다. 덕분에 택시기사에게 빌게이츠동네인 시애틀 부촌도 구경하고 역시 여행은 로컬사람에게 가이드 받는 것이다. 시애틀의 명물 스..
STEP OVER THE EARTH/USA 2022. 1. 25. 23:34
airflow slack fail메세지에서 log url변경하는 방법

airflow.cfg에서 endpoint_url, base_url의 주소를 변경해야 함
개발노트/Python 2022. 1. 24. 13:50
큰 dataframe을 out of memory 에러 없이 로딩하는 방법

https://pythonspeed.com/articles/pandas-sql-chunking/
개발노트/Python 2022. 1. 18. 09:35
airflow.exceptions.AirflowException Dag could not be found 해결방안

airflow.exceptions.AirflowException: Dag 'airflow_sql_etl' could not be found; either it does not exist or it failed to parse. 다음과 같이 dag id가 맞는데 해당 dag id를 찾을수 없다고 에러메세지가 나온다. 원인: 코드 자체에 문제가 있어 airflow web ui로 보면 import error가 발생함을 알수 있다. 해결: task를 돌리는 코드자체의 에러를 우선 해결한다.
개발노트/Python 2021. 12. 22. 00:41
centos에서 pip install mysqlclient설치시 에러 해결방안

https://stackoverflow.com/questions/46495448/unable-to-install-mysqlclient-on-centos
개발노트/데이터베이스 2021. 12. 21. 23:20
특정 프로세스 죽이기

kill `ps -ef | grep 프로세스이름 | awk '{print $2}'` ex. airflow관련 프로세스 죽이기 kill -9 `ps -ef|grep airflow|awk '{print $2}'`
개발노트/서버 관리 2021. 12. 14. 13:53
dataframe bulk insert(데이터 프레임 대용량 insert)

https://medium.com/analytics-vidhya/speed-up-bulk-inserts-to-sql-db-using-pandas-and-python-61707ae41990 Speed up Bulk inserts to SQL db using Pandas and Python This article gives details about 1.different ways of writing data frames to database using pandas and pyodbc 2. How to speed up the… medium.com
개발노트/Python 2021. 12. 9. 17:16
같은줄에서 특정문자열 이후 혹은 이전 모두 선택 정규표현식

\특정문자.*$ ex1. :이후의 특정문자 모두 선택 \:.*$ ex2. 세미콜론 이후의 모든 문자 \;.*$ 특정문자이전 모두선택 ^.* ex. pyc이전 모두 선택 ^.*pyc
개발노트/서버 관리 2021. 12. 8. 12:46
list함수와 []을 쌓을때의 차이

if __name__ =="__main__": dict_arr={"val1":"key1", "val2":"key2"} list_dict_arr1 = [dict_arr] list_dict_arr2=list(dict_arr) for item in list_dict_arr1: print(item) for item in list_dict_arr2: print(item) 결과 {'val1': 'key1', 'val2': 'key2'} val1 val2
개발노트/Python 2021. 12. 6. 13:54
Prev 1 ··· 3 4 5 6 7 8 9 ··· 13 Next