오지's blog

kill `ps -ef | grep 프로세스이름 | awk '{print $2}'` ex. airflow관련 프로세스 죽이기 kill -9 `ps -ef|grep airflow|awk '{print $2}'`

https://medium.com/analytics-vidhya/speed-up-bulk-inserts-to-sql-db-using-pandas-and-python-61707ae41990 Speed up Bulk inserts to SQL db using Pandas and Python This article gives details about 1.different ways of writing data frames to database using pandas and pyodbc 2. How to speed up the… medium.com

\특정문자.*$ ex1. :이후의 특정문자 모두 선택 \:.*$ ex2. 세미콜론 이후의 모든 문자 \;.*$ 특정문자이전 모두선택 ^.* ex. pyc이전 모두 선택 ^.*pyc

if __name__ =="__main__": dict_arr={"val1":"key1", "val2":"key2"} list_dict_arr1 = [dict_arr] list_dict_arr2=list(dict_arr) for item in list_dict_arr1: print(item) for item in list_dict_arr2: print(item) 결과 {'val1': 'key1', 'val2': 'key2'} val1 val2

ip address가 맞음에도 다음과 같이 unknown server host 에러가 발생한다. 원인: ip주소를 읽을때 앞 패스워드 입력시 reserved word가 있어서 인터프리터 입장에서 ip주소를 오해함에서 문제가 발생 해결 방법: password = urllib.parse.quote_plus(f"{dbinfo['MARIADB_PWD']}") 다음과 같이 password자체를 connection string에 포함하지 말고 구문분석해주는 urllib라이브러리를 이용하여 password를 connection string에 포함한다. 아래는 예제코드 def dbcon(): with open("dbinfo.json") as fp: dbinfo = json.loads(fp.read()) # dbconn..

처음 연결세팅시 Driver properties에 들어가 allowPublicKeyRetrieval 을 false에서 TRUE로 변경후 접속가능 OS Version: Ubuntu 20.04.3 LTS DB Version: mysql Ver 8.0.26-0ubuntu0.20.04.3 for Linux on x86_64 ((Ubuntu))

OS version $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.3 LTS Release: 20.04 Codename: focal MYSQL version $ mysql --version mysql Ver 8.0.26-0ubuntu0.20.04.3 for Linux on x86_64 ((Ubuntu)) 설치 전 os패키지 업데이트 $ sudo apt-get update $ sudo apt-get upgrade MYSQL서버 설치 $ sudo apt-get install mysql-server 처음설치후 설정 $ sudo mysql_secure_installation $ sudo ..

모든 일이 마찬가지이겠지만 처음에만 해본적이 없어 헷갈리고 해멜수 있으나 한번 해보면 아무것도 아니다. 또한 아래 python document에 잘나와 있기 때문에 그대로 따로오기만 하면 된다. 이글도 파이썬 다큐멘트를 참고하여 설명을 추가하였다. 참고싸이트 https://packaging.python.org/tutorials/packaging-projects/ Packaging Python Projects — Python Packaging User Guide setup.cfg is the configuration file for setuptools. It tells setuptools about your package (such as the name and version) as well as which..

전체 코드 coninfo = get_info('secret.json') cnx = create_engine(f"mysql+pymysql://{coninfo['MYSQL_USER']}:{coninfo['MYSQL_PASSWORD']}@{coninfo['MYSQL_HOST']}:{coninfo['MYSQL_PORT']}/{coninfo['MYSQL_DBNAME']}") df = pd.read_csv('filename.csv', encoding='utf8') print(df.head(5)) df.to_sql(name=f"mayo", con=cnx, if_exists="replace", index=False) 코드 설명 coninfo = get_info('secret.json') secret.json파일이 외부..

$ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install postgresql postgresql-contrib $ sudo -i -u postgres $ psql postgres-# create database airflow; postgres-# create user admin with encrypted password 'admin'; postgres-# grant all privileges on database airflow to admin; postgres-# \q 원격접속 허용 설정 루트계정으로 변경 1. postgresql.conf 설정파일 내용 변경 $ sudo vi /etc/postgresql/12/main/postgresql.c..