오지's blog

airflow의 배치를 통해 매일 쿼리를 수행하고 있다. 이때 insert into select 쿼리를 이용하여 매일매일 이력을 남기는데, select할때 load_dttm까지 가져오지만 실제적으로 쿼리 수행시간이 아닌 어제 쿼리 수행시간이 load_dttm값으로 insert되어 결과적으로 적재일시로서는 올바르지 않은 값이 들어갔었다. insert_into_select_query = f""" INSERT INTO {database_name}.{schema_name}.O_{table_name}_HIS SELECT REPLACE(CURRENT_DATE(), '-') AS BASE_DD, * EXCLUDE LOAD_DTTM, CURRENT_TIMESTAMP()::timestamp_ntz FROM {databa..

^ : 정규식 시작 . : 앞에 문자가 * : 0개 이상이고 (#) : #이 포함되고 . : 뒤의 문자가 * : 0개 이상이면 찾아라 $ : 정규식 끝 참고. https://gblee1987.tistory.com/60

SELECT * FROM WB_WDB.ODS.O_ocl_totalsale WHERE SUBSTR(INP_DD, 1,8) BETWEEN (SELECT MIN(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T) AND (SELECT MAX(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T); snowflake에서 데이터를 인서트 하기전 중복적재를 방지하기 위해 insert할 데이터 즉 s3에 있는 csv파..

dag_run.logical_date.astimezone(dag.timezone) date_check = PythonOperator(task_id="date_check", python_callable=date_check,dag=dag, op_kwargs={'table_name':'marketing', 'date':'{{dag_run.logical_date.astimezone(dag.timezone) | prev_ds_nodash}}'}) References https://stackoverflow.com/questions/70924756/airflow-wrong-execution-date-for-timezone-aware-dags Airflow wrong execution_date for timezone ..

# double underscore __ == dunder -> 객체에서 특별한 행위를 했을때 내부적으로 호출하는 메소드 + 의 경우 __add__()호출 class Person: def __init__(self, name, age): self.name = name self.age = age def __del__(self): print("Object is being deconstructed") p = Person("Kelly", 35) class Vector: def __init__(self, x, y): self.x = x self.y = y v1 = Vector(10, 20) v2 = Vector(50, 50) # v3 = v1 + v2 # __add__함수를 정의하지 않은 상태에서 두 객체를 더하면..

오픈소스 프로젝트의 소스를 분석해보자 남이쓴 코드를 많이 보자

1. AWS의 key기반으로 snowflake에서 s3에 접근하는 방법snowflake에서 s3에 접근하기 위해서 stage라는 오브젝트를 생성하여 이 오브젝트에서 s3의 버킷명과 iam 메뉴를 통해 얻은 aceess key값들을 넣어주어야 한다. role방식보다 설정이 쉽다는 장점이 있지만 key가 털리면 snowflake의 데이터를 모두 볼수 있는 단점 그리고 snowflake에서 select로 key값을 볼수 있기 때문에 snowflake공식문서에서는 role기반 방식을 추천한다(물론 stage를 select할수 있는 권한이 있다면).CREATE OR REPLACE STAGE GC URL='s3://s3버킷명' CREDENTIALS=(aws_key_id='aws_key_id값' aws_secret..

Worksheet index 0 is invalid, 0 worksheets found 혹은 openpyxl AttributeError: 'NoneType' object has no attribute 'rows' 에러가 발생한다. 분명히 xlsx파일이고 sheet가 존재한다. 왜일까? 알고보니 맥북이나 윈도우컴에서 Excel Workbook이 아닌 Strict Open XML Spreadsheet xlsx로 저장했기 때문이다. (O) (X)

brew install freetds openssl export LDFLAGS="-L/opt/homebrew/opt/freetds/lib -L/opt/homebrew/opt/openssl@3/lib" export CFLAGS="-I/opt/homebrew/opt/freetds/include" export CPPFLAGS="-I/opt/homebrew/opt/openssl@3/include" python -m pip install pymssql 참고 https://github.com/pymssql/pymssql/issues/727 Can not install on M1 Device · Issue #727 · pymssql/pymssql Describe the bug Can not install on M1 ..

FILE_NAME = os.path.join(set_downloads_folder("ga"), os.listdir(set_downloads_folder("ga"))[0]) for SHEET in LIST_SHEET: DF_sheet = pd.read_excel(FILE_NAME, sheet_name=SHEET, engine='openpyxl') 위와 같은 코드에서 read_excel함수를 통해 excel파일을 열려고 했다. 분명히 로컬에서 잘돌아가는데 왜 서버에서는 안돌아갈까.. openpyxl을 버전을 바꾸어보라고 하여 지우고 다시 깔아도 그대로였다. 아래 스택오버플로우에서 보면 "It's because you created empty .xlsx with no metadata which is an em..