오지's blog

s3의 특정버킷내 stackoverflow를 보면서 아름다운 코드를 발견하여 이에 기록하게 되었다. https://stackoverflow.com/questions/45375999/how-to-download-the-latest-file-of-an-s3-bucket-using-boto3 How to download the latest file of an S3 bucket using Boto3? The other questions I could find were refering to an older version of Boto. I would like to download the latest file of an S3 bucket. In the documentation I found that there is..

간단하지만 생각의 전환으로 쉽게 해결하는 방법. excel에서는 각각의 컬럼에서 병합된쎌이 있는 경우가 있다. 마치 이런경우 위엑셀파일을 데이터프레임으로 읽으면 첫번째부터 세번째 컬럼명은 Unnamed :0, .. Unnamed:2라고 나온다. 이때 엑셀파일을 건들 생각을 하면 한발자국 나아가면 될것을 운동장 한바퀴 돌아가는 격이 된다. 이런경우가장 쉽게 데이터프레임으로 읽어서 csv로 바꾸는 방법은 pandas의 rename함수를 이용하는 것이다 다음과 같이... df.rename(columns={'Unnamed: 0': '날짜/시간', 'Unnamed: 1': '부서', 'Unnamed: 2':'상담원명'}, inplace=True) 별거 아니지만 생각의 전환이 필요한 부분이다.

DELETE FROM WDB.ODS.O_TBL_client_weekly where DATE_RANGE BETWEEN 20230220 AND 20230409; 이 쿼리를 수행하면 다음과 같은 에러가 발생한다. 왜 일까? Numeric value '20220606 ~ 20220612' is not recognized

airflow의 배치를 통해 매일 쿼리를 수행하고 있다. 이때 insert into select 쿼리를 이용하여 매일매일 이력을 남기는데, select할때 load_dttm까지 가져오지만 실제적으로 쿼리 수행시간이 아닌 어제 쿼리 수행시간이 load_dttm값으로 insert되어 결과적으로 적재일시로서는 올바르지 않은 값이 들어갔었다. insert_into_select_query = f""" INSERT INTO {database_name}.{schema_name}.O_{table_name}_HIS SELECT REPLACE(CURRENT_DATE(), '-') AS BASE_DD, * EXCLUDE LOAD_DTTM, CURRENT_TIMESTAMP()::timestamp_ntz FROM {databa..

^ : 정규식 시작 . : 앞에 문자가 * : 0개 이상이고 (#) : #이 포함되고 . : 뒤의 문자가 * : 0개 이상이면 찾아라 $ : 정규식 끝 참고. https://gblee1987.tistory.com/60

SELECT * FROM WB_WDB.ODS.O_ocl_totalsale WHERE SUBSTR(INP_DD, 1,8) BETWEEN (SELECT MIN(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T) AND (SELECT MAX(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T); snowflake에서 데이터를 인서트 하기전 중복적재를 방지하기 위해 insert할 데이터 즉 s3에 있는 csv파..

dag_run.logical_date.astimezone(dag.timezone) date_check = PythonOperator(task_id="date_check", python_callable=date_check,dag=dag, op_kwargs={'table_name':'marketing', 'date':'{{dag_run.logical_date.astimezone(dag.timezone) | prev_ds_nodash}}'}) References https://stackoverflow.com/questions/70924756/airflow-wrong-execution-date-for-timezone-aware-dags Airflow wrong execution_date for timezone ..

# double underscore __ == dunder -> 객체에서 특별한 행위를 했을때 내부적으로 호출하는 메소드 + 의 경우 __add__()호출 class Person: def __init__(self, name, age): self.name = name self.age = age def __del__(self): print("Object is being deconstructed") p = Person("Kelly", 35) class Vector: def __init__(self, x, y): self.x = x self.y = y v1 = Vector(10, 20) v2 = Vector(50, 50) # v3 = v1 + v2 # __add__함수를 정의하지 않은 상태에서 두 객체를 더하면..

오픈소스 프로젝트의 소스를 분석해보자 남이쓴 코드를 많이 보자

1. AWS의 key기반으로 snowflake에서 s3에 접근하는 방법snowflake에서 s3에 접근하기 위해서 stage라는 오브젝트를 생성하여 이 오브젝트에서 s3의 버킷명과 iam 메뉴를 통해 얻은 aceess key값들을 넣어주어야 한다. role방식보다 설정이 쉽다는 장점이 있지만 key가 털리면 snowflake의 데이터를 모두 볼수 있는 단점 그리고 snowflake에서 select로 key값을 볼수 있기 때문에 snowflake공식문서에서는 role기반 방식을 추천한다(물론 stage를 select할수 있는 권한이 있다면).CREATE OR REPLACE STAGE GC URL='s3://s3버킷명' CREDENTIALS=(aws_key_id='aws_key_id값' aws_secret..