목록분류 전체보기 (126)

오지's blog

s3에서 가장 최근 업로드한 파일 찾기 - sorted 연습 python

s3의 특정버킷내 stackoverflow를 보면서 아름다운 코드를 발견하여 이에 기록하게 되었다. https://stackoverflow.com/questions/45375999/how-to-download-the-latest-file-of-an-s3-bucket-using-boto3 How to download the latest file of an S3 bucket using Boto3? The other questions I could find were refering to an older version of Boto. I would like to download the latest file of an S3 bucket. In the documentation I found that there is..
개발노트/Python 2023. 4. 13. 15:31
excel에서 dataframe형식으로 읽을때 병합쎌이 column이름일때

간단하지만 생각의 전환으로 쉽게 해결하는 방법. excel에서는 각각의 컬럼에서 병합된쎌이 있는 경우가 있다. 마치 이런경우 위엑셀파일을 데이터프레임으로 읽으면 첫번째부터 세번째 컬럼명은 Unnamed :0, .. Unnamed:2라고 나온다. 이때 엑셀파일을 건들 생각을 하면 한발자국 나아가면 될것을 운동장 한바퀴 돌아가는 격이 된다. 이런경우가장 쉽게 데이터프레임으로 읽어서 csv로 바꾸는 방법은 pandas의 rename함수를 이용하는 것이다 다음과 같이... df.rename(columns={'Unnamed: 0': '날짜/시간', 'Unnamed: 1': '부서', 'Unnamed: 2':'상담원명'}, inplace=True) 별거 아니지만 생각의 전환이 필요한 부분이다.
개발노트/Python 2023. 4. 12. 15:25
DELETE시 의문의 에러 메세지

DELETE FROM WDB.ODS.O_TBL_client_weekly where DATE_RANGE BETWEEN 20230220 AND 20230409; 이 쿼리를 수행하면 다음과 같은 에러가 발생한다. 왜 일까? Numeric value '20220606 ~ 20220612' is not recognized
개발노트/데이터베이스 2023. 4. 11. 14:44
insert into select 시 특정 컬럼만 제외하고 SELECT하는 방법 - SNOWFLAKE

airflow의 배치를 통해 매일 쿼리를 수행하고 있다. 이때 insert into select 쿼리를 이용하여 매일매일 이력을 남기는데, select할때 load_dttm까지 가져오지만 실제적으로 쿼리 수행시간이 아닌 어제 쿼리 수행시간이 load_dttm값으로 insert되어 결과적으로 적재일시로서는 올바르지 않은 값이 들어갔었다. insert_into_select_query = f""" INSERT INTO {database_name}.{schema_name}.O_{table_name}_HIS SELECT REPLACE(CURRENT_DATE(), '-') AS BASE_DD, * EXCLUDE LOAD_DTTM, CURRENT_TIMESTAMP()::timestamp_ntz FROM {databa..
개발노트/데이터베이스 2023. 4. 5. 10:26
정규표현식 참고

^ : 정규식 시작 . : 앞에 문자가 * : 0개 이상이고 (#) : #이 포함되고 . : 뒤의 문자가 * : 0개 이상이면 찾아라 $ : 정규식 끝 참고. https://gblee1987.tistory.com/60
개발노트/서버 관리 2023. 3. 29. 13:09
snowflake에서 select시 where절의 서브 쿼리 between이용 하여 정제

SELECT * FROM WB_WDB.ODS.O_ocl_totalsale WHERE SUBSTR(INP_DD, 1,8) BETWEEN (SELECT MIN(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T) AND (SELECT MAX(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T); snowflake에서 데이터를 인서트 하기전 중복적재를 방지하기 위해 insert할 데이터 즉 s3에 있는 csv파..
개발노트/데이터베이스 2023. 3. 16. 13:27
airflow에서 timezone 변경

dag_run.logical_date.astimezone(dag.timezone) date_check = PythonOperator(task_id="date_check", python_callable=date_check,dag=dag, op_kwargs={'table_name':'marketing', 'date':'{{dag_run.logical_date.astimezone(dag.timezone) | prev_ds_nodash}}'}) References https://stackoverflow.com/questions/70924756/airflow-wrong-execution-date-for-timezone-aware-dags Airflow wrong execution_date for timezone ..
개발노트/airflow 2023. 1. 27. 16:21
2022년 12월 시애틀 방문기

aws reinvent 2022가 끝난후 나의 미래 커리어를 위해 전문가의 조언을 받고 에너지를 얻고자 시애틀에 일주일정도 방문하였다. 그곳엔 테크기업이 많을 뿐만아니라 굴지의 테크기업에 종사한 경험이 있는 선배가 거주하고 있어 이야기를 듣고 싶었기 때문이다. 로컬 사람과 함께한 덕분에 마지막밤을 알차게 보낼수 있었고 지난 2018년에 방문했을때보다 더 많은 곳을 여행할수 있었다. 학교에서 배울때는 절대 쓰면 안된다는 goto문이 오래된 소프트웨어다 보니 그 코드에는 많이 있다는 것, 오피스가 워낙 오래된 소프트웨어다 보니 파일스트럭쳐는 아무도 못건드린다는 이야기, 버전업이 되어도 호환성때문에 개발의 어려움의 이야기, 오피스도 클라우드화 하면서 멀티쓰레드를 적용된 프로그램을 개발해야 했던 일, 컴공은 박..
STEP OVER THE EARTH/USA 2022. 12. 10. 07:49
dunder와 magic메소드

# double underscore __ == dunder -> 객체에서 특별한 행위를 했을때 내부적으로 호출하는 메소드 + 의 경우 __add__()호출 class Person: def __init__(self, name, age): self.name = name self.age = age def __del__(self): print("Object is being deconstructed") p = Person("Kelly", 35) class Vector: def __init__(self, x, y): self.x = x self.y = y v1 = Vector(10, 20) v2 = Vector(50, 50) # v3 = v1 + v2 # __add__함수를 정의하지 않은 상태에서 두 객체를 더하면..
개발노트/Python 2022. 10. 11. 08:46
개발자 선배 언니를 만나고 나서

오픈소스 프로젝트의 소스를 분석해보자 남이쓴 코드를 많이 보자
개발노트/Python 2022. 9. 28. 14:06
Prev 1 2 3 4 5 ··· 13 Next