오지's blog

excel에서 dataframe형식으로 읽을때 병합쎌이 column이름일때

간단하지만 생각의 전환으로 쉽게 해결하는 방법. excel에서는 각각의 컬럼에서 병합된쎌이 있는 경우가 있다. 마치 이런경우 위엑셀파일을 데이터프레임으로 읽으면 첫번째부터 세번째 컬럼명은 Unnamed :0, .. Unnamed:2라고 나온다. 이때 엑셀파일을 건들 생각을 하면 한발자국 나아가면 될것을 운동장 한바퀴 돌아가는 격이 된다. 이런경우가장 쉽게 데이터프레임으로 읽어서 csv로 바꾸는 방법은 pandas의 rename함수를 이용하는 것이다 다음과 같이... df.rename(columns={'Unnamed: 0': '날짜/시간', 'Unnamed: 1': '부서', 'Unnamed: 2':'상담원명'}, inplace=True) 별거 아니지만 생각의 전환이 필요한 부분이다.
개발노트/Python 2023. 4. 12. 15:25
DELETE시 의문의 에러 메세지

DELETE FROM WDB.ODS.O_TBL_client_weekly where DATE_RANGE BETWEEN 20230220 AND 20230409; 이 쿼리를 수행하면 다음과 같은 에러가 발생한다. 왜 일까? Numeric value '20220606 ~ 20220612' is not recognized
개발노트/데이터베이스 2023. 4. 11. 14:44
insert into select 시 특정 컬럼만 제외하고 SELECT하는 방법 - SNOWFLAKE

airflow의 배치를 통해 매일 쿼리를 수행하고 있다. 이때 insert into select 쿼리를 이용하여 매일매일 이력을 남기는데, select할때 load_dttm까지 가져오지만 실제적으로 쿼리 수행시간이 아닌 어제 쿼리 수행시간이 load_dttm값으로 insert되어 결과적으로 적재일시로서는 올바르지 않은 값이 들어갔었다. insert_into_select_query = f""" INSERT INTO {database_name}.{schema_name}.O_{table_name}_HIS SELECT REPLACE(CURRENT_DATE(), '-') AS BASE_DD, * EXCLUDE LOAD_DTTM, CURRENT_TIMESTAMP()::timestamp_ntz FROM {databa..
개발노트/데이터베이스 2023. 4. 5. 10:26
정규표현식 참고

^ : 정규식 시작 . : 앞에 문자가 * : 0개 이상이고 (#) : #이 포함되고 . : 뒤의 문자가 * : 0개 이상이면 찾아라 $ : 정규식 끝 참고. https://gblee1987.tistory.com/60
개발노트/서버 관리 2023. 3. 29. 13:09
snowflake에서 select시 where절의 서브 쿼리 between이용 하여 정제

SELECT * FROM WB_WDB.ODS.O_ocl_totalsale WHERE SUBSTR(INP_DD, 1,8) BETWEEN (SELECT MIN(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T) AND (SELECT MAX(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T); snowflake에서 데이터를 인서트 하기전 중복적재를 방지하기 위해 insert할 데이터 즉 s3에 있는 csv파..
개발노트/데이터베이스 2023. 3. 16. 13:27
Prev 1 ··· 4 5 6 7 8 9 10 ··· 29 Next