오지's blog

SELECT REG_DATE FROM ( SELECT DISTINCT(REPLACE(SUBSTR(CNSL_REG_TME, 1, 10), '-', '')) AS REG_DATE FROM GCWB_WDB.ODS.O_CS_CNSL_HST ) ORDER BY REG_DATE DESC; 하나씩 풀어간다

df = pd.read_sql_query(sql = sql, con = mysql_conn) AttributeError: 'OptionEngine' object has no attribute 'execute' 다음과 같이 변경 필요 df = pd.read_sql_query(sql = text(sql), con = mysql_conn.connect()) reference. https://levelup.gitconnected.com/how-to-fix-attributeerror-optionengine-object-has-no-attribute-execute-in-pandas-eb635fbb89e4 How to Fix AttributeError: ‘OptionEngine’ object has no attrib..

sf_hook = SnowflakeHook(snowflake_conn_id="SNOWFLAKE_CONN_ID") sql = f"SELECT DISTINCT(REPLACE(SUBSTR({date_column_name}, 1, 10),'-', '')) FROM {table_name} WHERE SUBSTR({date_column_name}, 1, 10)='{yesterday.strftime(date_string)}';" conn = sf_hook.get_conn() cursor = conn.cursor() cursor.execute(sql) result = cursor.fetchone() 참고 https://stackoverflow.com/questions/53565834/fetch-results-from-..

DELETE FROM WDB.ODS.O_TBL_client_weekly where DATE_RANGE BETWEEN 20230220 AND 20230409; 이 쿼리를 수행하면 다음과 같은 에러가 발생한다. 왜 일까? Numeric value '20220606 ~ 20220612' is not recognized

airflow의 배치를 통해 매일 쿼리를 수행하고 있다. 이때 insert into select 쿼리를 이용하여 매일매일 이력을 남기는데, select할때 load_dttm까지 가져오지만 실제적으로 쿼리 수행시간이 아닌 어제 쿼리 수행시간이 load_dttm값으로 insert되어 결과적으로 적재일시로서는 올바르지 않은 값이 들어갔었다. insert_into_select_query = f""" INSERT INTO {database_name}.{schema_name}.O_{table_name}_HIS SELECT REPLACE(CURRENT_DATE(), '-') AS BASE_DD, * EXCLUDE LOAD_DTTM, CURRENT_TIMESTAMP()::timestamp_ntz FROM {databa..

SELECT * FROM WB_WDB.ODS.O_ocl_totalsale WHERE SUBSTR(INP_DD, 1,8) BETWEEN (SELECT MIN(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T) AND (SELECT MAX(SUBSTR(T.$36, 1, 8)) from @GC/ocl/totalsale/totalsale_20230301_20230314.csv (FILE_FORMAT=>'O_ocl_totalsale') as T); snowflake에서 데이터를 인서트 하기전 중복적재를 방지하기 위해 insert할 데이터 즉 s3에 있는 csv파..

1. AWS의 key기반으로 snowflake에서 s3에 접근하는 방법snowflake에서 s3에 접근하기 위해서 stage라는 오브젝트를 생성하여 이 오브젝트에서 s3의 버킷명과 iam 메뉴를 통해 얻은 aceess key값들을 넣어주어야 한다. role방식보다 설정이 쉽다는 장점이 있지만 key가 털리면 snowflake의 데이터를 모두 볼수 있는 단점 그리고 snowflake에서 select로 key값을 볼수 있기 때문에 snowflake공식문서에서는 role기반 방식을 추천한다(물론 stage를 select할수 있는 권한이 있다면).CREATE OR REPLACE STAGE GC URL='s3://s3버킷명' CREDENTIALS=(aws_key_id='aws_key_id값' aws_secret..

brew install freetds openssl export LDFLAGS="-L/opt/homebrew/opt/freetds/lib -L/opt/homebrew/opt/openssl@3/lib" export CFLAGS="-I/opt/homebrew/opt/freetds/include" export CPPFLAGS="-I/opt/homebrew/opt/openssl@3/include" python -m pip install pymssql 참고 https://github.com/pymssql/pymssql/issues/727 Can not install on M1 Device · Issue #727 · pymssql/pymssql Describe the bug Can not install on M1 ..

기존의 db에서 update 를 하려고 했을때, delete를 하려고 하면 건건이 지워야 했다. 지워야할 데이터가 많으면 약 5만건의 경우 경험상 7시간 정도 소요되었다. 이때를 대비하여 DELETE FROM ES_MEMBERCOUPON AS T1 INNER JOIN USING ES_MEMBERCOUPON_TEMP AS T2 WHERE T1.MEMBERNO == T2.MEMBERNO 이렇게 key만 존재하는 temp테이블을 만들고 DELETE문에 JOIN을 함께 사용하여 지운다.

에러메세지: 100096 (22007): Can't parse 'y' as timestamp with format 'AUTO' 에러 발생 원인과 해결책 관련 에러 ValueError: unsupported format character 'Y' (0x59) at index 1530 파이썬에서는 %를 %%로 묶어야 문자열 %으로 인식한다.