오지's blog

11 Tips And Tricks To Write Better Python Code https://www.youtube.com/watch?v=8OKTAedgFYg 1. range(len(x))보다 enumerate(x)를 사용하자 2. for loop보다 list comprehension을 사용하자. import time sq = [] start = time.time() for i in range(0, 100000000): sq.append(i*i) end = time.time() print(end - start) start = time.time() sq = [i*i for i in range(0, 100000000)] end = time.time() print(end - start) 3. 복잡한 리스트..

-- CREATE -- WAREHOUSE CREATE OR REPLACE WAREHOUSE A_WH WAREHOUSE_SIZE=XSMALL MAX_CLUSTER_COUNT=1 MIN_CLUSTER_COUNT=1 SCALING_POLICY=ECONOMY AUTO_SUSPEND=60 AUTO_RESUME = TRUE; -- DATABASE CREATE OR REPLACE TRANSIENT DATABASE A_WDB; -- SCHEMA CREATE OR REPLACE TRANSIENT SCHEMA ODS; CREATE OR REPLACE TRANSIENT SCHEMA DW; CREATE OR REPLACE TRANSIENT SCHEMA DM; -- ROLE CREATE OR REPLACE ROLE READ_R..

크롬다운로드 및 설치 $ wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb $ sudo apt install ./google-chrome-stable_current_amd64.deb 크롬드라이버 다운로드 및 설치 $ wget https://chromedriver.storage.googleapis.com/100.0.4896.60/chromedriver_linux64.zip $ unzip chromedriver_linux64.zip

사전 작업. Spark 설치 https://ojjy.tistory.com/125 spark install (ec2환경 프리티어, ubuntu 20.04) 설치 환경 EC2프리티어 Ubuntu 20.04 $ sudo apt update $ sudo apt -y upgrade $ [ -f /var/run/reboot-required ] && sudo reboot -f JAVA설치 $ sudo apt install curl mlocate default-j.. ojjy.tistory.com -- snowflake jar라이브러리 다운로드 및 해당 path에 복사(py파일과 같은 path에 있음 가능) https://search.maven.org/search?q=snowflake 에서 snowflake-jdbc-..

설치 환경 EC2프리티어 Ubuntu 20.04 $ sudo apt update $ sudo apt -y upgrade $ [ -f /var/run/reboot-required ] && sudo reboot -f JAVA설치 $ sudo apt install curl mlocate default-jdk -y 설치 및 JAVA버전 확인 $ java --version SPARK설치 파일 다운로드 $ wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz 설치 파일 압축풀기 $ tar -xvf spark-3.2.1-bin-hadoop3.2.tgz $ sudo mv spark-3.2.1-bin-hadoop3.2/ /opt/spa..