오지's blog

pyspark를 통해 snowflake데이터 베이스 연결하고 데이터 가져오기 본문

개발노트/Python

pyspark를 통해 snowflake데이터 베이스 연결하고 데이터 가져오기

잡스러운노트, 잡스노트 2022. 4. 5. 14:30
728x90
반응형

사전 작업. Spark 설치

https://ojjy.tistory.com/125

 

spark install (ec2환경 프리티어, ubuntu 20.04)

설치 환경 EC2프리티어 Ubuntu 20.04 $ sudo apt update $ sudo apt -y upgrade $ [ -f /var/run/reboot-required ] && sudo reboot -f JAVA설치 $ sudo apt install curl mlocate default-j..

ojjy.tistory.com

 

 

-- snowflake jar라이브러리 다운로드 및 해당 path에 복사(py파일과 같은 path에 있음 가능)

https://search.maven.org/search?q=snowflake

에서 snowflake-jdbc-3.13.16.jar과 spark-snowflake_2.12-2.10.0-spark_3.2.jar 다운로드

 

$  cp snowflake-jdbc-3.13.16.jar $SPARK_HOME/jars
$ cp spark-snowflake_2.12-2.10.0-spark_3.2.jar $SPARK_HOME/jars

 

 

필요한 jars라이브러리 해당 폴더에 넣고

 

 

 

-- 접속정보를 넣는뒤 가져오고자 하는 테이블을 table_name에 넣어 아래 코드를 실행시키면

 

import pyspark
from pyspark.sql import SparkSession

sfparams = {
    "sfURL": "xxx.snowflakecomputing.com",
    "sfUser": "xxx",
    "sfPassword": "xxx",
    "sfDatabase": "TESTDB",
    "sfSchema": "xxx",
    "sfWarehouse": "xxx",
    "sfRole": "xxx"

}

spark = SparkSession.builder \
    .master("local") \
    .appName("Test") \
    .config('spark.jars','snowflake-jdbc-3.13.16.jar,spark-snowflake_2.12-2.10.0-spark_3.2.jar') \
    .getOrCreate()

SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"

df = spark.read.format(SNOWFLAKE_SOURCE_NAME) \
    .options(**sfparams) \
    .option("query", "select * from table_name limit 10") \
    .load()

df.show()

$ python3 pyspark_snowflake.py 

 실행

 

참고.

 java.lang.ClassNotFoundException: 
Failed to find data source: net.snowflake.spark.snowflake. Please find packages at
http://spark.apache.org/third-party-projects.html

에러 발생시 jar파일이 $SPARK_HOME/jars에 없거나 jar라이브러리 파일을 잘못받은 경우 발생

 

 

 

'개발노트 > Python' 카테고리의 다른 글

11 Tips And Tricks To Write Better Python Code(작성중)  (0) 2022.04.25
selenium을 이용한 크롤링 준비 - chrome driver설치(ubuntu 20.04)  (0) 2022.04.10
MissingDependencyError: Missing optional dependency: pandas 에러 발생  (0) 2022.04.04
pyspark 으로 MYSQL접속하여 table select(ssl) - java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver 에러 발생  (0) 2022.04.04
selenium으로 파일을 다운로드 받고 파일이름 변경시 FileNotFoundError  (0) 2022.03.30
'개발노트/Python' Related Articles more
Comments