오지's blog

MissingDependencyError: Missing optional dependency: pandas 에러 발생

df.to_sql(name=f"{table_name}".lower(), con=engine, if_exists="replace", index=False, method=pd_writer) https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas Python Connector API — Snowflake Documentation String constant stating the type of parameter marker formatting expected by the interface. The connector supports the "pyformat" type by def..
개발노트/Python 2022. 4. 4. 15:44
pyspark 으로 MYSQL접속하여 table select(ssl) - java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver 에러 발생

import json from common_libs.utils import project_path import pyspark from pyspark.sql import SparkSession spark = SparkSession.builder.master('local').appName("PySpark_MySQL_test").getOrCreate() spark.conf.set("jars", "mysql-connector-java-8.0.28.jar") with open(f"{project_path}/secret.json", "r") as fp: jcontents=json.loads(fp.read()) df = spark.read.format("jdbc").option("url", f"jdbc:mysql:/..
개발노트/Python 2022. 4. 4. 12:29
selenium으로 파일을 다운로드 받고 파일이름 변경시 FileNotFoundError

ubuntu에서 selenium으로 크롤링을 돌리던중 여러 파일을 다운로드 받는데 같은 이름이면 (1), (2)이렇게 파일 이름에 추가되는 것이 아니라 같은 파일에 덮어쓰기 형식으로 되어 파일이름을 변경하는 로직이 필요하였다. 그런데 분명이 그path에 파일을 변경하는데 자꾸 notfound에러가 발생한다. 디버깅을 하고 이유를 확인하려고 해도 쉽게 되지 않는다. 구글링을 해서 찾은 결과는 notfound에러는 해당 경로에 파일이 없다는 것인데 경록을 잘못 적었거나 absolute path와 relative path를 헷갈린 경우라고 한다. 해당 글의 필자가 나의 약점을 정확하게 파악하고 잇었다. 절대경로와 상대경로를 헷갈려 했던 것이다. 또 초보티를 냈다... project_path = os.path...
개발노트/Python 2022. 3. 30. 16:08
ModuleNotFoundError: No module named USER_DEFINED_MODULE

USER_DEFINED_MODULE이 분명 pycharm에서 import되었는데 EC2기반의 ubuntu환경에서는 module not found에러가 발생한다. from common_libs.utils import get_downloads_folder, set_downloads_folder, json_contents ModuleNotFoundError: No module named 'common_libs' 해결책 : export PYTHONPATH="${PYTHONPATH}:/home/ubuntu/prj/" 라고 project의 상위폴더를 위와 같이 export한다. ref https://towardsdatascience.com/how-to-fix-modulenotfounderror-and-importe..
개발노트/Python 2022. 3. 23. 16:16
AWS EC2처음 접속시 permission 에러

(base) yjjo@yjjo-macpro workspaces % ssh -i websrv.pem ubuntu@54.180.135.135.208 ssh: Could not resolve hostname 54.180.135.135.208: nodename nor servname provided, or not known (base) yjjo@yjjo-macpro workspaces % ssh -i websrv.pem ubuntu@54.180.135.208 The authenticity of host '54.180.135.208 (54.180.135.208)' can't be established. ED25519 key fingerprint is SHA256:mJIFI7WbfyMg7MYmEf/bdAJAs+Y+..
개발노트/서버 관리 2022. 3. 20. 21:42
Prev 1 ··· 10 11 12 13 14 15 16 ··· 29 Next