개발일기 💻/Python

Windows 환경에서 Superset 세팅을 위해 Python 가상환경을 세팅 중에 다음과 같은 에러가 발생했다.해당 에러는 PowerShell의 보안 정책 때문에 발생하는 에러로, 보안 정책을 변경해주면 된다. 먼저, PowerShell을 관리자 모드로 실행해준다. 아래 코드를 입력하고, Y를 입력해 실행 정책을 변경해주자.Set-ExecutionPolicy Unrestricted 실행 보안 정책 해제하고 활성 코드를 다시 입력해주면 정상적으로 활성화 된다.

개인적으로 토이 프로젝트를 진행하던 중, 크롤링을 통해 정보를 추출해 메일이나 카톡 알림을 주는 시스템을 만들고 있었다. selenium의 webdriver를 활용해 크롤링을 진행하던 중 발생한 chromedriver 이슈를 공유하려고 한다. Selenium WebDriverExceptionselenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://chromedriver.chromium.org/home webdriver를 사용하면서 chromedriver를 설치하지 않았거나 path를 제대로 지정하지 않는 다면, 위와 같은 에러메세지가 출력되면서 ..

colab 환경에서 jupyter notebook을 활용해 작업을 한 뒤, 해당 ipynb 파일을 보고서나 메일로 제출해야하는 경우가 있다. 이런 상황에 메일이나 보고를 받는 사람이 같은 개발자고 colab이나 vscode를 활용해 ipynb 파일을 읽는데 문제가 없다면 상관없지만, OS, 환경, 휴먼이슈 등의 문제가 발생할 수 있기 때문에 ipynb 파일을 html로 변환하여 공유하는 일이 생각보다 잦다. (엑셀이나 워드를 읽기 전용 파일로 변환하여 보내는 것도 비슷한 이유라고 짐작한다.) 그 중에서도 필자는 로컬 성능 이슈로 colab 환경에서 작업을 자주 하기 때문에 colab 환경에서 google drive와 연동하여 html로 추출하는 방법을 다룬다.코드 # 구글 드라이브 연결from googl..

Selenium의 WebDriver를 사용해 크롤링하기# 추가 패키지 설치!pip install supabase # 수파베이스 SDK 설치!pip install selenium # 헤드리스 브라우저를 위한 테스트 자동화 툴!pip install beautifulsoup4 # html 파싱 툴 크롬 화면 우상단 ... 메뉴 버튼 클릭 → 설정 → 하단 Chrome 정보 클릭크롬 드라이버 다운로드아래 코드로 자신의 운영체제 및 아키텍처 확인https://googlechromelabs.github.io/chrome-for-testing/#stable Chrome for Testing availabilitychrome-headless-shellmac-arm64https://storage.googleapis.co..

에러 내용 해결방법pip install numpy==1.23.4orconda install numpy==1.23.4

VSCode 환경에서 JupyterNotebook으로 SpaCy 라이브러리를 사용하여 자연어 처리를 하던 중, 영어 모델인 'en_core_web_sm'을 불러오지 못하는 에러를 만났다. google-colab 환경에서 작업한다면 다음의 코드로 언어 모델을 다운받고 로딩할 수 있다.# Google - colab 환경# SpaCy 라이브러리 설치!pip install spacy# 영어 언어 모델!python -m spacy download en_core_web_sm# 한국어 언어 모델!python -m spacy download ko_core_news_sm  하지만 난 colab이 너무 불편해서 vscode로 진행하고 싶었고, 그러기 위해선 설정해둔 커널에 언어 모델들을 설치해서 로딩해야했다.'how to..