Python

개인적으로 토이 프로젝트를 진행하던 중, 크롤링을 통해 정보를 추출해 메일이나 카톡 알림을 주는 시스템을 만들고 있었다. selenium의 webdriver를 활용해 크롤링을 진행하던 중 발생한 chromedriver 이슈를 공유하려고 한다. Selenium WebDriverExceptionselenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://chromedriver.chromium.org/home webdriver를 사용하면서 chromedriver를 설치하지 않았거나 path를 제대로 지정하지 않는 다면, 위와 같은 에러메세지가 출력되면서 ..

Selenium의 WebDriver를 사용해 크롤링하기# 추가 패키지 설치!pip install supabase # 수파베이스 SDK 설치!pip install selenium # 헤드리스 브라우저를 위한 테스트 자동화 툴!pip install beautifulsoup4 # html 파싱 툴 크롬 화면 우상단 ... 메뉴 버튼 클릭 → 설정 → 하단 Chrome 정보 클릭크롬 드라이버 다운로드아래 코드로 자신의 운영체제 및 아키텍처 확인https://googlechromelabs.github.io/chrome-for-testing/#stable Chrome for Testing availabilitychrome-headless-shellmac-arm64https://storage.googleapis.co..

에러 내용 해결방법 pip install numpy==1.23.4 or conda install numpy==1.23.4

VSCode 환경에서 JupyterNotebook으로 SpaCy 라이브러리를 사용하여 자연어 처리를 하던 중, 영어 모델인 'en_core_web_sm'을 불러오지 못하는 에러를 만났다. google-colab 환경에서 작업한다면 다음의 코드로 언어 모델을 다운받고 로딩할 수 있다. # Google - colab 환경 # SpaCy 라이브러리 설치 !pip install spacy # 영어 언어 모델 !python -m spacy download en_core_web_sm # 한국어 언어 모델 !python -m spacy download ko_core_news_sm 하지만 난 colab이 너무 불편해서 vscode로 진행하고 싶었고, 그러기 위해선 설정해둔 커널에 언어 모델들을 설치해서 로딩해야했다. ..

본 포스팅에서는 Feature engineering 실습을 위해 1차적으로 가공된 타이타닉 생존자 예측 데이터를 활욯했다. 데이터 로딩 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline titanic = pd.read_csv('data/titanic.csv') titanic.info() 결측치 처리 titanic.isnull().mean() 결측치를 조회해보면 Age, Cabin, Embarked라는 변수에서 결측치가 보인다. 나이는 평균으로 처리해주고, 다른 두 변수는 새로운 범주를 지정해준다. 결측치를 굳이 새로운 범주로 분리하는 가장 큰 이유는 결측치..

Folium Folium은 leaflet.js를 기반으로 지도를 그려주는 Python 시각화 패키지이다. 모바일에서도 쓸 수 있을만큼 가볍고, pandas와 쉽게 연동하여 간편하게 시각화할 수 있다는 장점이 있다. 위치 좌표계 값을 이용해 지도 위에 시각화 할 수 있다. Map Folium의 Map 클래스를 통해 지도의 범위를 지정하고 표시할 수 있다. location 속성으로 나타내려는 지도의 정중앙 좌표를 설정할 수 있고, zoom_start 속성으로 배율을 설정할 수 있다. folium.Map.save()를 통해 설정된 지도를 html형식으로 저장 가능하다. import folium m = folium.Map( location=[37.4918346,127.0202431], zoom_start=15 ..

seaborn은 matplotlib로 바로 그린 그래프보다 가독성이 좋고, 폭 넓은 커스터마이징이 가능해서 애용하는 시각화 라이브러리다. set_theme()를 통해 배경, 폰트와 같은 기본 설정을 할 수 있고, set_palette()를 통해 그래프 컬러 조합을 선택할 수 있다. seaborn palette 예시 Choosing color palettes — seaborn 0.13.0 documentation Choosing color palettes Seaborn makes it easy to use colors that are well-suited to the characteristics of your data and your visualization goals. This chapter discus..

seaborn은 matplotlib로 바로 그린 그래프보다 가독성이 좋고, 폭 넓은 커스터마이징이 가능해서 애용하는 시각화 라이브러리다. set_theme()를 통해 배경, 폰트와 같은 기본 설정을 할 수 있고, set_palette()를 통해 그래프 컬러 조합을 선택할 수 있다. seaborn palette 예시 Choosing color palettes — seaborn 0.13.0 documentation Choosing color palettes Seaborn makes it easy to use colors that are well-suited to the characteristics of your data and your visualization goals. This chapter discus..

seaborn은 matplotlib로 바로 그린 그래프보다 가독성이 좋고, 폭 넓은 커스터마이징이 가능해서 애용하는 시각화 라이브러리다. set_theme()를 통해 배경, 폰트와 같은 기본 설정을 할 수 있고, set_palette()를 통해 그래프 컬러 조합을 선택할 수 있다. seaborn palette 예시 Choosing color palettes — seaborn 0.13.0 documentation Choosing color palettes Seaborn makes it easy to use colors that are well-suited to the characteristics of your data and your visualization goals. This chapter discus..

seaborn은 matplotlib로 바로 그린 그래프보다 가독성이 좋고, 폭 넓은 커스터마이징이 가능해서 애용하는 시각화 라이브러리다. set_theme()를 통해 배경, 폰트와 같은 기본 설정을 할 수 있고, set_palette()를 통해 그래프 컬러 조합을 선택할 수 있다. seaborn palette 예시 Choosing color palettes — seaborn 0.13.0 documentation Choosing color palettes Seaborn makes it easy to use colors that are well-suited to the characteristics of your data and your visualization goals. This chapter discus..