개발일기 💻

개인적으로 토이 프로젝트를 진행하던 중, 크롤링을 통해 정보를 추출해 메일이나 카톡 알림을 주는 시스템을 만들고 있었다. selenium의 webdriver를 활용해 크롤링을 진행하던 중 발생한 chromedriver 이슈를 공유하려고 한다. Selenium WebDriverExceptionselenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://chromedriver.chromium.org/home webdriver를 사용하면서 chromedriver를 설치하지 않았거나 path를 제대로 지정하지 않는 다면, 위와 같은 에러메세지가 출력되면서 ..

colab 환경에서 jupyter notebook을 활용해 작업을 한 뒤, 해당 ipynb 파일을 보고서나 메일로 제출해야하는 경우가 있다. 이런 상황에 메일이나 보고를 받는 사람이 같은 개발자고 colab이나 vscode를 활용해 ipynb 파일을 읽는데 문제가 없다면 상관없지만, OS, 환경, 휴먼이슈 등의 문제가 발생할 수 있기 때문에 ipynb 파일을 html로 변환하여 공유하는 일이 생각보다 잦다. (엑셀이나 워드를 읽기 전용 파일로 변환하여 보내는 것도 비슷한 이유라고 짐작한다.) 그 중에서도 필자는 로컬 성능 이슈로 colab 환경에서 작업을 자주 하기 때문에 colab 환경에서 google drive와 연동하여 html로 추출하는 방법을 다룬다.코드 # 구글 드라이브 연결from googl..

에러 내용 해결방법 pip install numpy==1.23.4 or conda install numpy==1.23.4

순 공부시간 하루 5시간(낮2,저3), 5일 공부하고 제 40회 ADsP 데이터분석 준전문가 자격증 시험에 여유로운 점수로 합격했다. 비전공자도, 비전문가도 5일만 신경쓰면 충분히 취득할 수 있는 수준의 난이도이다. 더군다나 단답형이 없어진 지금이야말로 취득하기 적기가 아닐까 싶다. 5일 동안 내가 공부한 방법과 나만의 공부 방법 꿀팁을 공유하려고 한다. 마지막에 적을 나만의 비법도 꼭 참고하길 바란다. 1. 교재 나는 이기적으로 공부했고, 충분히 추천한다. ADsP 교재 추천을 검색하면 민트책 미어캣을 보통 추천하는데, 이미 이 중 보유 중인 교재가 있다면 굳이 더 살 필요는 없다고 생각한다. 만약 산다면 미어캣이나 이기적을 추천한다. 민트책은 있으면 좋지만 없으면 굳이 살 정도로 좋은 교재는 아닌 것..

VSCode 환경에서 JupyterNotebook으로 SpaCy 라이브러리를 사용하여 자연어 처리를 하던 중, 영어 모델인 'en_core_web_sm'을 불러오지 못하는 에러를 만났다. google-colab 환경에서 작업한다면 다음의 코드로 언어 모델을 다운받고 로딩할 수 있다. # Google - colab 환경 # SpaCy 라이브러리 설치 !pip install spacy # 영어 언어 모델 !python -m spacy download en_core_web_sm # 한국어 언어 모델 !python -m spacy download ko_core_news_sm 하지만 난 colab이 너무 불편해서 vscode로 진행하고 싶었고, 그러기 위해선 설정해둔 커널에 언어 모델들을 설치해서 로딩해야했다. ..

세계 각지에 있는 창고를 관리하는 자사 시스템 특성 상 TIME-ZONE과 관련된 이슈를 무시할 수는 없었다. 현재는 국내 창고에서만 사용하고 있었지만 해외 창고 셋업 일정을 내년으로 계획하고 있는 만큼 TIME-ZONE 이슈는 필수 해결과제라고 생각했다. 개발 방식 고려 TIME-ZONE을 관리하는 방법에는 여러가지 방법이 있겠지만, 내부 개발자 회의를 통해 나온 방식은 두 가지였다. 하나는 세계 각지의 시간을 담아서 관리하는 테이블을 만들어 사용자가 입력한 나라에 코드에 맞게 시차를 게산해주는 방식이었고, 다른 하나는 따로 시간을 담아두지 않고 사용자가 개인정보에서 나라를 변경할 때 실시간적인 API통신을 통해 해당 도시의 시간을 받아오자는 것이었다. 전자의 방식 : TIME-ZONE은 불변의 데이터..

> ABS(n) : 주어진 값의 절대값 리턴 SELECT ABS(-10), ABS(10), ABS(0) FROM DUAL; CELL(n) : 주어진 값보다는 크지만 가장 근접하는 최소값 리턴 SELECT CEIL(5.5) FROM DUAL; EXP(n) : 주어진 값의 e의 승수를 리턴 (e = 2.171828183...) SELECT EXP(5) FROM DUAL; FLOOP(n) : 주어진 값보다 작거나 같은 최대 정수값을 리턴 SELECT FLOOR(5.5) FROM DUAL; LN(n) : 주어진 값의 자연로그 값을 리턴 SELECT LN(148.413) FROM DUAL; LOG(m, n) : 밑을 m으로 한 n의 로그 값을 리턴 SELECT LOG(10, 1000) FROM DUAL; MOD(..

소규모 프로젝트나 개인적으로 토이 프로젝트를 진행할 때는 굳이 DB를 나누지 않아도 괜찮지만, 대규모 프로젝트를 다루는 현업에서는 개발서버에서 테스트를 진행한 뒤 문제가 없음을 파악하고 운영서버에 반영해 사용자들에게 서비스하는게 일반적이다. 이럴 때 개발서버의 DB와 운영서버의 DB를 동기화 시키는 것이 중요한데, 대표적인 무료 DBMS 툴인 SqlDeveloper를 사용하면 각 DB의 차이점을 쉽게 비교가 가능하다. 1. 상단 메뉴 Tools(도구) → Database Diff(데이터베이스 차이) 2. Source Connection, Destination Connection에 각각 개발DB, 운영DB 지정 3. 비교가 필요한 Standard Object Types 선택 4. 비교 대상 상세 지정(미지..

GROUPING() 함수는 SELECT 절에서 사용하는 함수이다. GROUPING() 함수의 인자로 그룹핑 대상인 컬럼을 지정하면 해당 컬럼이 NULL일 때 1, NOT NULL일 때 2를 반환하는 함수이다. SELECT B.DNAME , A.JOB , SUM(A.SAL) , GROUPING(B.DNAME) AS GP1 , GROUPING(A.JOB) AS GP2 FROM EMP A , DEPT B WHERE A.DEPTNO = B.DEPTNO GROUP BY ROLLUP(B.DNAME, A.JOB) ORDER BY 1,2 ; 이를 CASE-WHEN 절과 함께 활용하면 NULL 값을 소계, 총계 등으로 지정할 수 있다. SELECT CASE WHEN T.GP1 = 1 THEN '총계' ELSE T.DNA..

CUBE() 함수는 인자로 받는 컬럼으로 만들 수 있는 모든 조합으로 집계하여 추출하는 함수이다. 위와 같은 결과를 얻으려면, 다음과 같이 작성할 수 있다. SELECT B.DNAME , SUM(A.SAL) FROM EMP A , DEPT B WHERE A.DEPTNO = B.DEPTNO GROUP BY CUBE(B.DNAME) ORDER BY 1 ; 얼핏보면 ROLLUP() 함수와 다를 거 없는 함수처럼 보이지만, CUBE() 함수는 받는 인자가 많아질수록 조합이 다양해져 출력하는 결과가 훨씬 많아진다. SELECT B.DNAME , A.JOB , SUM(A.SAL) FROM EMP A , DEPT B WHERE A.DEPTNO = B.DEPTNO GROUP BY CUBE(B.DNAME, A.JOB) ..