오늘의 목표

오늘은 웹 데이터 분석을 위해 BeautifulSoup에 대해서 간단하게 알아보도록 하겠습니다. BeautifulSoup는 HTML 및 XML 데이터 분석을 위한 Python 라이브러리입니다. 지난번에 알아본 urllib 라이브러리와 함께 예제로 활용했던 DART를 활용해보겠습니다. 1. BeautifulSoup 설치 BeautifulSoup는 python.org의 Document의 라이브러리에서 확인할 수 없고 PyPI(Python Package Index)에서 확인할 수 있습니다. 관련 URL> pypi.org/project/beautifulsoup4/ anaconda를 사용할 경우 자동으로 설치되어 있지만 Python만을 설치한 경우 별도의 설치가 필요합니다. #ln1: easy_install을 이..

오늘은 파이썬 라이브러리 중 웹 데이터를 핸들링 할 수 있는 urllib에 대해서 알아보고자 합니다. urllib 중 urllib.request 모듈과 urllib.parse 모듈을 사용하여 간단하게 웹 페이지에 데이터를 요청하고 저장해보도록 하겠습니다. 오늘 사용할 예는 금융감독원에서 운영하고 있는 전자공시시스템(DART; Data Analysis, Retrieval and Transfer System)의 RSS를 통해 사용해 보도록 하겠습니다. 1. RSS RSS는 Rich Site Summary의 줄임말로 사이트에 직접 방문할 필요없이 RSS 리더를 활용하여 최신 정보를 활용할 수 있도록 해주는 콘텐츠입니다. DART에서는 RSS 리더를 통해 최근공시 혹은 회사별 공시를 확인 할 수 있도록 정보를 ..

Python 라이브러리 사용 시 import와 from의 차이를 알아보고자 합니다. Python 공부를 시작하면서 라이브러리를 사용하기위해서 import하거나 from을 통해 import하는 것을 보고 정리를 해보고자 합니다. urllib을 통해서 알아보겠습니다. urllib는 request / error / parse / robotparser 모듈로 구성됩니다. 일반적으로 우리가 urllib를 통해서 URL를 오픈하고 읽기 위해서 는 request 모듈을 사용합니다. 그렇다면 우리는 해당 모듈을 사용하기 위해서 import를 해야할 것입니다. 아래의 두 코드의 결과는 동일한 결과값을 출력할 수 있습니다. # import 사용 import urllib.request #전체 라이브러리를 사용할 때: imp..

Jupyter Notebook 실행 시 초기에 설정되어 있는 root 디렉토리를 변경해보도록 하겠습니다. root 디렉토리를 변경하는 방법은 두가지가 있습니다. 1. config 파일을 생성한 후 적용하는 방법 2. 실행파일의 %UESERPROFILE%을 수정하는 방법 아나콘다 프롬프트를 실행 후 명령창에 아래의 명령어를 입력하면 주피터 노트북이 실행됩니다. (base) > jupyter notebook 1. config 파일 수정 가. 설정파일 생성 한 번 입력 후에는 설정을 overwriting하고 default config로 세팅할지 확인합니다 (base) > jupyter notebook --generate-config 나. 경로 설정 1) 생성된 "jupyter_notebook_config.py..

파이썬에서 모듈 설치를 위한 프로그램으로 3.4버전부터 기본적으로 파이썬 바이너리 설치 프로그램에 포함되었습니다. 상황에 따라서 파이프를 설치하고 업그레이드하는 상황 시 뜻하지 않은 에러로 사용이 안되는 상황이 있을 수 있습니다. 저 같은 경우 업그레이드가 잘 되다가 갑자기 권한 문제가 뜨면서 pip프로그램이 사라져 버렸습니다. 몹시 당황스러운 일이여서 열심히 구글링을 해보니 "easy_install"이라는 프로그램을 통해 쉽게 재설치 할 수 있습니다. > easy_install pip easy_install pip로 재설치 후 정상적으로 pip 프로그램이 동작하는 걸 확인할 수 있습니다. 이상 PIP 에러 상황 시 복구 하는 방법이었습니다. 위의 복구는 anaconda3 프롬프트에서 수행되었습니다.

파이썬을 편리하게 설치 및 활용할 수 있는 패키지를 설치하는 방법을 알아보도록 하겠습니다. 1. 아나콘다 설치 아나콘다 다운로드 URL: www.anaconda.com/products/individual# 해당 URL로 접속하여 하단으로 내려가면 OS 설치를 확인할 수 있습니다. Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 1.1. 아나콘다 OS에 따른 선택 1.2. 아나콘다 설치 제가 설치한 2021년 1월은 2020년 11..

이번에는 대구 동성로에 위치한 아비코 카레에 다녀왔습니다. 음식에 대한 리뷰를 보시려면 하단으로↓ 내부인테리어는 전체적으로 검은 색에 노란색 인테리어 포인트가 무척이나 인상적이었습니다. 쿠킹하는 곳은 무척이나 청결해 보입니다. 메뉴판입니다. 이 밖에, 코팅된 페이지로 된게 네 장 가량 더 있었고, 런치 메뉴가 따로 있었습니다. 런치 메뉴는 사진 찍는다는 걸 깜박해서 누락되었습니다. 카레와 밥은 무한 리필이라고 합니다. 양이 많으신 분들에게는 무척이나 좋은 서비스인 것 같습니다. 테이블에 앉으면, 네이버 스마트 주문이라는 것을 지원하고 있습니다. 테이블 한켠에는 QR코드가 붙어있고 안내판이 비치되어있습니다. QR코드 리딩을 해주시면 주문 페이지로 접속하고 테이블 정보를 가지고 바로 주문이 가능하고 안내판에..

RAID0 스트라이핑 기술 사용 중복이나 패러티 없이 디스크에 분산하여 기록 구성된 디스크 중 하나라도 오류 발생 시 복구 불가 RAID1 미러링 기술 사용 디스크 오류 시 데이터 복구 능력은 탁월하지만 디스크 낭비가 심함 다중 사용자 시스템에서 최고의 고장대비 능력을 발휘 RAID2 기록용 드라이브와 데이터 복구용 드라이브를 별도로 둠 4개 하드디스크에 기록하기 위해서는 3개의 부가 데이터를 기록 효율성 측면에서 거의 사용하지 않음 RAID2는 RAID0처럼 스트라이핑 방식이지만 에러체크와 수정가능(ECC정보; Hamming Code 사용) RAID4가 나오면서 거의 사용하지 않음 RAID3, 4 RAID 0, 1의 문제점을 보완하기 위한 방식 구성 방식은 거의 같음 RAID3, 4는 기본적으로 RAI..

리눅스의 파일구조는 우리가 일상적으로 많이사용하는 윈도우즈와는 사뭇달라 꼼꼼히 알고 넘어가는 것이 리눅스를 근본적으로 이해하고 넘어가는데 도움이 될 수 있습니다. 1. 파일구조 > ls -l 명령어를 통해 목록리스트를 살펴보았을 때 [그림 1]과 같은 구조를 확인할 수 있음 [그림 1] 파일 구조 1.1. 파일유형 1.2. 파일허가(허가권) : 이러한 허가권은 chmod 명령어를 통해 수정 될 수 있음 2. 하드링크와 심볼릭링크 2.1. 하드링크 원본 파일과 동일한 inode를 사용 원본 수정 시 하드링크도 수정됨 원본의 이동이나 삭제 시 남아 있음 파일복사와 차이는 공간을 차지하지 않는 것임 2.2. 심볼릭링크 Windows의 바로가기 아이콘과 유사함 새로운 inode를 사용 주로 사용자가 많이 사용하..

리얼 스르토베리 티라미수를 먹을 기회가 있다면 냉큼 집으세요, 진짜 JMT입니다. 가격은 7,500원이라 스벅 케이크 중에는 비싼편, 제일 위에 딸기 6개, 두툼한 마스카포네 크림치즈 아래에 딸기 리플베이스(딸기잼), 빵 시트가 들어있습니다. 기존 스타벅스 마스카포네 티라미수랑 비교하면 코코아 가루 -> 딸기 마스카포네 크림치즈 = 마스카포네 크림치즈 커피 -> 딸기 리플베이스 빵 시트 = 빵 시트 5,900원 -> 7,900원 가격이 꽤 비싼 거만 빼면 굉장히 촉촉하고 보드랍고 맛있습니다. 단, 딸기는 아직 철이 아니라 달달하진 않았습니다. 더블 에스프레소 크림 라떼 맛있는 음료인거 같은데 자꾸 군대 때 먹던 더블샷 에스프레소&크림 느낌이 났습니다. 물론 오래전에 먹어봤던 거라 정확하진 않아서 조만간 ..