반응형

전체 글 200

[python] BeautifulSoup를 통한 크롤링 차단 시 해결 방법

이번시간에는 크롤링 시 차단되었을 경우의 대처방법 User Agent 지정에 대해서 알아보도록 하겠습니다. BeautifulSoup를 사용해서 웹을 크롤링하던 와중에 페이지에서 아무것도 받아오지 못하는 문제가 발생해서 당혹스러운 경우가 발생했습니다. 구글링 해보았을 때 다양한 경우에서 이러한 문제가 발생할 수 있는 것으로 보입니다. 그 중에서 가장 흔한 경우는 웹 서버측에서 크롤러를 로봇의 부적절한 접근으로 인식한 경우 문제가 발생할 수 있습니다(robots.txt 파일에서 제외의 경우). 이 경우 해결방법은 Header에 User Agent 정보를 기입하여 웹 서버로 페이지를 요청할 시에 같이 보내는 방법을 사용할 수 있습니다. User Agent란* HTTP 통신 시 브라우저가 웹서버에 연결을 시작할..

ITStudy/Python 2021.02.22

생활의 달인 스콘집 플라잉 스콘 본점 [부산 해운대 맛집]

이번에는 해운대에 있는 플라잉 스콘에 갔다왔습니다. * 네이버스마트 스토어에서도 판매하고 있습니다. 주변에 판매하는 백화점이 없거나 해운대까지 방문하기 불편한 분이시라면 인터넷을 통해 쉽게 배달해서 먹을 수 있습니다 . 해운대구의 마린시티 두산위브제네스의 상가에 위치 해있습니다. 문이 상당히 잘 안열리니 힘을 꽉주어서 열어야 합니다. 들어가면 다양한 스콘들과 생활의 달인에 출현한 이력으로 유명한 가게답게 생활의 달인 명패가 벽의 한 측면에 달려있습니다. 진열대에는 스콘뿐만 아니라 과자나 케이크 같은 과자류나 식빵, 치아바타 같은 식사류 빵 등도 팔고 있습니다. 스콘은 대부분이 3,800원인데 앙버터 스콘만 4,000원입니다. 모양이 굉장히 예쁩니다. 매장 내의 자리는 상당히 좁기 때문에 몇개의 스콘만 구..

[햄버거]맥도날드 미트칠리 치킨버거

이번에는 맥도날드의 미트칠리 치킨버거를 먹어보았습니다. 미트칠리 치킨버거 단품: 5,000원 세트: 6,300원 미트칠리 치킨 버거는 포장지에 귀여운 닭이 그려져 있습니다. 포장을 열어보면 버거의 모양이 흐트러지지 않게 커버가 씌워져 있습니다. 미트칠리 치킨 버거를 측면에서 보면 치즈와 치킨 패티 양상추와 하얀색 소스가 보입니다. 다른 버거같으면 마요네즈겠지만 이번에 나온 미트칠리 시리즈의 버거는 샤워크림입니다. 빵 위에 치즈 + 패티 + 양상추 + 샤워크림 + 칠리소스 위에 빵으로 구성되어있습니다. 미트칠리 비프버거는 전혀 채소가 전혀 없는 고기고기한 느낌인데 치킨 버거는 채소가 넉넉하게 들어있는 느낌입니다. 육안으로는 칠리소스가 보이지 않아서 의문이 들었는데 한 입 물면 제대로 칠리 맛을 느낄 수 있..

두마리찜닭 두찜 율하점 [대구 율하 맛집] - 로제찜닭

이번에는 두마리찜닭의 로제찜닭을 먹어보았습니다. 오늘의 메뉴는 로제찜닭(25,800원)짜리 식사입니다(배달의 민족: 배달팁 2,000원 ) 배달의 민족을 통해서 배달을 받았습니다. 두찜 율하점에서는 찜닭과 콜라, 치킨 무, 그리고 밥을 비벼먹으라는 목적으로 돌김과 참기름을 줍니다. 로제찜닭은 양파, 감자, 당근,파, 당면, 떡 등이 들어가 있고 고구마가 큼지막한 덩어리로 들어있습니다. 로제 크림파스타를 먹는 듯 토마토 맛은 느껴지지 않지만 소스가 매끄럽고 크림 맛이 상당히 강한 찜닭입니다. 배달이여서 그런거겠지만 익힌 당면을 따로 뭉쳐서 넣어주십니다. 잘 풀어서 국물을 배게해서 먹으면 매끄러운 당면의 질감을 잘 느낄 수 있습니다. 그리고 돌김과 참기름을 주신 목적에 맞게 밥을 비벼봅니다. 적당량의 찜닭을..

먹방/맛집 2021.02.20

[Python] openpyxl로 excel 다루기02 (urllib, BeautifulSoup)

이번 포스트에서는 python에서 실제 웹 상에 존재하는 데이터들을 excel로 저장하는 방법에 대해서 알아보도록 하겠습니다. 따라서 아래의 세가지 라이브러리를 활용해보도록 하겠습니다. 01 urllib : url을 호출하고 데이터를 불러들입니다. 02 BeautifulSoup : html문서를 분석하고 파싱합니다. 03 openpyxl : 매트릭스 형태로 저장하기 위한 excel 파일을 작성합니다 . 예제는 urllib와 BeautifulSoup 포스트에서 활용한 DART(전자공시시스템* )의 RSS의 최근공시정보를 활용해보고자 합니다. RSS 최근공시 정보는 최근 50개의 공시(지분,펀드 제외)를 불러옵니다. * 상장법인 등이 공시서류를 인터넷으로 제출하고, 투자자 등 이용자는 제출 증시 인터넷을 통..

ITStudy/Python 2021.02.19

[컵라면]사천왕 마라탕면 큰컵

이번에는 사천왕 마라탕면 큰컵을 먹어보았습니다. CU편의점에서 개당 2,500원 2+1원으로 각 1,666.6666원으로 구매할 수 있습니다. 뚜껑과 측면에는 귀여운 캐릭터가 그려져 있습니다. 하오치는 중국어로 맛있다는 의미입니다. 제품의 후면에는 제조원과 재료명, 영양성분표 등이 적혀있습니다. 원산지가 중국으로 되어있는 걸 보니 제대로 마라맛이 날 것 같습니다. 성분에 나트륨이 2,110mg으로 1일 영양성분 기준치 비율에 대해 106%나 되니 국물 섭취는 주의를 하여야 합니다. 제품 안에는 고구마와 감자전분으로 만든 면과 소스, 분말스프, 야채스프, 건더기 스프, 플라스틱 포크가 동봉되어있습니다. 내용물의 총 무게는 100g이고 칼로리는 440kcal입니다. 건더기 스프로는 건조두부피와 건조당근, 참..

[Python] openpyxl로 excel 다루기01 (excel 구조, sheet 및 cell)

이번 포스트에서는 python에서 excel을 다루기위해 openpyxl 라이브러리에 대해서 알아보도록 하겠습니다. 아래와 같은 내용을 알아보도록 하겠습니다. 01 excel의 구조 02 openpyxl 튜토리얼: excel 생성, sheet 및 cell 접근 및 value excel의 구조 python으로 excel을 다루기 전에 대상이 되는 excel에 대해서 알아봅시다. 엑셀은 아래의 구조를 가지고 이를 통해 openpyxl에서는 엑셀을 다루게 됩니다. 1. 엑셀파일(book) 2. 시트(sheet) 3. 행(row) 4. 열(column) 5. 셀(cell) openpyxl 튜토리얼 # In 1: workbook 및 sheet 선택 from openpyxl import Workbook wb=Wor..

ITStudy/Python 2021.02.18

더오니기리 동성로점[대구 동성로 맛집]

이번에는 더오니기리 동성로점에 다녀왔습니다. 길을 가다가 불현듯 오니기리집이 눈에 들어왔습니다. 옛날에 유행처럼 오니기리집이 동네마다 생겼었는데 요즘은 새롭게 생기는 집이 잘 없는 것 같습니다. 동성로에 위치한 오니기리는 실내는 착석할 수 있는 자리가 7석 정도 밖에 되지 않는 작은 식당입니다. 메뉴판입니다. 오니기리는 2,500원에서 3,000원대의 가격 선에서 다양한 종류가 있습니다. 그리고 컵밥형태의 마이컵이라는 메뉴와 다양한 음료들도 있습니다. 메뉴판 아래에 놓여있는 커다란 밥솥 두개가 인상적입니다. 오늘의 메뉴는 돈가스(3,000원) + 소고기고추장볶음(2,500원) + 베이컨김치(2,700원) 오니기리로 총 8,200원입니다. 좌석에는 단무지와 젓가락, 물병, 종이컵이 비치되어 있습니다. 카운..

먹방/맛집 2021.02.18

연어장인 도마29 [대구 동성로 맛집]

이번에는 동성로에 위치한 도마29에 다녀왔습니다. 주말에 다녀온 도마29는 사람이 무척이나 많았습니다. 스탭들은 자연스럽게 줄서있는 분들에게 자연스럽게 메뉴판을 건네줬습니다. 점심 시간에 골목 끝까지 줄이 이어져있는 모습을 보고 지났던 때도 있습니다. 가게 내부는 상당히 좁고 테이블이 다닥다닥 붙어있습니다. 한번에 가득차면 상당히 복잡한 모습이 될것 같습니다. 도마29의 메뉴판입니다. 매장의 대표재료는 연어인 것 같습니다. 대부분의 메뉴의 주 재료가 연어로 이뤄져 있습니다. 연어덕후라면 강추드립니다. 오늘의 메뉴는 연어초밥(13,000원) + 흐트러진 덮밥(10,000원)으로 총 23,000원입니다. 연어초밥을 주문하면 초밥 피스나 구워줄지 물어보십니다. 총 10피스 중 원하시는만큼 구워서 달라고 하면 ..

먹방/맛집 2021.02.17

마이카츠 지산범물점 [대구 지산동 맛집]

이번에는 지산동에 위치한 마이카츠 지산점에 다녀왔습니다. 내부인테리어는 깔끔한 화이트 톤과 우드의 조합으로 예쁘고 깨끗한 느낌이 납니다. 바닥의 헤링본 패턴은 가게 전반이 더 고급스럽고 지루하지 않은 공간이 되도록 만들어주는 거 같습니다. 가게 안에 있는 로고는 무척이나 예쁩니다. 메뉴판입니다. 마이카츠에는 다양한 메뉴들이 있습니다. 특색있는 메뉴는 마이카츠 3,500원입니다. 성인이 먹기에는 양이 적지만 매력적인 가격의 메뉴라고 생각합니다. 다른 매장에서 쉽게 찾아볼 수 없는 메뉴 중에 하나인 하이라이스 메뉴가 있습니다. 곧곧에 있는 체인점에서 하이라이스를 팔고 있다는 점에서 하이라이스 매니아 분들은 좋아할 것 같습니다. 제 지인 중에서도 그런 친구가 하나 있습니다. 오늘의 메뉴는 더블카츠(6,500원..

먹방/맛집 2021.02.16

[치킨] 땅땅치킨 허니순살 치킨 + 불닭 세트1 with 땅띠아 후기

이번에는 땅땅치킨 SET1번 허니순살 치킨과 불닭을먹어보았습니다. 땅땅치킨은 대구에서 시작한 치킨 브랜드로 15년이 넘은 프렌차이즈입니다. 본사 사이트에 들어가보니까 체인점이 전국에 300개가 넘는 대형 프렌차이즈네요. 땅땅치킨 세트1 허니순살 치킨 + 불닭: 19,900원 배달의 민족: 방문포장 2,000원 할인 / 요일할인 월요일 1,000원 할인 땅땅치킨 포장은 주황색으로 예쁜 포장입니다. 치킨과 무, 펩시 500ml입니다. 땅띠아와 어니언머스터드 소스는 리뷰이벤트로 서비스 받았습니다. 고소함이 살아있는 허니순살 치킨과 불닭은 땅땅치킨에서 가장 잘나가는 메뉴라고 합니다. 옛날에는 불갈비와 불닭이 세트로 있는 세트를 더 선호했는데 요즘에는 세트 1번을 더 자주 찾게 되는 것 같습니다. 땅띠아는 이름에..

도담찜닭 율하점 [대구 율하 맛집] - 로제크림 찜닭

이번에는 대구 율하에 위치한 도담치킨 율하점에 다녀왔습니다. 도담찜닭의 인테리어는 벽면에 오래된 옛날 동네 풍경이 그려져 있어 식당에 방문한 것만으로 이 마을에 들어왔다라는 생각이 들게 만듭니다. 그려진 벽화만 보면 80년대부터 시작된 프랜차이즈인가 하는 생각이 드는데 회사의 연혁을 보면 가맹사업 본부가 2018년에 세워졌습니다. 찜닭이라는 메뉴가 전통적인 부분, 역사를 갖고 있는 노포의 매력 같은게 있어서 역사가 짧아도 저런 인테리어를 만들어내지 않았을까 하는 생각이 들었습니다. 메뉴판입니다. 까만찜닭, 빨간찜닭, 로제크림 찜닭이 있고 그 밖에 다양한 부재료가 들어간 단호박, 모듬버섯, 매콤코다리 등 다양한 찜닭의 형태가 있습니다. 오늘의 메뉴는 도담 로제크림 찜닭 순살(20,000원) + 공기밥 2개..

먹방/맛집 2021.02.15

스시 오마카세 맛보기 스시하루나 [대구 신천 맛집]

이번에는 신천동에 위치한 스시하루나에 다녀왔습니다.* 9월초의 메뉴이므로 스시 오마카세 특성 상 시기별 구성이 달라질 수 있습니다. 스시하루나는 오마카세만 취급하는 매장입니다. 다른 매장이 런치와 디너를 구분해서 구성과 가격이 달라지는 것과는 다르게 구분없이 50,000원으로 통일됩니다.손님은 제가 방문했던 날은 저녁 2부(특별히 1,2부가 나눠져 있는 것 같진 않습니다) 19:00 예약으로 방문했고 18:00에는 3팀, 19:00에는 2팀이었습니다. 19시 예약이었으나 꽤 일찍 방문해서 18:45분쯤 도착해서 이전 팀 식사 마감시간을 봤을 때는 50분 정도 식사를 하였고 저희는 40분 식사를 했습니다. 공식 사이트: sushiharuna.com/ 그래서 오늘의 메뉴는 스시하루나 오마카세 50,000원 ..

먹방/맛집 2021.02.14

뜨돈 반야월점 [대구 각산역 맛집]

이번에는 대구 각산에 위치한 뜨돈 반야월점에 다녀왔습니다. 내부 인테리어는 천장도 높고 조명도 밝아 깨끗한 느낌입니다. 테이블이 굉장히 인상적이었는데 인조대리석 마감으로 되어있어서 깔끔한 느낌이 더 들었습니다. 식당은 무엇보다도 청결하다는 인상이 가장 중요한 것 같습니다. 메뉴는 굉장히 많은 편이고 가게 마감까지 얼마 남지 않은 시간이라 찍지 못했습니다. 굉장히 많은 메뉴 중에 어떤 걸 먹어야 이번 한끼를 만족스럽게 즐길 수 있을지에 대한 생각으로 가득차 있었기 때문이죠. 제 블로그를 봐주시는 소중한 분들에게 죄송하다는 말씀을 드립니다. 공식 사이트에 나오는 음료를 제외한 메뉴만 하더라도 29개나 되니 상당합니다. 돈까스 뿐만 아니라 파스타 등의 메뉴도 있으니 누구와 함께 가도 무난하게 즐길 수 있는 식..

먹방/맛집 2021.02.14

카페 반미콩 율하점 연유커피 + 연유라떼[대구 율하 카페]

이번에는 카페 반미콩 율하점에서 연유커피와 연유라떼를 먹어봤습니다. 내부인테리어입니다. 이 공간에 들어서는 것만으로도 해외여행을 온듯한 느낌을 느끼게 도와줍니다. 베트남을 가본적이없지만 한번쯤 가보고 싶게 만드는 분위기입니다. 메뉴판입니다. 일반 카페에서 파는 다양한 음료들과 함께 일반 카페와 달리 연유 혹은 코코넛이 들어간 음료 및 반미 샌드위치를 팝니다. 간단히 식사겸해서 방문해도 괜찮을 거 같습니다. 연유커피는 커피원액에 연유를, 연유라떼는 커피 원액에 연유와 우유를 넣는다고 합니다. 둘 모두 샷이 두잔 들어가니까 부드럽게 드시고 싶으시면 샷을 하나만 넣어달라고 하시면 좋을 거 같습니다. 인스타그램 팔로우를 하면 음료 size up 해주는 이벤트를 하네요. 인스타그램을 하시는 분들이라면 참고하시면 ..

반응형