티스토리

Abokadoh

검색하기

블로그 홈

Abokadoh

abokadoh.tistory.com/m

어서오세요. Data science | statistic

구독자: 0

방명록 방문하기

주요 글 목록

9. find_all 과 find의 차이점 find_all 은 list 형식안에 tag들을 뽑아낸다. 때문에 find_all로 반환된 리스트를 get_text로 text만 뽑아내기 위해서는 for문을 돌려야한다. 우선, 인터넷 기사의 html문을 불러와서, BeautifulSoup으로 보기좋게 만들었다. 내가 찾고 싶은 것은 인터넷 기사에 달린 ‘댓글의 수’이다. 댓글은 span tag에 num_cmt 어쩌구 에 들어가있는 것을 확인할 수 있다. find함수를 써서 count를 뽑아보겠다. count = soup.find('span', class_ = 'num_cmt alex-count-area') 결과는 tag로 나온다. 이 tag값에서 text를 빼내는 함수는 get.text()이다. .text도 됨 count.get_text() #or co.. 공감수 0 댓글수 0 2023. 2. 15.
8. selenium (3) - webdriverWait selenium을 활용하여 특정 element의 로딩을 기다리고 데이터를 크롤링해보자 element의 로딩을 기다린다는 말은 예를 들어 페이지가 완전히 Load되고 나서 정보를 긁어오고 싶을 때를 말한다. ex) 뉴스의 댓글 수는 처음 페이지 요청시에 곧바로 불러지지 않는다. 이런 경우 로딩을 완전히 기다리고 데이터를 크롤링하는 방법을 사용해야 할 수 있다. 네이버 기사의 댓글 수를 추출해보겠다. 우선 네이버 기사의 html 문서를 크롤링해보자 chorme_drvier = '/Users/choehyeogjae/Desktop/chromedriver' driver = webdriver.Chrome(chrome_drvier) url = 'https://n.news.naver.com/mnews/article/0.. 공감수 0 댓글수 0 2023. 2. 15.
7. selenium 모듈 (2) - 다음뉴스 웹사이트 크롤링 우선 selenium webdriver ,BeautifulSoup 을 불러주고, chromedriver의 경로를 지정해주자. from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import time chrome_driver = '/Users/choehyeogjae/Deskt.. 공감수 0 댓글수 0 2023. 2. 15.
6. selenium 모듈 (1) selenium 모듈은 크롤링의 끝판왕이라는 말이 있다. requests 와 beautifulSoup 모듈 조합으로 크롤링에 실패한 경험이 있을 때 selenium을 사용하면 거의 100퍼센트 크롤링에 성공할 수 있다. 1. selenium으로 크롬 검색 프로그램 만들기 (with. chrome driver ) 우선 사용할 패키지와 모듈을 불러보자. 꽤 많다. 외운다기보단 필요할 때마다 복사해서 쓰는 게 좋겠다. from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.suppor.. 공감수 0 댓글수 0 2023. 2. 14.
사이트에서 가격 정보 data crawling 큐스터디라는 사이트에서 로그인한 상태에서의 전공임용수학 과목의 가격을 크롤링해보자 우선 사이트에서 개발자 도구를 열어 Network에서 로그인을 위해 post한 값을 찾는다. 내가 입력한 id, pw 값과 주소가 나타난다. (보라색) import requests # requests 패키지를 불러주고 url = 'https://qstudy.kr/module/login/loginProc.php' data = {'stw_top_id' : 나의 아이디, 'stw_top_pw' : 나의 비밀번호} url 주소는 로그인 후 나타나는 Network의 hearders에서 General 부분에 Requests URL을 보면 확인할 수 있다. 이제 여기서부터가 중요함. 우리는 전에 url에서 로그인할 때 requests... 공감수 0 댓글수 0 2023. 2. 14.
정규표현식으로 tag 찾기 & 정규표현식 정리 import re soup.find_all(re.compile('h\d') # h라는 문자 뒤에 어떤 숫자 하나 compile함수를 사용하기 위해서는 re 모듈을 불러와야한다. soup.find_all('img', attrs = {'src' : re.compile('.+\.jpg')}) 'img' tag, attrs인 것 모두 찾기 soup.find_all('h3', class_ = 'tit_view') soup.find_all('h3', class_ = re.compile('.+view$') h3 tag에 class명 'tit_view인 모든 것 찾기 h3 tag에 class명 . + view로 끝나는 모든 것 찾기 공감수 0 댓글수 0 2023. 2. 14.
5. CSS selector를 이용하여 tag 찾기 1. select, select_one 함수 사용법 select : 만족하는 조건의 모든 elements를 찾는다. (리스트처럼 만들어준다.) select_one : 만족하는 조건의 첫번째 elements를 찾는다. (단일 결과물은 str type으로 반환) - css selector 사용법 태그명 찾기 tag 자손 태그 찾기 - 자손 관계 (tag tag) 자식 태그 찾기 - 다이렉트 자식 관계 (tag > tag) 아이디 찾기 #id 클래스 찾기 .class 속성값 찾기 [name = ‘test’] 속성값 prefix 찾기 [name ^=’test’] 속성값 suffix 찾기 [name $=’test’] 속성값 substring 찾기 [name *=’test’] n번째 자식 tag 찾기 :nth-ch.. 공감수 0 댓글수 0 2023. 2. 14.
4. beautifulsoup 모듈 1. beautiful 모듈 BeautifulSoup이란 스크래핑을 하기위해 사용하는 패키이다. 즉, BeautifulSoup은 response.text를 통해 가져온 HTML 문서를 탐색해서 원하는 부분을 뽑아내는 역할을 하는 라이브러리이다. response.text로 가져온 HTML문서는 단순히 string에 지나지 않으니, 의미있는(?) 분석에 용이한 HTML문서로 변환이 필요하다. 결론적으로, response.text로 가져온 string type의 HTML문서를 BeautifulSoup을 이용해 원하는 부분을 탐색할 수 있게 된다. 이제 beautiful 모듈을 사용해보자. from bs4 import BeautifulSoup beautifulsoup을 사용하기 전 html 문자열 파싱에 대해서.. 공감수 0 댓글수 0 2023. 2. 14.
3. requests 모듈 (http 통신) 1. requests 모듈이란 requests모듈이란 http request/response를 위한 모듈이다. HTTP method를 메소드 명으로 사용하여 request를 요청한다. ex) get, post 우선 requests 모듈을 불러보자. import requests get 요청의 경우는 requests 모델의 get함수를 사용하면 된다. 우선 url을 다음과 같이 정의하자. (요청할 사이트임) url = 'https://news.v.daum.net/v/20190728165812603' resp = requests.get(url) resp 위 코드는 url에 해당하는 서버에 요청하여 응답값을 가져오라는 의미이다. 이 결과값으로 Response [200]이라는 output을 받을 수 있는데, 2가.. 공감수 0 댓글수 0 2023. 2. 14.
2. http method (GET, POST) 1. HTTP 란 HyperText Transfer Protocol: HTML문서 등의 리소스를 전송하는 프로토콜이다 클라이언트(ex.브라우저)가 정보를 필요로 하면 서버로부터 http요청을 한다. 그럼 서버는 http응답을 하고 클라이언트는 받은 서버로부터 받은 응답을 랜더링하여 사용자에게 뿌려준다. 이러한 HTTP 요청에는 방식이 있다. (get, post, put, delete, option 등…)크롤링 관점에서 가장 많이 사용하는 방식은 GET, POST이다.(Get이 가장 많이 쓰임) 2. Get 요청 : 데이터를 URL에 포함하여 전달(주로 리소스 요청에 사용한다.) 마이클 조던을 네이버에 검색하고 Network 에서 가장 위에 있는 메인로그를 확인해보면 Request Method 에 GET .. 공감수 0 댓글수 0 2023. 2. 13.
1. 개발자 도구, Elements, Network 1. 개발자 도구 열기 웹페이지를 크롤링하기 위해 우선 개발자 도구로 Elements, Network탭을 살펴보자 실습에 이용할 사이트는 다음의 뉴스이다. https://v.daum.net/v/20190728165812603 chrome에서 연 다음의 사이트이다. chrome 브라우저를 사용해 사이트를 열었으면 개발자 도구를 열어보자. 메뉴 탭에 보기- 개발자 정보 - 개발자 도구를 클릭한다. 그럼 우측에서 새로운 창을 하나 볼 수 있게 될 것이다. 2. Element, Network 이제 개발자 도구창에서 Element와 network 창을 살펴보자. 다른 기능은 크롤링할 때 크게 사용하는 부분이 아니라고 한다. Elements를 보면 이렇게 다양한 html tag 들을 볼 수 있따. ( 보라색 글씨가.. 공감수 0 댓글수 0 2023. 2. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.