1. HTTP 란
- HyperText Transfer Protocol: HTML문서 등의 리소스를 전송하는 프로토콜이다
클라이언트(ex.브라우저)가 정보를 필요로 하면 서버로부터 http요청을 한다. 그럼 서버는 http응답을 하고 클라이언트는 받은 서버로부터 받은 응답을 랜더링하여 사용자에게 뿌려준다.
이러한 HTTP 요청에는 방식이 있다. (get, post, put, delete, option 등…)크롤링 관점에서 가장 많이 사용하는 방식은 GET, POST이다.(Get이 가장 많이 쓰임)
2. Get 요청
: 데이터를 URL에 포함하여 전달(주로 리소스 요청에 사용한다.)
마이클 조던을 네이버에 검색하고 Network 에서 가장 위에 있는 메인로그를 확인해보면 Request Method 에 GET 방식임을 알 수 있다. 즉 우리가 검색할 때 사용되는 http 요청 방식은 GET이다.
그리고 POST 방식.
3. POST 방식
POST 방식은 대부분 우리 눈에 보이지 않는 요청이다. 예를 들면 로그인 페이지이다.
로그인 페이지를 요청하는 것 자체는 Get방식이지만 로그인 페이지에서 로그인 버튼을 눌러서 로그인하는 행위는 Post방식이다.
네이버에서 로그인을 하고 개발자 도구의 Network 를 확인해보면 Request Method에 Post 방식임이 나타난다.
'python > data crawling' 카테고리의 다른 글
정규표현식으로 tag 찾기 & 정규표현식 정리 (0) | 2023.02.14 |
---|---|
5. CSS selector를 이용하여 tag 찾기 (0) | 2023.02.14 |
4. beautifulsoup 모듈 (0) | 2023.02.14 |
3. requests 모듈 (http 통신) (0) | 2023.02.14 |
1. 개발자 도구, Elements, Network (0) | 2023.02.13 |