Notice
Recent Posts
Recent Comments
Link
터칭 데이터
2주차 - 3 [웹/웹 스크래핑(크롤링)] BeautifulSoup 본문
두괄식 요약
1. requests로 요청후 받게 된 DOM 객체를 파싱해 원하는 데이터를 추출하는 것이 웹 스크래핑의 기본 과정
2. DOM 객체의 파싱을 도와주는 라이브러리가 BeautifulSoup
3. 정적(static)인 웹페이지에 대한 파싱 및 데이터 추출이 BeatifulSoup의 주력분야
4. 동적(dynamic)인 웹을 처리하는 Selenium 역시 BeatifulSoup와 마찬가지로 원하는 데이터가 어디있는지 타게팅하는 것이 스크래핑 실력의 척도
5. 웹 스크래핑 자체는 쉬운 작업이지만 다양한 형태의 웹이 발생시키는 예외처리에 대응하는 것 역시 매우 중요
requests시 보낼 헤더에 대한 접근 & 페이지네이션
'데브코스 TIL' 카테고리의 다른 글
2주차 - 5 [웹/웹 스크래핑(크롤링)] 시각화 (0) | 2023.10.27 |
---|---|
2주차 - 4 [웹/웹 스크래핑(크롤링)] Selenium (0) | 2023.10.26 |
2주차 - 2 [웹/웹 스크래핑(크롤링)] 고려할 점과 requests 라이브러리 (0) | 2023.10.24 |
2주차 - 1 [웹/웹 스크래핑(크롤링)] 웹과 HTML (0) | 2023.10.23 |
1주차 - 5 [특강] ChatGPT 활용하기 (0) | 2023.10.20 |