스크래핑할 요소의 타게팅 - ID & Class

2-3. HTML의 Locator로 원하는 요소 찾기¶

• BeautifulSoup을 이용해서 더 정확하게 우리가 원하는 정보를 가져오는 방법을 학습해봅시다.

그래, 바로 너! id와 class¶

태그는 자신의 이름 뿐만 아니라 고유한 속성 또한 가질 수 있습니다.
이 중에서 id와 class는 Locator로서, 특정 태그를 지칭하는 데에 사용됩니다.

• tagname: 태그의 이름
• id: 하나의 고유 태그를 가리키는 라벨
• class: 여러 태그를 묶는 라벨

<p>This element has only tagname</p>
<p id="target">This element has tagname and id</p>
<p class="targets">This element has tagname and class</p>

id와 class를 이용해서 HTML의 특정 태그를 지칭하고 가져오는 방법에 대해서 알아봅시다.

In [1]:

# 스크래핑에 필요한 라이브러리를 불러와봅시다.

import requests
from bs4 import BeautifulSoup

또 다른 연습 사이트를 이용해봅시다.¶

http://example.python-scraping.com/

In [3]:

res = requests.get("http://example.python-scraping.com/")
soup = BeautifulSoup(res.text, "html.parser")

id를 이용해서 요소 가져오기¶

id는 요소 하나를 지칭하는 특별한 별명입니다. (겹칠 수 없어요!)
id를 이용하면 해당하는 태그 단 하나를 쉽게 가져올 수 있습니다.

In [4]:

## id 없이 div 태그를 찾아봅시다.

soup.find("div")

Out[4]:

<div align="center">
<h3>Error. Page cannot be displayed. Please contact your service provider for more details.  (17)</h3>
<!--- 1.241.75.157--->
</div>

In [5]:

## id가 results인 div 태그를 찾아봅시다.

soup.find("div", id="results")

class를 이용해서 요소(들) 가져오기¶

class는 유사한 요소들을 구분짓는 별명입니다.
class를 이용하면 해당하는 태그 단 하나를 쉽게 가져올 수 있습니다.

e.g. 차트 속의 데이터 등

In [6]:

# class가 "page-header"인 div 태그를 찾아봅시다.

soup.find("div", "page-header")

이는 객체이므로 다음과 같은 접근을 진행할 수 있겠죠?

In [8]:

# 위 결과에서 text 값을 깔끔하게 가져와봅시다.

find_result = soup.find("div", "page-header")
find_result
find_result.h1.text.strip() # 현재 예시 사이트가 비정상으로 에러

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
Cell In[8], line 5
      3 find_result = soup.find("div", "page-header")
      4 find_result
----> 5 find_result.h1.text.strip()

AttributeError: 'NoneType' object has no attribute 'h1'