본문 바로가기
Q&A2018년 8월 12일1분 읽기

Python으로 웹 스크래핑 하는 방법

파
파이썬입문
조회 2501댓글 4
Python으로 웹페이지에서 데이터를 긁어오고 싶습니다. BeautifulSoup이라는 라이브러리가 있다고 들었는데, 어떻게 사용하나요? 로그인이 필요한 사이트도 스크래핑할 수 있나요? Python 3.6을 쓰고 있습니다.

댓글 4

개개발자준호8년 전
기본적인 스크래핑 코드입니다:

```python
import requests
from bs4 import BeautifulSoup

res = requests.get("https://example.com")
soup = BeautifulSoup(res.text, "html.parser")
titles = soup.select("h2.title")
for t in titles:
print(t.text)
```

로그인이 필요하면 `requests.Session()`을 사용하세요.
파파이썬입문(guest)개발자준호8년 전
감사합니다! 근데 JavaScript로 렌더링되는 사이트는 빈 페이지만 가져와지는데 어떻게 하나요?
개개발자준호개발자준호8년 전
JS 렌더링 사이트는 Selenium이나 Playwright를 써야 합니다. 브라우저를 실제로 띄워서 크롤링하는 방식이에요.
김김영삼8년 전
주의: 스크래핑 전에 robots.txt와 이용약관을 확인하세요. 무분별한 스크래핑은 법적 문제가 될 수 있습니다.
Ctrl+Enter로 등록