
# 다음 User-Agent를 추가해봅시다.

user_agent = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"}


# 필요한 라이브러리를 불러온 후, 요청을 진행해봅시다.

import requests
from bs4 import BeautifulSoup

res = requests.get("https://hashcode.co.kr/", user_agent) # 2번째 인자는 header다.
res.text[:300]

'<!DOCTYPE html>\n<html lang="ko" xml:lang="ko" xmlns="http://www.w3.org/1999/xhtml">\n<head>\n  <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no" />\n<meta charset="utf-8">\n<title>QnA | 프로그래머스 커뮤니티</title>\n<link rel="shortcut icon" type="image/png'


# 응답을 바탕으로 BeautifulSoup 객체를 생성해봅시다.

soup = BeautifulSoup(res.text, "html.parser")


# 질문의 빈도를 체크하는 dict를 만든 후, 빈도를 체크해봅시다.

soup.find("li", "question-list-item").find("div", "question").find("div", "top").h4.text

'What is outstaffing? '


soup.find_all("li", "question-list-item")[0].h4

<h4><a href="/questions/18495/what-is-outstaffing">What is outstaffing? </a></h4>


# 질문의 제목을 모아서 가져오기
questions=soup.find_all("li", "question-list-item")

for qst in questions:
    print(qst.find("div", "question").find("div", "top").h4.text)

What is outstaffing? 
flask를 vscode에서 gunicorn을 활성화해서 실행시키고 싶은데 gunicorn을 활성화했는데도 wsgi  서버를 활용하지 않느다고 오류메세지가 뜨네요
MSSQL 2008->2019 마이그레이션 후 게시판 정렬 문제
묵시적 형변환
y값이 입력이 안됩니다.
이 방식으로 배포하는 게 맞나요?
스택 자료 삭제 알고리즘 문제 관련 궁금한 점
프로그램에 대하여
iframe의 토큰 관련 질문입니다!
css border 속성 관련 질문 드립니다. 
vscode 관련 질문 드립니다.
Flutter를 노마드코더를 통해 공부하려는데 세팅에서 막혔어요
프로그래머스 입문
파이썬 기본 문제
정답은 12인데 결과값이 15가 나옵니다
메모리 해제 관련해서 질문 있습니다
vscode 모듈 불러오기 오류 질문
코딩 연습문제로 짝수의 합 문제에서 
목표를 달성하기 위한 최고의 프로그래밍 언어 선택
[Django] TypeError: Object of type InMemoryUploadedFile is not JSON serializable 오류
자바  오류 질문
자바스크립트, mysql 로그인 화면 구현 질문입니다.
C, C++ 구구단 단 옮기기 질문드립니다.
파이썬 오류 질문드려요. AttributeError: 'Turtle' object has no attribute 'onkeypress'
C언어 pancake sorting 질문드립니다.
NestJS 질문입니다. 
mediafoundation을 이용하여 라이브영상을 출력하려 합니다
python pandas dataframe을 엑셀 vlookup처럼 활용하고 싶은데 쉽지 않습니다. 도와주세요
c언어 단순 질문
선행 프로세스가 죽으면서 메모리 객체를 후행 프로세스로 넘기는 Fancy한 방법 
아무것도 모르는 신입사원 도와주세요 ㅠㅠ any admin 게시판 설치파일을 구할수 있는 방법이 있나요?
cv2 설치 오류 해결 방법 알려주실수 있나요?
좌클과 우클 동시에 클릭하게하는법이 궁금해요
vs code를 이용하는데 windows환경 파일 경로 인식이 안됩니다.ㅠㅠ
C# 인터페이스를 상속 받은  클래스를 구별할 수 있나요 ?
[스프링부트] 컨트롤러와 매핑된 핸들러가 없는 오류
포트번호를 firewall 로 인바운드&아웃바운드를 차단 설정하면 보안상 안전하다고 할 수 있을까요? 
이미지를 크롤링하여 다운로드 할때 생기는 오류
유니티 리듬게임 제작 (메트로놈 제작) 관련 질문입니다.
if문 기초 질문가능할까요?
웹 스크래핑 독학 중인,, 초렙이 질문합니다 '-',,
AttributeError: Module 'scipy' has no attribute '_lib' 질문드립니다.
현업 spring 개발에 대한 궁금증
floating point 저장 방식 질문 Clang
프로그래머스 코드에디터 불편함 질문드려요..
개인 웹사이트 업로드 하려면
mfc 포인터 배열
프로그래머스 문제를 마크다운 형식 그대로 벨로그에 복사할 수 있나요? 
java로 web server 만드는 과제중인데요..
텍스트 파일에서 평균 단어 길이 구하기 파이썬 기초


# Pagination이 되어있는 질문 리스트의 제목을 모두 가져와봅시다.
# 과도한 요청을 방지하기 위해 1초마다 요청을 보내봅시다.

import time

for i in range(1, 6):
    print("https://hashcode.co.kr/?page={}".format(i))

for i in range(1, 6):
    res = requests.get("https://hashcode.co.kr/?page={}".format(i), user_agent)
    soup = BeautifulSoup(res.text, "html.parser")
    
    questions=soup.find_all("li", "question-list-item")
    
    print()
    print('---------- 페이지 {} -----------'.format(i))
    print()
    
    for qst in questions:
        print(qst.find("div", "question").find("div", "top").h4.text)
    time.sleep(1) # 1초마다 텀을 주어 천천히 긁어 오는 테크닉

https://hashcode.co.kr/?page=1
https://hashcode.co.kr/?page=2
https://hashcode.co.kr/?page=3
https://hashcode.co.kr/?page=4
https://hashcode.co.kr/?page=5

---------- 페이지 1 -----------

What is outstaffing? 
flask를 vscode에서 gunicorn을 활성화해서 실행시키고 싶은데 gunicorn을 활성화했는데도 wsgi  서버를 활용하지 않느다고 오류메세지가 뜨네요
MSSQL 2008->2019 마이그레이션 후 게시판 정렬 문제
묵시적 형변환
y값이 입력이 안됩니다.
이 방식으로 배포하는 게 맞나요?
스택 자료 삭제 알고리즘 문제 관련 궁금한 점
프로그램에 대하여
iframe의 토큰 관련 질문입니다!
css border 속성 관련 질문 드립니다. 
vscode 관련 질문 드립니다.
Flutter를 노마드코더를 통해 공부하려는데 세팅에서 막혔어요
프로그래머스 입문
파이썬 기본 문제
정답은 12인데 결과값이 15가 나옵니다
메모리 해제 관련해서 질문 있습니다
vscode 모듈 불러오기 오류 질문
코딩 연습문제로 짝수의 합 문제에서 
목표를 달성하기 위한 최고의 프로그래밍 언어 선택
[Django] TypeError: Object of type InMemoryUploadedFile is not JSON serializable 오류
자바  오류 질문
자바스크립트, mysql 로그인 화면 구현 질문입니다.
C, C++ 구구단 단 옮기기 질문드립니다.
파이썬 오류 질문드려요. AttributeError: 'Turtle' object has no attribute 'onkeypress'
C언어 pancake sorting 질문드립니다.
NestJS 질문입니다. 
mediafoundation을 이용하여 라이브영상을 출력하려 합니다
python pandas dataframe을 엑셀 vlookup처럼 활용하고 싶은데 쉽지 않습니다. 도와주세요
c언어 단순 질문
선행 프로세스가 죽으면서 메모리 객체를 후행 프로세스로 넘기는 Fancy한 방법 
아무것도 모르는 신입사원 도와주세요 ㅠㅠ any admin 게시판 설치파일을 구할수 있는 방법이 있나요?
cv2 설치 오류 해결 방법 알려주실수 있나요?
좌클과 우클 동시에 클릭하게하는법이 궁금해요
vs code를 이용하는데 windows환경 파일 경로 인식이 안됩니다.ㅠㅠ
C# 인터페이스를 상속 받은  클래스를 구별할 수 있나요 ?
[스프링부트] 컨트롤러와 매핑된 핸들러가 없는 오류
포트번호를 firewall 로 인바운드&아웃바운드를 차단 설정하면 보안상 안전하다고 할 수 있을까요? 
이미지를 크롤링하여 다운로드 할때 생기는 오류
유니티 리듬게임 제작 (메트로놈 제작) 관련 질문입니다.
if문 기초 질문가능할까요?
웹 스크래핑 독학 중인,, 초렙이 질문합니다 '-',,
AttributeError: Module 'scipy' has no attribute '_lib' 질문드립니다.
현업 spring 개발에 대한 궁금증
floating point 저장 방식 질문 Clang
프로그래머스 코드에디터 불편함 질문드려요..
개인 웹사이트 업로드 하려면
mfc 포인터 배열
프로그래머스 문제를 마크다운 형식 그대로 벨로그에 복사할 수 있나요? 
java로 web server 만드는 과제중인데요..
텍스트 파일에서 평균 단어 길이 구하기 파이썬 기초

---------- 페이지 2 -----------

파이썬 invalid literal for int
코딩테스트 응시 규정 질문
진로, 공부 고민
런타임 에러 (AccessNullPointer) 해결방안 부탁드립니다!
[파이썬] 페이지별로 분리해서 관리 할때 오류 발생됩니다. 도와주세요 ㅜ
코드 오류: "'sklearn.linear_model'에서 'DecisionTreeClassifier' 이름을 가져올 수 없습니다."
행님덜~~네이버 플레이스리뷰 크롤링 좀 도와주세요!!!
(AWS S3) axios 파라미터가 로컬에선 전달되는데 배포서버에서는 전달되지 않습니다
ResponseEntityExceptionHandler에서 캐치하지 못하는 예외
파이썬 딕셔너리 합 출력
코딩테스트 쿼리
eai 인터페이스 구축 예제 나 교육을 받을 수 있는 사이트가 있을까요?
웹사이트 모바일에서 이미지가 안 보여요 (뉴비)
파이썬 진짜 진짜 기초...
아나콘다 주피터 노트북 이동
for문을 이용한 roi
파이썬 판다스에서 엑셀 파일 불러온 후 다시 저장할때 년월일이 저장이 않되는 부분 해결 방법 알려 주시면 고맙겠습니다.
입력된 숫자들 중 가장 큰 소인수를 지닌 숫자를 찾는 문제 
깃 플로우 관련질문
자바 출력 결과 질문 드립니다
.bat 배치파일 날짜 지정 부분 질문드립니다
파이썬 문제 풀이중 이해가 안가는 부분이 생겨서 질문드립니다
백준 문제(bfs) 질문입니다
fread함수 질문입니다.
이 코딩을 파이썬으로 바꿔주세요
엑셀의 표를 읽어와서, 조건부 서식 - 색조를 파이썬으로 구현하고 싶은데 어떻게 해야되나요?
t-test, 다중공선성에 대해 잘 아시는분 계실까요??
org.eclipse.jst.j2ee.project.facet.j2ee facet constants 에러메시지 도저히 못잡겠네요.
File I/O할 때 .readlines()[:5]의 의미와 sourcefile/targetfile 의미
스택 오버플로우가 왜 발생하는 지 모르겠어요...
초보 자바 경로 인식에 관하여 질문 드립니다.(같은 경로에 있는 사진 파일을 하나는 인식을 하고 하나는 인식을 못합니다)
python 처음이여서.. pandas좀 질문 드립니다!
자바 - [공원 산책] 문제 런타임 에러 계속 해결 못하고 있는데 원인 알 수 있을까요..
프로그래밍을 처음 시작하려 하는데 어려움이 있어 질문 드립니다..도와주세요..
파이썬 *args, **kwargs 관련 질문
파이썬 전역변수에 대해 이해가 안가서요 답변 주실 수 있을까요?
파이썬 코드 질문 (파일 입출력 문제, count = [0] * 10이 어떤의미인지 모르겠습니다.)
pyinstaller 고수님들 계신가요?
파이썬 문제 3가지
Next.js API에서 쿠키 접근하는 방법
진짜 간단한 코딩 질문입니다. (c언어)
코딩 급한 질문 있습니다
확장 칼만필터 파이썬 코드로 구현 중 ValueError 발생
Node.js 질문 드립니다ㅠㅠ
문제 군데 군데
코딩테스트 공부법 질문합니다..!
pybig 모듈 파이썬에서 import 되지 않는 에러(ModuleNotFoundError )가 발생합니다.
이 학습 예제 출력이 왜 안되는지 알려주실분...
구글코랩Google colab Mecab 객체생성 에러
지금 코딩테스트 코드 실행 및 제출 저만 안되나요,,?

---------- 페이지 3 -----------

C언어 문자열 출력에서 쓰레기 값 발생
자바스크립트 일주일 공부했는데 문자열 출력 문제도 못풀면 접어야 합니까
코딩테스트 연습 - 컨트롤 제트 문제 질문
mave에서 ojdbc6 추가하는데 오류나요
c++질문
프로그래머스 푼 답안을 인텔리제이에서도 실행하고 싶어요
Mac m1에서 utm으로 centOS7 설치
올리브영 웹사이트 크롤링
system("cls")가 동작하지않습니다.
pandas 구간별 평균 구하는 방법
코딩테스트 응시 안내 관련 문의사항
scanf_s에서 입력에 자꾸 오류가 나타나는데, 어찌 해결해야 할까요?
xgboost 하이퍼파라미터 질문
정수를 입력받아 짝수의 합과 홀수의 합을 구하는 프로그램
프로그래머스 vim 입력모드->일반모드 전환하는 방법
파이썬 프로젝트 중 오류
구조체 사용하여 다항식의 덧셈 구현하는 문제
Fourier transform 된 사진파일의 HPF 코으
다시 매개변수화되어야 하는 매개변수화된 메서드 작성
파이썬 간단한 별그리기 질문
Java 홀수 혹은 짝수의 합 구하는 프로그램 질문
c언어 마름모 출력 프로그램
컴퓨터 시간을 기준으로 자동으로 그 시간이 되면 제가 설정한 문구를 타이핑 할 수 있게 만드는데 잘 작동하지 않습니다
4종류의 강아지를 분류하는 코드로 다람쥐와 청설모를 분류하는 코드를 만들었습니다. 이미지 파일만 다람쥐 파일로 바꿨는데 거의 마지막에 KeyError가 발생.
가변인자..... 평균값 아직 초보라 아예 모르겠습니다. 식 알려주시ㅣ면 식으로 공부 하겠습니다 한번만 좀 알려주세요 ㅠㅠㅠ
파이썬 가변인자 * 를 사용하는 get_average_score 함수 구현하기
판다스 데이터프레임 합치기 질문
C언어 헤더파일에서 int& x를 어떻게 사용해야 하는지 모르겠습니다.
오브젝트가 오른쪽에 있는지 왼쪽에 있는지 판별
Android Java 휴대폰에서 동영상 재생 중 전원을 꺼도 동영상 재생이 일시 중지되지 않습니다.
파이썬 반복분 출력
자바 기초 코딩 더 깔끔하게 고칠수있을까요?
페이징 코드좀 만들어주세요
파이썬 코드 질문
matplotlib 으로 막대그래프와 선그래프 그리기
파이썬 연결 리스트 질문드립니다.
공백삭제 관련질문드립니다
[Pandas] dataframe for문으로 여러개 만들기.
ai와 겨루는 3*3 틱텍토 게임 구현 코드를 짜는 중에 오류가 생겼습니다.
GUI 구성 시 엔진 부분과 GUI 부분을 분리하는 철학, 방식, 메소드에 관한 조언 
자바 객체선언 오류 질문입니다!
파이썬 간단한 코드 질문
'''로 주석으로 만들었는데 왜 주석을 지우지 않으면 유니코드오류가 왜 나는지 모르겠어여
#define 상수 선언떄
우분투 vmware 가상머신 오류
파이썬 멀티스레딩 질문
파이썬 엑셀 파일 읽기
머쓱이 스탬프 할때 답보기요
BFS를 사용해도 무관한지 궁금합니다!
C# 백준 25206 문제 뭐가 문제인지 확인시켜줄 고수분 

---------- 페이지 4 -----------

python 제너레이터화
리액트 쿼리에서 useQuery를 어떻게 사용해야하나요
html/javascript 로 node.js통해서 아두이노 통신관련
Binary search tree
Python 정규표현식을 사용한 패턴 추출
 code: 'MODULE_NOT_FOUND' 좀 도와주세요
파이썬 데이터베이스 저장할때 다른방법없을까요?
코딩테스트 첫번째 폰켓몬 문제 왜 맞는건가요?
좋아요 한 문제만 따로 볼 수 있나요?
멀티프로세싱 프로그램 실행시 수십개의 프로그램이 실행됩니다.
c언어 왜 소수점을 넣어야 결과가 나오나
HTML 전혀 모르는데요
QR코드만 이용해서 앱 개발을 하면 많이 힘들까요?
(생초보) 파이썬 *매개변수의 개수
로지스틱 회귀
프로그래머스 코딩테스트 2단계 구명보트에서
Java 개인 연습 중 배열에서 오류가 났는데 해결 방법을 모르겠습니다.
파이썬 csv 파일을 불러와 구분하는 방법에 대해 질문 드립니다
다음의 xarray를 어떻게 'time' series로 변형할 수 있는지 여쭈어봅니다.
'xlsx' file을 'nc' format으로 변환 후 저장하는 과정에서 계속 에러가 뜹니다..
dayArray[dayOfWeek-1]  이건 어떻게 해석하나요?
파이썬 클래스 객체 생성에 관한 질문
HashMap에서 equals 재정의할때 들어가는 Object가 뭔지좀 가르쳐주세요
파이썬 beautifulsoup 텍스트만 출력하기
spy++, inspect가 특정 프로그램의 child windows를 불러오지 못하는 거 같습니다
[python질문] i for i in range를 처음보는데 질문있습니다..
파이썬 웹크롤링 selenium 공부 중인데 계속 타입에러가 떠서 왜 오류가 이렇게 뜨는지 알  수 있을까요ㅠㅠ
c언어 코딩테스트 level0 문제 어디가 문제 있나요?
한달 째 고민중인 cpp "char" 1byte send/receive 코드 질문 드립니다..ㅠㅠ
스킬 체크 테스트 Level.2 문제 2 Java 무한루프 문의드립니다.
자바스크립트 저장된 파일 제목으로 날짜 뽑는법 질문드립니다.
자바스크립트 세션 스토리지에 slider 발류 저장법
Regex로 특정 단어부터 empty lines까지 찾는 법
TimSort의 단점이 뭘까요?
파이썬 BeautifulSoup4 웹크롤링 관련 질문
자바스크립트 분수의 덧셈 질문입니다. 뭐가 문제인지 모르겠어요
맥에서 터미널을 킬때 이런 문구가 나옵니다
파이썬3 2차원배열 입력하기
MFC 마우스 이벤트 처리 관련 질문입니다.
자바스크립트 질문있습니다.
python의 os 모듈의 listdir함수에 대해 질문있습니다
AttributeError at /admin/r/31/4/ 'NoneType' object has no attribute 'startswith' 
id.length==0 || id=="" 둘다 같은의미아닌가요?
자바 iterator 질문이요 
파이썬 Django 질문이욧!!!
javascript 의 재귀함수 문제
c++ class 동적할당 배열 생성자
스프링 배치 writer 질문
C++ STRCAT 구현부분 질문
파이썬 모듈 설치 하기

---------- 페이지 5 -----------

[python3] Lv.1 신고 결과 받기 / 접근 방식 및 딕셔너리 값 관련 문제해결
동적배열을 이렇게 선언하면 안되는 이유가 있나요?
qt 디자이너 사용해서 프린터와 pdf 저장하기 작성중입니다. 출력시 에러가 발생됩니다.메인 윈도우 창 전체를 프린터 및 pdf로 저장하고 싶습니다.
Q&A 게시판 내 작성글 보기
서블릿 response관련 기초적인 질문할께요ㅠ
[코틀린] private 질문
live server 에서는 사진이 나오는데 Netlify로 사이트를 만들면 거기서는 사진이 안나와요
자바 코드 관련하여 질문드립니다
파이썬으로 서로 다른 두 데이터를 매칭하려 하는데 어떤 방법을 이용해야할지 좋을지 모르겠어요
영상을 프레임별 이미지로 변환
scanf_s와 switch-case문 오류
라즈베리파이에서 사진 캡쳐 후 저장하는 코드를 짰는데 넘버링을 하고 싶습니다.
hide(), show() 가 동기적으로 작동하지 않는데 문제점을 모르겠습니다.
[VB.NET] POST 방식의 HTTPS 통신 시 에러 문제점
자료구조 다항식의 덧셈을 자바로 바꾸는 문제. delTerm 같은 함수들 활용법
c언어 간단한 문제 질문 儆儆儆儆儆
아코디언 갤러리를 구현하려고 합니다. 
파이썬 openpyxl 값 좌표 찾는 방법
for문을 이용한 json 배열 배치하는 테이블 생성 
판다스 read_excel() 소수점 질문
c언어로 마방진 짜는 코드 질문이요
파이썬 장고(django) 프레임웍 환경에서 자동 로그인 구현하는 방법?
파이썬 타이머 버튼이 눌렸을 때 시간이 멈추도록
고수님들 파이썬 엑셀파일 만드는 코드좀 부탁드립니다
sql 쿼리 : 특정 카테고리 직전 및 직후 구매한 카테고리
overfitting 및 예측 data augmentation 
[판다스] 원천 데이터 프레임의 <>안의 문자만 뽑아 새로운 데이터 프레임 생성
파이선 체크박스 저장 & 불러오기 질문
파이썬 버블정렬구현
dijkstra 최단경로
파이썬 이진탐색트리
[파이썬] 판다스 중복 컬럼 찾기
과제요청 삭제 코딩 왕초보 입니다.... for문과 인덱싱을 활용한 딕셔너리 출력
python -m pip install pyautogui 안되는데 이거 왜 그런건가요.
 linearmodels install 질문
컴파일 후 에러 발생
pygame 딜레이
c언어 파일 출력시 儆儆이러한 문자가 뜨는 이유가 뭔가요?
리눅스 아니면 아이텀2에서 fxml파일을 만들려고 하는데
html class 선언 코드 질문
터미널 alias 등록
파이썬 len(str([2,4])) 이 왜 6인가요?
folium marker끼리 연결
자바 랜덤으로 1~6사이의 난수를 뽑는데 2,3,6만 뽑고싶습니다. 이럴땐 어떻게 코딩하나요?
파이선 데이터 저장 / 불러오기
c언어 질문드립니다.
Wamp 설치오류 도와주세요 ㅜ
Location values cannot contain NaNs. 
(심사 중)이라는 메시지는 어떤 절차가 있다는 걸까요?
PG결제 연동시 발생하는 보안이슈 문제질문드립니다.

Selenium - Explicit Wait과 Implicit Wait (0)	2023.10.26
Selenium의 기초 WebDriver (0)	2023.10.26
스크래핑할 요소의 타게팅 - ID & Class (0)	2023.10.25
스크래핑할 요소의 타게팅 - 태그 (0)	2023.10.25
파싱과 스크래핑의 기본, BeautifulSoup (0)	2023.10.25

터칭 데이터

터칭 데이터

요청시 헤더의 수정과 페이지네이션(Pagination) 본문

요청시 헤더의 수정과 페이지네이션(Pagination)

2-4. BeautifulSoup을 이용해 원하는 요소 가져오기 II - Hashcode 질문 가져오기¶

스크래핑하고자 하는 사이트 확인하기¶

header로 User-Agent를 전달하자¶

혹은 아래와 같은 방법으로도 찾을 수 있다.¶

'웹 스크래핑(Web scraping)' 카테고리의 다른 글

티스토리툴바

« 2025/06 »
일	월	화	수	목	금	토
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

터칭 데이터

요청시 헤더의 수정과 페이지네이션(Pagination) 본문

요청시 헤더의 수정과 페이지네이션(Pagination)

2-4. BeautifulSoup을 이용해 원하는 요소 가져오기 II - Hashcode 질문 가져오기¶

스크래핑하고자 하는 사이트 확인하기¶

header로 User-Agent를 전달하자¶

혹은 아래와 같은 방법으로도 찾을 수 있다.¶

Bonus: 페이지네이션(Pagination)¶

'웹 스크래핑(Web scraping)' 카테고리의 다른 글

티스토리툴바