Web Crawling - 기초

2024. 7. 9. 09:52·빅데이터 분석가 양성과정/Python
목차
  1. 가볍게 살펴보기

가볍게 살펴보기


    
from bs4 import BeautifulSoup
html = """
<html>
<body>
<h1>크롤링</h1>
<p> 웹 페잊 분석 </p>
<p> 원 하는 내용 추출 </p>
</body>
</html>
"""

    
soup = BeautifulSoup(html, 'html.parser')
h1 = soup.html.body.h1
p1 = soup.html.body.p
p2 = p1.next_sibling.next_sibling
print('h1 = ', h1.string)
print('p = ', p1.string)
print('p = ', p2.string)

h1 = 크롤링

p = 웹 페이지 분석

p = 원 하는 내용 추출


    
from bs4 import BeautifulSoup
html = """
<html>
<body>
<ul class = "greet">
<li>hello</li>
<li>bye</li>
<li>welcome</li>
<ul class = "reply">
<li>ok</li>
<li>no</li>
<li>sure</li>
</ul>
<div>
<ul>
<li>open</li>
<li>close</li>
</ul>
</div>
</body>
</html>
"""

    
soup = BeautifulSoup(html, 'html.parser')
div_tag = soup.find('div')
print(div_tag)

<div> <ul> <li>open</li> <li>close</li> </ul> </div>


    
ul_tag = soup.find('ul')
print(ul_tag)

<ul class="greet"> <li>hello</li> <li>bye</li> <li>welcome</li> <ul class="reply"> <li>ok</li> <li>no</li> <li>sure</li> </ul> <div> <ul> <li>open</li> <li>close</li> </ul> </div> </ul>


    
li_tag = ul_tag.find('li')
li_tag

<li>hello</li>


    
li_tag.string
li_tag.text

hello


    
li_s = ul_tag.find_all('li')
li_s

[<li>hello</li>, <li>bye</li>, <li>welcome</li>, <li>ok</li>, <li>no</li>, <li>sure</li>, <li>open</li>, <li>close</li>]


    
for li_tag in li_tags:
print(li_tag)

<li>hello</li> <li>bye</li> <li>welcome</li> <li>ok</li> <li>no</li> <li>sure</li> <li>open</li> <li>close</li>


    
li_tags = soup.findAll('li')
print(len(li_tags))

8

 


    
print(li_tags[0])
print(li_tags[1])
print(li_tags[3])

<li>hello</li> <li>bye</li> <li>ok</li>


    
print(li_tags[0].text)

hello


    
div_li = div_tag.findAll('li')
print(div_li)
for li_tag in div_li:
print(li_tag.text)

[<li>open</li>, <li>close</li>] open close


    
for li in soup.find('div').findAll('li'):
print(li.text)

open close

'빅데이터 분석가 양성과정 > Python' 카테고리의 다른 글

Web Crawling - 옷 쇼핑몰  (0) 2024.07.09
Web Crawling - find()  (0) 2024.07.09
시각화 이용한 탐색적 데이터 분석(6)  (1) 2024.07.08
시각화 이용한 탐색적 데이터 분석(5)  (0) 2024.07.08
시각화 이용한 탐색적 데이터 분석(4)  (0) 2024.07.08
  1. 가볍게 살펴보기
'빅데이터 분석가 양성과정/Python' 카테고리의 다른 글
  • Web Crawling - 옷 쇼핑몰
  • Web Crawling - find()
  • 시각화 이용한 탐색적 데이터 분석(6)
  • 시각화 이용한 탐색적 데이터 분석(5)
분석가 황규진
분석가 황규진
공공기관 위험평가관련 부서에서 근무하고 있습니다.
글쓰기 관리
분석가 황규진
HGJ's Insight
홈
|
로그인
  • 전체 글 563
    • 개인 활동(일상) 3
      • 독서 2
      • 근황 공유 1
    • 개인 활동(공부) 49
      • Tableau Bootcamp 10
      • 금융 공부 5
      • 직무 공부 22
      • 강의 12
    • 개인프로젝트 4
      • 신용카드 연체 평가 모델 0
      • 대출 승인 여부 예측 모델 4
    • 자격증 7
      • 빅데이터분석기사 1
      • 정보처리기사 1
      • 경영정보시각화 1
      • SQL개발자(SQLD) 1
      • 데이터 분석 준전문가(ADsP) 1
      • 통계적품질관리(SPC) 1
      • AICE Associate 1
    • 코드 정리 11
      • 코드 정리 - Tistory 8
      • 코드 정리 - Python 3
    • 코딩테스트연습 116
      • SQL_프로그래머스 116
    • 취업사관학교 9기 199
      • 모닝스쿨 54
      • 스스로 모닝스쿨 125
      • 직무 스터디 20
      • 반성과 다짐 0
    • 빅데이터 분석가 양성과정 173
      • Python 88
      • Python - 머신러닝 26
      • Python - 딥러닝 31
      • PyQt 4
      • JavaScript 10
      • MySQL 13
      • Node.js 1
hELLO· Designed By정상우.v4.6.1
분석가 황규진
Web Crawling - 기초
상단으로

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.