使用Python Beautiful Soup解析HTML內(nèi)容的方法

本文講解"使用Python Beautiful Soup解析HTML內(nèi)容的方法"，希望能夠解決相關(guān)問題。

• Beautiful Soup的使用

• 標(biāo)簽選擇器

• 標(biāo)簽樹操作

• 嵌套選擇標(biāo)簽

• 修改HTML文本

• 應(yīng)用場(chǎng)景

• 總結(jié)

Beautiful Soup是一種Python的解析庫，主要用于解析和處理HTML/XML內(nèi)容。它是基于Python的標(biāo)準(zhǔn)庫和第三方庫的結(jié)合，能夠提供簡(jiǎn)便的方式實(shí)現(xiàn)文本的查找、修改和提取操作。

HTML指的是超文本標(biāo)記語言（Hypertext Markup Language），即一種用于描述網(wǎng)頁內(nèi)容的標(biāo)記語言。在我們?cè)L問一個(gè)網(wǎng)頁的時(shí)候，瀏覽器便會(huì)將HTML內(nèi)容下載到本地并以可視化的形式展示給我們。但是，在程序員的世界里我們需要能夠?qū)TML內(nèi)容進(jìn)行更多的操作，而Beautiful Soup就是這種工具之一。

Beautiful Soup能夠解析HTML內(nèi)容并轉(zhuǎn)化成一個(gè)復(fù)雜的樹結(jié)構(gòu)，然后可以通過標(biāo)簽名、屬性名等多種方式進(jìn)行內(nèi)容的查找和修改。使用Beautiful Soup不僅能夠讓我們更高效地處理HTML內(nèi)容，而且還能避免很多手動(dòng)操作引起的誤差。

下面我們來詳細(xì)介紹Beautiful Soup的使用方式和應(yīng)用場(chǎng)景。

Beautiful Soup的使用

Beautiful Soup提供的解析器有bs3、bs4，其中bs3逐漸被棄用，目前bs4為最新版。我們主要介紹bs4的使用。

首先，我們需要安裝Beautiful Soup庫。在終端輸入以下命令：

pip install beautifulsoup4

安裝成功后，我們通過import語句將Beautiful Soup庫引入程序中。

from bs4 import BeautifulSoup

接下來假設(shè)我們有一個(gè)HTML文本：

   
    <title>Beautiful Soup Tutorial</title>   
  
    

      <h2>Python BeautifulSoup Tutorial</h2>
      
這是一篇Beautiful Soup入門教程

      
它將介紹Beautiful Soup的基本用法以及一些高級(jí)的應(yīng)用場(chǎng)景

      <a?class="link"?>點(diǎn)擊訪問示例網(wǎng)站
    
  
</a?class="link"?href="http:>

我們可以通過以下語句將HTML文本解析成BeautifulSoup對(duì)象：

soup = BeautifulSoup(html_doc, 'html.parser')

其中，html_doc為上述HTML文本，'html.parser’為指定的解析器。

標(biāo)簽選擇器

Beautiful Soup提供了多種標(biāo)簽選擇器，能夠便捷地從HTML文本中選擇需要的內(nèi)容。

選擇標(biāo)簽名為h2的元素：

soup.select('h2')

結(jié)果為：

[

Python BeautifulSoup Tutorial

選擇標(biāo)簽名為p且class屬性為“intro”的元素：

soup.select('p.intro')

結(jié)果為：

[

這是一篇Beautiful Soup入門教程

選擇標(biāo)簽名為a且class屬性為“l(fā)ink”的元素，其href屬性的值為"http://www.example.com"：

soup.select('a.link[)

結(jié)果為：

[點(diǎn)擊訪問示例網(wǎng)站]

標(biāo)簽樹操作

我們可以通過Beautiful Soup的樹型結(jié)構(gòu)，對(duì)HTML文本進(jìn)行各種查找與修改操作。

嵌套選擇標(biāo)簽

可以通過嵌套選擇標(biāo)簽，定位到HTML文本中需要的標(biāo)簽，例如選擇“div”標(biāo)簽下的所有“p”標(biāo)簽。

content = soup.select('div.article > p')

可以看到，選擇結(jié)果為兩個(gè)“p”標(biāo)簽。

[
這是一篇Beautiful Soup入門教程

, 
 
它將介紹Beautiful Soup的基本用法以及一些高級(jí)的應(yīng)用場(chǎng)景

]

.string/.text屬性獲取標(biāo)簽內(nèi)容

可以通過.string屬性或.text屬性獲取標(biāo)簽內(nèi)的文本內(nèi)容。

例如，獲取標(biāo)題“h2”標(biāo)簽內(nèi)的文本內(nèi)容：

title = soup.select('h2')[0].string
print(title)

輸出結(jié)果為：

Python BeautifulSoup Tutorial

可以看到，.string相比于.text屬性更加精確，可以避免獲取到標(biāo)簽內(nèi)的其他內(nèi)容干擾。

.get()方法獲取標(biāo)簽屬性值

可以通過.get()方法獲取標(biāo)簽內(nèi)的屬性值。例如，獲取“a”標(biāo)簽的href屬性值：

link = soup.select('a.link')[0].get('href')
print(link)

輸出結(jié)果為：

http://www.example.com

修改HTML文本

除了查找與獲取HTML文本的內(nèi)容，我們還可以使用Beautiful Soup對(duì)HTML文本進(jìn)行修改操作。

修改標(biāo)簽屬性值

通過tag對(duì)象的.attrs屬性可以獲取標(biāo)簽的屬性，使用該屬性進(jìn)行修改操作。

例如，將“a”標(biāo)簽的href屬性值修改為“http://www.newexample.com”：

link_tag = soup.select('a.link')[0]
link_tag['href'] = 'http://www.newexample.com'
print(link_tag)

可以看到，輸出結(jié)果中href屬性值已經(jīng)被修改。

<a?class?=?"link"?href?=?"http: www.newexample.com"="">點(diǎn)擊訪問示例網(wǎng)站</a?class?=?"link"?href?=?"http:>

修改標(biāo)簽文本內(nèi)容

通過tag對(duì)象的.string屬性或replace_with()方法可以修改標(biāo)簽的文本內(nèi)容。

例如，將第一個(gè)“p”標(biāo)簽的文本修改為“歡迎來到Beautiful Soup教程”：

p_tag = soup.select('p.intro')[0]
p_tag.string = '歡迎來到Beautiful Soup教程'
print(p_tag)

輸出結(jié)果為：

歡迎來到Beautiful Soup教程

增加標(biāo)簽和刪除標(biāo)簽

我們可以使用Beautiful Soup提供的函數(shù)，例如new_tag()、new_string()、append()和insert()等方法，創(chuàng)建新標(biāo)簽或文本，并插入HTML文本當(dāng)中。

例如，我們通過append()方法在“body”標(biāo)簽的末尾增加一個(gè)“div”標(biāo)簽：

new_div = soup.new_tag('div')
new_div.string = '這是Beautiful Soup教程的結(jié)尾'
soup.select('body')[0].append(new_div)
print(soup)

可以看到，輸出結(jié)果中的HTML文本結(jié)尾增加了一個(gè)新的“div”標(biāo)簽。

應(yīng)用場(chǎng)景

美食網(wǎng)站信息爬取

我們將以美食網(wǎng)站中的“熱門排行榜”為例進(jìn)行演示。

首先，我們需要通過requests庫獲取HTML文本。以“熱門排行榜”頁面為例：

import requests
from bs4 import BeautifulSoup
url = 'https://www.meishij.net/chufang/diy/diy_rmphb/'
html = requests.get(url)
soup = BeautifulSoup(html.text, 'html.parser')

我們可以通過觀察HTML文本，發(fā)現(xiàn)熱門排行榜的信息在“div”標(biāo)簽中，具體位置在“div.zg_wrap”標(biāo)簽中，而餐品名稱在“div.zg_wrap > li > div > p > a”標(biāo)簽中。因此，我們可以使用以下語句提取美食名稱：

for i, li in enumerate(soup.select('div.zg_wrap > li')):
    name = li.select('div > p > a')[0].get('title')
    print(f'{i+1}. {name}')

可以看到，我們已成功提取出了美食名稱，輸出結(jié)果如下：

1. 漢堡
2. 糯米飯
3. 明爐烤鴨
4. 龍蝦
5. 火鍋
6. 美式薯?xiàng)l
7. 叉燒肉
8. 紅燒肉
9. 快手美食
10. 韓國(guó)泡菜

至此，我們已經(jīng)成功通過Beautiful Soup解析庫，提取出了美食網(wǎng)站的熱門排行榜信息，演示了Beautiful Soup在爬蟲數(shù)據(jù)抓取和處理中的重要應(yīng)用。

總結(jié)

Beautiful Soup作為一種解析庫，能夠方便地解析HTML/XML文本，提供多種標(biāo)簽選擇器并支持樹型結(jié)構(gòu)操作，可以快速定位和處理HTML/XML中需要的內(nèi)容，提高了爬蟲數(shù)據(jù)抓取和處理的效率。對(duì)于Python爬蟲初學(xué)者來說，掌握Beautiful Soup的使用是十分重要的。同時(shí)需要注意的是，在使用Beautiful Soup時(shí)需要遵循網(wǎng)絡(luò)道德規(guī)范，遵守網(wǎng)站的規(guī)定，避免對(duì)網(wǎng)站造成過度訪問和其他影響。

關(guān)于 "使用Python Beautiful Soup解析HTML內(nèi)容的方法" 就介紹到此。希望多多支持碩編程。