Beautiful Soup - 使用 CSS 选择器查找元素

在 Beautiful Soup 库中，select() 方法是用于抓取 HTML/XML 文档的重要工具。与 find() 和其他 find_*() 方法类似，select() 方法也有助于定位满足给定条件的元素。但是，find*() 方法根据标签名称及其属性搜索 PageElements，而 select() 方法根据给定的 CSS 选择器搜索文档树。

Beautiful Soup 还具有 select_one() 方法。select() 和 select_one() 的区别在于，select() 返回属于 PageElement 并以 CSS 选择器为特征的所有元素的结果集；而 select_one() 返回满足基于 CSS 选择器选择标准的元素的第一个匹配项。

在 Beautiful Soup 4.7 版本之前，select() 方法只能支持常用的 CSS 选择器。随着 4.7 版本的发布，Beautiful Soup 集成了 Soup Sieve CSS 选择器库。因此，现在可以使用更多选择器。在 4.12 版本中，除了现有的便利方法 select() 和 select_one() 之外，还添加了一个 .css 属性。select() 方法的参数如下：

select(selector, limit, **kwargs)

selector − 包含 CSS 选择器的字符串。

limit − 找到此数量的结果后，停止查找。

kwargs − 要传递的关键字参数。

如果 limit 参数设置为 1，则它等效于 select_one() 方法。select() 方法返回 Tag 对象的结果集，而 select_one() 方法返回单个 Tag 对象。

Soup Sieve 库

Soup Sieve 是一个 CSS 选择器库。它已与 Beautiful Soup 4 集成，因此与 Beautiful Soup 包一起安装。它提供了使用现代 CSS 选择器选择、匹配和过滤文档树标签的功能。Soup Sieve 目前实现了从 CSS 级别 1 规范到 CSS 级别 4 的大多数 CSS 选择器，除了某些尚未实现的选择器。

Soup Sieve 库具有不同类型的 CSS 选择器。基本的 CSS 选择器包括：

类型选择器

通过节点名称匹配元素。例如：

tags = soup.select('div')

示例

from bs4 import BeautifulSoup, NavigableString

markup = '''
   <div id="Languages">
      <p>Java</p> <p>Python</p> <p>C++</p>
   </div>
'''
soup = BeautifulSoup(markup, 'html.parser')

tags = soup.select('div')
print (tags)

输出

[<div id="Languages">
<p>Java</p> <p>Python</p> <p>C++</p>
</div>]

通用选择器 (*)

它匹配任何类型的元素。例如：

tags = soup.select('*')

ID 选择器

它根据元素的 id 属性匹配元素。符号 # 表示 ID 选择器。例如：

tags = soup.select("#nm")

示例

from bs4 import BeautifulSoup

html = '''
   <form>
      <input type = 'text' id = 'nm' name = 'name'>
      <input type = 'text' id = 'age' name = 'age'>
      <input type = 'text' id = 'marks' name = 'marks'>
   </form>
'''
soup = BeautifulSoup(html, 'html.parser')
obj = soup.select("#nm")
print (obj)

输出

[<input id="nm" name="name" type="text"/>]

类选择器

它根据 class 属性中包含的值匹配元素。以 . 为前缀的类名称是 CSS 类选择器。例如：

tags = soup.select(".submenu")

示例

from bs4 import BeautifulSoup, NavigableString

markup = '''
   <div id="Languages">
      <p>Java</p> <p>Python</p> <p>C++</p>
   </div>
'''
soup = BeautifulSoup(markup, 'html.parser')

tags = soup.select('div')
print (tags)

输出

[<div id="Languages">
<p>Java</p> <p>Python</p> <p>C++</p>
</div>]

属性选择器

属性选择器根据元素的属性匹配元素。

soup.select('[attr]')

示例

from bs4 import BeautifulSoup

html = '''
   <h1>Tutorialspoint Online Library</h1>
   <p><b>It's all Free</b></p>
   <a class="prog" href="https://tutorialspoint.com/java/java_overview.htm" id="link1">Java</a> 
   <a class="prog" href="https://tutorialspoint.com/cprogramming/index.htm" id="link2">C</a>
'''
soup = BeautifulSoup(html, 'html5lib')
print(soup.select('[href]'))

输出

[<a class="prog" href="https://tutorialspoint.com/java/java_overview.htm" id="link1">Java</a>, <a class="prog" href="https://tutorialspoint.com/cprogramming/index.htm" id="link2">C</a>]

伪类

CSS 规范定义了许多伪 CSS 类。伪类是添加到选择器中的关键字，用于定义所选元素的特殊状态。它为现有元素添加效果。例如，:link 选择尚未访问的链接（每个 <a> 和 <area> 元素，且具有 href 属性）。

伪类选择器 nth-of-type 和 nth-child 被广泛使用。

:nth-of-type()

选择器 :nth-of-type() 根据其在一个兄弟元素组中的位置匹配给定类型的元素。关键字 even 和 odd 将分别从兄弟元素的子组中选择元素。

在以下示例中，选择了 <p> 类型的第二个元素。

示例

from bs4 import BeautifulSoup

html = '''
<p id="0"></p>
<p id="1"></p>
<span id="2"></span>
<span id="3"></span>
'''
soup = BeautifulSoup(html, 'html5lib')
print(soup.select('p:nth-of-type(2)'))

输出

[<p id="1"></p>]

:nth-child()

此选择器根据其在一个兄弟元素组中的位置匹配元素。关键字 even 和 odd 将分别选择其位置在兄弟元素组中为偶数或奇数的元素。

用法

:nth-child(even)
:nth-child(odd)
:nth-child(2)

示例

from bs4 import BeautifulSoup, NavigableString

markup = '''
   <div id="Languages">
      <p>Java</p> <p>Python</p> <p>C++</p>
   </div>
'''
soup = BeautifulSoup(markup, 'html.parser')
tag = soup.div

child = tag.select_one(':nth-child(2)')
print (child)

输出

<p>Python</p>

打印页面