Python 中的网络抓取：高效的数据收集自动化

请查看本网站所提供内容的使用条款

网络刮擦是从网站中收集数据的一种方法。通过这种方法，您可以提取必要的信息，用于分析、价格监控、新闻追踪和其他各种用途。网络刮擦工具或解析器是用于执行网络刮擦的工具。编写网络刮擦工具最方便、最流行的语言是 Python，尽管几乎任何语言都可用于此目的。用户选择 Python 有几个原因：语法简单、有大量方便的解析库以及持续的支持和更新。

在本指南中，我们将介绍网络刮擦的主要工具，并提供一个 Python 实现示例。通过逐步指导，您将了解网络刮擦和解析的基础知识，编写简单的脚本来收集数据，并学习绕过过程中各种障碍的方法。

工具及其特性

选择 IDE

要有效地工作，您需要一个开发环境。选择适合网络刮擦的环境取决于多个因素，例如易用性、对必要工具的支持、个人偏好和项目要求。适合使用 Python 进行网络刮擦的最流行工具包括 PyCharm 和 Visual Studio Code。

PyCharm
- 优点：
  - 功能全面的集成开发环境。
  - 支持调试、代码自动补全和项目管理。
  - 支持虚拟环境和 Git 集成。
- 缺点：
  - 对于小型项目来说可能会负担过重。
  - 与文本编辑器相比需要更多资源。
Visual Studio Code (VS Code)
- Pros:
  - Lightweight and customizable environment.
  - A wide selection of extensions for Python and web scraping.
  - Support for debugging, Git, and terminal.
- 缺点：
  - 可能需要配置才能实现完整的 Python 功能。
  - 使用大量扩展时可能会出现性能问题。

立即开始，自动化您的解决方案 hCaptcha

立即开始演示

安装 Python

您的计算机上还应安装 Python。以下是适用于您操作系统的安装指南：

macOS：
Linux：某些 Linux 发行版（如 Ubuntu）预装了 Python。要检查 Python 版本，请在终端运行以下命令：
```
python --version
```
如果 Python 版本过时，请使用以下命令安装最新版本（以基于 Debian 的发行版为例）：
```
sudo apt-get update && sudo apt-get install python3
```
Windows：访问 Python 网站并下载相应的版本。在安装过程中勾选 "将 python.exe 添加到 PATH"。

用 Python 进行网络抓取的库和工具

现在，让我们来看看能让您更方便地为解析器编写脚本的库和工具。以下是最佳选项及其特点，以帮助您根据任务做出正确的选择。

Requests：这是一个用于发送 HTTP 请求的简单方便的库。它可以轻松检索网页的 HTML 代码。该库适用于大多数标准的网络刮擦任务，尤其是当您不打算同时执行大量请求时。
Aiohttp：适用于需要同时处理多个请求和管理异步任务的更复杂场景。在处理大量数据和服务器时，高速度和高效率非常重要。它是异步网络搜刮的理想选择。
Lxml：一个用于处理 XML 和 HTML 文档的灵活、高效的库。它为处理这些文档提供了方便的功能，并支持 XPath 和 XSLT。
BeautifulSoup：用于解析 HTML 和 XML 文档的库。它允许您从 HTML 代码中提取数据、构建数据结构，甚至可以处理结构不良的 HTML 并对其进行修正。BeautifulSoup 使用多种解析器来分析 HTML 和 XML，例如 Python 内置的 html.parser 以及第三方解析器，如 lxml 和 html5lib 等，允许您根据手头的任务选择最合适的解析器：这是一个强大的网络搜刮和数据解析框架，允许您创建项目来收集、处理和保存各种格式的数据。Scrapy 支持异步请求，因此速度非常快。
Selenium：一款用于自动化浏览器的工具。它允许像用户一样与网页进行交互，因此非常适合处理动态网站。Selenium 的优势包括支持 Python 和 JavaScript，并能模拟用户操作。
Pyppeteer：Puppeteer（Node.js 库）的 Python 版本，可自动使用 Chromium 浏览器进行网络刮擦。它允许页面导航、表单填写、提交、按钮点击和其他常规用户操作。Pyppeteer 对于处理动态内容也很有用。
Playwright：这是一款用于浏览器自动化的高级工具，支持多种语言（JavaScript/TypeScript、Python、.NET/C# 和 Java）、多线程并可与多种浏览器（Chromium、Firefox 和 WebKit）配合使用。它可以安装在 Windows、macOS 和 Linux 上。Playwright 为网络刮擦和网络应用程序测试提供了高性能和易用性。

静态和动态网站的刮擦示例

什么是 HTML？

在编写任何刮擦程序之前，您需要了解 HTML 的基础知识，并能够分析网站标记，以避免在搜索元素时迷失方向。HTML（超文本标记语言）是一种标准标记语言，用于创建和构建网页。它描述了文档结构，包括文本、图像、链接和浏览器中显示的其他元素。

基本 HTML 元素

标记：HTML 文档由定义结构和内容的各种标记组成。例如：
- <html>：HTML 文档的根元素
- <head>：包含页面标题（<title>）和样式链接等元数据。
- <body>：文档的主要部分，包含页面的可见内容。
元素：在标记中，可以包含以下元素：
- <h1>, <h2>, ..., <h6>: 不同级别的标题：一段文本。
- <a>: 一个链接：一个链接。
- <img>: 一个图像：图像。
- <div>, <span>：用于分组其他元素的容器。
属性：标签可以具有提供元素附加信息的属性。例如：
- <a href="https://example.com">：href属性指定链接的 URL。
- <img src="image.jpg" alt="图像描述">：src属性指定图像的路径，alt提供替代文本。

选择网站

在选择适当的工具编写刮擦工具之前，您需要研究目标网站并确定其是否包含动态内容。要做到这一点，请加载页面，打开开发工具中的网络选项卡，并检查是否正在发出 Fetch/XHR 请求（这些技术允许网页根据从服务器接收到的数据动态更新内容）：

如果未执行 Fetch/XHR 请求：您可以使用 BeautifulSoup和 requests等库。

如果网站包含动态内容：您应使用Selenium或Playwright等工具加载网页。

对于要提取某些数据的测试静态页面，我们将选择 https://quotes.toscrape.com/ 。

选择编写 Scraper 的工具和安装

对于我们的目的，BeautifulSoup 和 requests库就足够了。让我们在编辑器/IDE 中创建一个新文件，然后使用以下命令将这些库添加到项目中：

pip install beautifulsoup4 requests

BeautifulSoup 方便搜索和提取数据：

通过标签：

title_tag = soup.title
print(title_tag) # <title>页面标题</title>

通过文本：要从标签中提取文本，请使用 .get_text() 方法：
```
header_text = soup.h1.get_text()
print(header_text) # 页眉
```

按类、ID 和属性：

elements = soup.find_all(class_='my-class')
element = soup.find(id='my-id')
links = soup.find_all('a', href=True)

For More Complex Queries: 您可以使用 CSS 选择器和 .select() 方法：
```
headers = soup.select('h1')
```
For More Complex Queries: 您可以使用 CSS 选择器和 .select() 方法：
```
导入请求
from bs4 import BeautifulSoup
```
指定所需页面的 URL，设置 User-Agent 头以模拟浏览器活动，并向页面发送 GET 请求：
```
url = 'https://quotes.toscrape.com/'

headers = {
    User-Agent'：'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'。
}

response = requests.get(url, headers=headers)
```
检查请求是否成功：
```
if response.status_code == 200：
    # 创建一个 BeautifulSoup 对象来解析 HTML
    soup = BeautifulSoup(response.text, 'html.parser')
```
在打开目标页面的单独浏览器窗口中，找到所有带引号的块，遍历前三个引号块，并在代码中提取引号文本：
提示：要快速搜索和分析必要信息，请将光标悬停在所需元素上，右键单击并选择 "检查"。这将打开 "开发工具"，您可以在页面的 HTML 结构中查看该元素，并探索其可能包含的其他元素。突出显示选中的元素会让任务变得更轻松。

quotes = soup.select('.quote')
for quote in quotes[:3]：
   text = quote.select_one('.text').get_text(strip=True)

提取作者姓名并打印到控制台：

 author = quote.select_one('.author').get_text(strip=True)
    
    print(f'Quote: {text}\nAuthor: {author}\n')
else：
    print(f'Failed to retrieve the page. Status code: {response.status_code}')

下面是完整的代码及解释：

导入请求
从 bs4 导入 BeautifulSoup

# 要抓取的页面的 URL
url = 'https://quotes.toscrape.com/'

headers = {
    User-Agent'：'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36'。
}

# 使用用户代理向页面发送 GET 请求
response = requests.get(url, headers=headers)

# 检查请求是否成功
if response.status_code == 200：
    # 创建一个 BeautifulSoup 对象来解析 HTML
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找所有包含引号的块
    quotes = soup.select('.quote')
    
    for quote in quotes[:3]：
        # 提取引号文本
        text = quote.select_one('.text').get_text(strip=True)
        
        # 提取作者姓名
        author = quote.select_one('.author').get_text(strip=True)
        
        # 显示信息
        print(f'Quote: {text}\nAuthor: {author}\n')
else：
    print(f'Failed to retrieve the page. Status code: {response.status_code}')

当您运行代码时，您的 scraper 将输出您需要的信息 - 前三个引语及其作者姓名。

动态网站的刮擦示例

作为刮擦动态网站的示例，让我们使用 https://parsemachine.com 进行刮擦。具体来说，我们将使用测试页面 https://parsemachine.com/sandbox/catalog/，该页面显示了 12 种产品的卡片。我们将尝试提取每个产品的名称及其链接。由于网站是动态的，我们将使用 Playwright。该浏览器自动化工具可使用 CSS、XPath 选择器、文本和 ARIA 选择器查找和提取网页中的元素，并支持组合选择器以实现精确选择。

首先，创建一个新项目，安装 Playwright，并使用以下命令安装 Chromium 浏览器：

pip install playwright playwright install chromium

接下来，使用开发者工具找到您感兴趣的元素。导入 Playwright，启动浏览器并导航到所需页面：

from playwright.sync_api import sync_playwright url = 'https://parsemachine.com/sandbox/catalog/' def scrape_with_playwright(): with sync_playwright() as p: browser = p.chromium.launch(headless=False) page = browser.new_page() page.goto(url)

我们将查找所有产品卡，遍历每张卡，并提取指向产品页面的链接：

 product_cards = page.query_selector_all('.card.product-card') for card in product_cards: title_tag = card.query_selector('.card-title .title') title = title_tag.inner_text() if title_tag else 'No title available'

提取产品页面链接：

 product_link = title_tag.get_attribute('href') if title_tag else 'No link available'

如果链接是相对的，则添加基本 URL：

 if product_link and not product_link.startswith('http'): product_link = f'https://parsemachine.com{product_link}'

最后，关闭浏览器并定义运行脚本的函数：

 browser.close() scrape_with_playwright()

下面是完整的代码：

from playwright.sync_api import sync_playwright # 目标页面的 URL url = 'https://parsemachine.com/sandbox/catalog/' def scrape_with_playwright(): with sync_playwright() as p：        # 启动 Chromium 浏览器 browser = p.chromium.launch(headless=False) # 将无头模式改为 True # 打开新标签页 page = browser.new_page() # 导航到目标页面 page.goto(url) # 查找所有产品卡 product_cards = page.query_selector_all('.card.product-card') for card in product_cards：            # Extract the product title title_tag = card.query_selector('.card-title .title') title = title_tag.inner_text() if title_tag else 'No title available' # Extract the product link product_link = title_tag.get_attribute('href') if title_tag else 'No link available' # If the link is relative, add the base URL if product_link and not product_link.startswith('http'): product_link = f'https://parsemachine.com{product_link}' # 打印产品信息 print(f'Title: {title}, Link: {product_link}') browser.close() scrape_with_playwright()

运行脚本，它将输出所需的信息 - 页面上列出的每个产品的名称及其各自的链接。

如何保存提取的信息？

要保存提取的信息，必须先了解一下用于存储结果的格式：

CSV - 一种最常用的表格数据存储格式。它是一种文本文件，每行对应一条记录，数值之间用逗号分隔。这种格式的优点包括：支持大多数数据处理应用程序，包括 Excel；易于使用文本编辑器进行阅读和编辑。

JSON--一种基于文本的数据交换格式，便于表示结构化数据。它广泛应用于网络开发。优点：支持嵌套和分层数据结构；大多数编程语言都支持；易于人机阅读。JSON 适用于存储可能需要通过 API 传输的数据。

XLS--专为 Excel 电子表格设计，可存储有关单元格、格式和公式的数据。它通常用于存储数据库。要在 Python 中使用 XLS，您需要第三方库，如 pandas。这种格式允许以可读和可展示的格式存储数据。

XML--一种用于存储和传输数据的标记语言。它支持嵌套结构和属性。优点：结构化；允许存储复杂的数据结构；得到各种标准和系统的良好支持。

数据库用于存储大量结构化数据。例如，MySQL、PostgreSQL、MongoDB 和 SQLite。优点：支持大量数据和快速访问；易于组织和关联数据；支持事务和数据恢复。缺点：需要额外的设置和维护工作。

对于我们的刮擦工具，我们将选择 CSV 格式，因为提取的数据是表格形式的（引用文本和作者、产品名称和链接），而且数据量相对较小，没有嵌套结构。有关如何读写这种格式的其他信息，请点击此处。我们将在报价代码中添加 CSV 导入，创建写入器对象，并写入报价数据（报价本身及其作者）：

with open('quotes.csv', 'w', newline='', encoding='utf-8') as csvfile: csvwriter = csv.writer(csvfile) csvwriter.writerow(['Quote', 'Author']) for quote in quotes[:3]: text = quote.select_one('.text').get_text(strip=True) author = quote.select_one('.author').get_text(strip=True) csvwriter.writerow([text, author])

我们还将添加额外的控制台输出和错误处理：

print("数据成功写入 quotes.csv")except requests.RequestException as e: print(f'Error requesting the page: {e}')except Exception as e: print(f'An error occurred: {e}')

以下是完整的更新代码：

导入请求 from bs4 import BeautifulSoup import csv # 目标页面的 URL url = 'https://quotes.toscrape.com/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36' } try：    # 使用用户代理向页面发送 GET 请求 response = requests.get(url, headers=headers) response.raise_for_status() # 检查 HTTP 错误 # 创建用于解析 HTML 的 BeautifulSoup 对象 soup = BeautifulSoup(response.text, 'html.parser') # 查找所有带引号的块 quotes = soup.select('.quote') # 用 open('quotes.csv', 'w', newline='', encoding='utf-8') as csvfile 打开 CSV 文件以便写入：        # 创建写入器对象 csvwriter = csv.writer(csvfile) # 写入标题 csvwriter.writerow(['quote', 'Author']) # 写入引用数据 for quote in quotes[:3]：            # 提取引用文本 text = quote.select_one('.text').get_text(strip=True) # 提取作者姓名 author = quote.select_one('.author').get_text(strip=True) # 写入 CSV 文件 csvwriter.writerow([text, author]) print("Data successfully written to quotes.csv") except requests.requestException as e: print(f'Error requesting the page: {e}') except Exception as e: print(f'An error occurred: {e}')

我们将使用第二个刮板执行类似操作：

from playwright.sync_api import sync_playwright import csv # 目标页面的 URL url = 'https://parsemachine.com/sandbox/catalog/' def scrape_with_playwright(): try: with sync_playwright() as p：            # 启动 Chromium 浏览器 browser = p.chromium.launch(headless=False) # 将无头模式改为 True try：                # 打开一个新标签页 page = browser.new_page() # 浏览到目标页面 page.goto(url) # 查找所有产品卡 product_cards = page.query_selector_all('.card.product-card') # 打开 CSV 文件进行编写 with open('products.csv', 'w', newline='', encoding='utf-8') as csvfile：                    # 创建写入器对象 csvwriter = csv.writer(csvfile) # 写入标题 csvwriter.writerow(['Title', 'Link']) # 从产品卡中提取数据并写入 CSV for card in product_cards：                        # 提取产品标题 title_tag = card.query_selector('.card-title .title') title = title_tag.inner_text() if title_tag else 'No title available' # 链接到产品页面 product_link = title_tag.get_attribute('href') if title_tag else 'No link available' # 如果链接是相对的，则添加基本 URL if product_link and not product_link.startswith('http'): product_link = f'https://parsemachine.com{product_link}' # 将数据写入 CSV 文件 csvwriter.writerow([title, product_link]) # 打印产品信息 print(f'Title: {title}, Link: {product_link}') print("Data successfully written to products.csv") except Exception as e: print(f'Error working with Playwright: {e}') finally：                # 关闭浏览器.close() print("Browser closed.") except Exception as e: print(f'Error launching Playwright: {e}') scrape_with_playwright()

网络抓取中的障碍

不断变化的复杂网站结构：网络抓取中最常见的障碍之一是不断变化的网站结构和代码混淆。即使是 HTML 标记或页面结构的细微变化也会导致搜索脚本停止工作。这可能需要频繁更新代码以适应新的变化。

请求限制：许多网站对在一定时间内发送的请求数量有限制。

IP 封锁：网站可能会封锁他们认为可疑或过于活跃的 IP 地址，这可能会成为刮擦的重大障碍。在这种情况下，可能需要高质量的代理服务器来绕过此类阻止。

验证码：许多网站资源都采用验证码形式的保护措施来防止自动操作。

当今最好的服务之一是 CapMonster 云 - 其 API 允许轻松集成到代码中，以绕过验证码并继续进行刮擦操作。它易于连接，可为各种类型的验证码提供快速解决方案，且错误极少--它支持 reCAPTCHA、DataDome、Amazon CAPTCHA 等。CapMonster Cloud 可被视为辅助工具的最佳选择，也是网络刮擦流程的重要组成部分。

成功刮擦的建议

使用代理和用户代理轮换：为了避免 IP 屏蔽和绕过请求限制，这有助于模仿来自各种设备和浏览器的请求。
添加错误处理和重试：网页可能暂时不可用，或者请求可能失败。重试机制和错误处理将有助于确保您的脚本能够应对此类情况，并防止刮擦过程被中断。
查看网站的 robots.txt 文件：该文件包含针对机器人的指南，说明网站的哪些部分可以抓取，哪些部分不能抓取。
Introduce Random Delays Between Requests: To avoid suspicious activity and reduce the likelihood of blocking.

这些建议将帮助您的脚本模仿真实用户的行为，从而降低被检测到的几率。

结论

总之，使用 Python 进行网络刮擦是从各种网站中有效收集数据的最常用方法之一。我们讨论了如何为网络刮擦选择正确的工具、Python 和必要库的安装过程，以及如何编写代码以提取数据并将结果保存为方便的格式。通过本文介绍的循序渐进的方法，即使是开发新手也能掌握网络搜刮的基本技术，并创建自己的第一个搜刮脚本。网络搜刮为数据分析、信息收集、市场监测和许多其他任务提供了重要机会。

通过使用本指南中提到的 BeautifulSoup、requests、Selenium、Playwright 等库和工具，您可以从静态和动态网站中提取信息。在使用网络刮擦时，重要的是要考虑到法律和道德方面的问题，并做好绕过验证码或动态内容加载等各种障碍的准备。

所讨论的每种工具和方法都有其优势和局限性。选择合适的工具取决于任务的具体情况、网页的复杂性和数据量。

我们希望这些说明能够帮助您更好地理解网络刮擦流程，并为您创建自己的刮擦工具提供必要的基础知识。祝您在数据收集和分析项目中好运！

注意：我们在此提醒您，该产品用于在您自己的网站和您拥有合法访问权限的网站上自动进行测试。