Python爬虫 | 如何用Python爬虫一天内收集数百万条数据？

Python拥有丰富的第三方库和工具，其中最为流行的就是爬虫库。本文将介绍如何使用Python爬虫一天内收集数百万条数据。

确定数据来源

在进行数据收集之前，首先需要确定数据来源。数据来源可以是网站、API、数据库等。本文以网站为例进行讲解。

假设我们需要收集某个电商网站的商品信息，包括商品名称、价格、销量、评价等信息。首先需要确定该网站的网址和页面结构。通过查看网页源代码，可以发现该网站的商品信息存储在HTML标签中，而且每个商品都有独立的URL。因此，我们可以通过解析HTML标签和URL链接来收集商品信息。

编写基础爬虫程序

在确定数据来源之后，就可以开始编写爬虫程序了。爬虫程序主要包括以下几个步骤：

1. 发送HTTP请求：使用Python的requests库发送HTTP请求，获取网页源代码。

import requests

url = 'https://www.example.com'
response = requests.get(url)
html = response.text

2. 解析HTML标签：使用Python的BeautifulSoup库解析HTML标签，提取所需信息。需要根据实际返回的内容结构分析修改。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='item')
for item in items:
    name = item.find('a', class_='name').text
    price = item.find('span', class_='price').text
    sales = item.find('span', class_='sales').text
    rating = item.find('span', class_='rating').text
    # 将数据存储到数据库或文件中

3. 遍历URL链接：使用Python的urllib库遍历URL链接，爬取所有商品信息。

import urllib.parse

base_url = 'https://www.example.com/list?page='
for page in range(1, 101):
    url = base_url + str(page)
    response = requests.get(url)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='item')
    for item in items:
        name = item.find('a', class_='name').text
        price = item.find('span', class_='price').text
        sales = item.find('span', class_='sales').text
        rating = item.find('span', class_='rating').text
        # 将数据存储到数据库或文件中

4. 存储数据：使用Python的csv库将数据存储到CSV文件中。

import csv

with open('data.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['name', 'price', 'sales', 'rating'])
    for item in items:
        name = item.find('a', class_='name').text
        price = item.find('span', class_='price').text
        sales = item.find('span', class_='sales').text
        rating = item.find('span', class_='rating').text
        writer.writerow([name, price, sales, rating])

提高爬虫效率

当需要收集数百万条数据时，单个爬虫程序可能无法满足要求。为了提高爬虫效率，可以采用以下方法：

1. 单机多线程：使用多线程可以同时处理多个请求，提高爬虫的效率。Python的threading库可以实现多线程。

import threading

def crawl(url):
    response = requests.get(url)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='item')
    for item in items:
        name = item.find('a', class_='name').text
        price = item.find('span', class_='price').text
        sales = item.find('span', class_='sales').text
        rating = item.find('span', class_='rating').text
        # 将数据存储到数据库或文件中

threads = []
for page in range(1, 101):
    url = base_url + str(page)
    t = threading.Thread(target=crawl, args=(url,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

2. 分布式爬虫：使用多个爬虫程序同时爬取不同的网页，提高爬虫的效率。Python的Scrapy框架可以实现分布式爬虫。

可以通过以下步骤进行配置：

1. 安装分布式框架：Scrapy-Redis 或 Scrapy-RabbitMQ。
2. 配置 Scrapy-Redis 或 Scrapy-RabbitMQ连接信息（如Redis的地址、端口、密码等）。
3. 修改 Scrapy 的配置文件 settings.py，添加如下配置：

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"

REDIS_HOST = 'your_redis_host'
REDIS_PORT = 'your_redis_port'
REDIS_PASSWORD = 'your_redis_password'

4. 在 spider 中添加 Redis 或 RabbitMQ 的 URL，实现任务的分发。
5. 启动 Redis 或 RabbitMQ 服务。
6. 启动多个爬虫节点，使用以下命令启动：

scrapy crawl spider_name -s JOBDIR=crawls/spider_name-1

其中 spider_name 是你的爬虫名称，-s JOBDIR=crawls/spider_name-1 是启用断点续爬的命令。

7. 在另一个终端中，使用以下命令启动调度程序：

scrapy-redis-cli queue spider_name:start_urls

其中，spider_name:start_urls 是你爬虫中定义的起始 URL 名称。

到这里 Scrapy 分布式爬虫就配置完成了。

下面使用 Scrapy 实现分布式爬虫：

1. 创建一个 Scrapy 项目，按照上面的配置进行设置。
2. 在爬虫的 spider 中，定义待爬取的 URL 队列：

import scrapy
from scrapy_redis.spiders import RedisSpider

class MySpider(RedisSpider):
    name = 'myspider'
    redis_key = 'myspider:start_urls'

    def parse(self, response):
        items = response.xpath('//div[@class="item"]')
        for item in items:
            name = item.xpath('.//a[@class="name"]/text()').get()
            price = item.xpath('.//span[@class="price"]/text()').get()
            sales = item.xpath('.//span[@class="sales"]/text()').get()
            rating = item.xpath('.//span[@class="rating"]/text()').get()
            yield {'name': name, 'price': price, 'sales': sales, 'rating': rating}

这里继承了 RedisSpider，并将 redis_key 设置为 myspider:start_urls，表示将从 Redis 中获取起始 URL。定义了 parse 方法，使用 XPath 提取需要的信息，并使用 yield 返回字典类型的数据。

parse 函数是 Scrapy 爬虫中的一个方法名，用于解析爬取到的网页内容，并提取需要的数据。

3. 启动 Redis 服务，并将待爬取的 URL 加入队列中：

import redis

redis_conn = redis.Redis(host='localhost', port=6379, db=0)

# 将待爬取的 URL 加入队列
for page in range(1, 101):
    url = 'https://www.example.com/list?page=' + str(page)
    redis_conn.lpush('myspider:start_urls', url)

这里使用了 Redis 的 Python 客户端库 redis，并将起始 URL 加入到 myspider:start_urls 队列中。

4. 在 settings.py 中，添加存储数据的配置：

FEED_FORMAT = 'csv'
FEED_URI = 'data.csv'
FEED_EXPORT_ENCODING = 'utf-8'

这里使用了 Scrapy 自带的 CSV 输出器，并将数据存储到 data.csv 文件中。

5. 启动多个爬虫节点：

scrapy crawl myspider -s JOBDIR=crawls/myspider-1
scrapy crawl myspider -s JOBDIR=crawls/myspider-2

这里启动了两个爬虫节点，分别使用了 -s JOBDIR=crawls/myspider-1 和 -s JOBDIR=crawls/myspider-2 参数，表示启用断点续爬的功能。

6. 运行爬虫程序，开始爬取：

scrapy-redis-cli queue myspider:start_urls

这里使用了 Scrapy-Redis 的命令行工具 scrapy-redis-cli，并将 myspider:start_urls 作为参数，表示将它们添加到 Redis 中。

技术总结

通过以上方法，我们可以快速高效地收集大量数据。当然，爬虫程序也需要注意一些问题，比如遵守网站的爬虫规则、防止IP被封禁等。除此之外，我们还可以对爬取到的数据进行清洗、分析和可视化，从而获得更有价值的信息。

Python爬虫是一项强大而又实用的技术，它可以帮助我们快速获取大量数据，提高工作效率。

如果你对Python技术感兴趣，欢迎关注「Python爱好者」公众号，我们将为你带来更多有趣实用的Python技术文章。