在数据驱动的时代，网络爬虫作为获取公开信息的重要工具被广泛使用。然而，不当的爬虫行为可能给目标网站带来服务器负载过高、带宽耗尽等问题，甚至触犯法律或违反网站规则。编写 “礼貌” 的爬虫，既是技术规范，也是开发者应遵守的行业伦理。本文将从核心原则出发，详细介绍如何通过设置请求延迟、限制爬取深度等方式，实现对目标网站友好的爬虫设计。

一、“礼貌” 爬虫的核心原则：尊重与合规

“礼貌” 的本质是对目标网站的尊重，具体可概括为三个原则：

1. 遵守规则：严格遵循网站robots.txt协议，不爬取禁止访问的内容；
2. 控制负载：避免高频请求导致服务器压力骤增；
3. 适度索取：明确爬取目标，不进行无意义的深度遍历或全站抓取。

这些原则既是技术实现的基础，也是规避法律风险的前提 —— 许多地区的法律要求爬虫不得干扰网站正常运营，违反者可能面临民事赔偿或行政处罚。

二、设置请求延迟：模拟人类浏览行为

高频次、无间隔的请求是导致网站压力过大的主要原因。通过设置请求延迟，让爬虫以接近人类浏览的频率访问页面，是 “礼貌” 爬虫的核心手段。

1. 固定延迟：基础的间隔控制

在每次请求后设置固定的时间间隔，例如 1-3 秒，避免短时间内集中发起请求。以 Python 的requests库为例：

python

import requests
import time

url_list = ["https://example.com/page1", "https://example.com/page2"]

for url in url_list:
    try:
        response = requests.get(url)
        # 处理响应内容
        print(f"爬取成功：{url}")
    except Exception as e:
        print(f"爬取失败：{e}")
    # 设置2秒固定延迟
    time.sleep(2)

2. 随机延迟：更接近真实用户行为

固定延迟可能被网站识别为爬虫模式，结合随机时间间隔能降低被检测的概率。可使用random库生成 1-5 秒的随机延迟：

python

import random

# 每次请求后随机延迟1-5秒
time.sleep(random.uniform(1, 5))

3. 动态调整延迟：根据服务器响应优化

若网站返回429 Too Many Requests（请求过于频繁）或响应速度变慢，可动态延长延迟时间。例如：

python

delay = 2  # 初始延迟2秒

for url in url_list:
    response = requests.get(url)
    if response.status_code == 429:
        delay *= 2  # 遇到限流时延迟翻倍
        print(f"请求频繁，延迟调整为{delay}秒")
    elif response.elapsed.total_seconds() > 3:  # 响应时间超过3秒
        delay += 1  # 适当延长延迟
    # 处理响应后休眠
    time.sleep(delay)

三、限制爬取深度：避免无边界遍历

爬虫若无限制地跟随页面链接深入爬取，可能导致请求量呈指数级增长，最终对网站造成 “雪崩式” 压力。通过限制爬取深度，可将范围控制在合理范围内。

1. 明确深度规则：定义爬取边界

例如，爬取某网站时，设定只抓取首页（深度 0）、首页直接链接的页面（深度 1）、深度 1 页面的直接链接（深度 2），以此类推，超过预设深度则停止。

2. 代码实现：用递归或队列控制深度

以队列为例，记录每个 URL 的当前深度，当深度超过阈值时不再处理：

python

from collections import deque

max_depth = 2  # 最大爬取深度
visited = set()  # 记录已爬取URL，避免重复请求
queue = deque()
# 初始URL，深度为0
queue.append(("https://example.com", 0))

while queue:
    url, depth = queue.popleft()
    if url in visited or depth > max_depth:
        continue
    visited.add(url)
    
    # 爬取当前页面
    response = requests.get(url)
    print(f"深度{depth}：爬取{url}")
    
    # 解析页面中的链接（示例使用简单提取逻辑）
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(response.text, "html.parser")
    links = [a.get("href") for a in soup.find_all("a") if a.get("href")]
    
    # 对符合条件的链接，深度+1后加入队列
    for link in links:
        if link.startswith("http") and link not in visited:
            queue.append((link, depth + 1))
    
    time.sleep(2)  # 配合延迟控制

3. 结合域名限制：避免跨站扩散

若目标是特定网站，需过滤外部链接，只保留同一域名下的 URL，防止爬虫 “跑偏” 到其他网站：

python

from urllib.parse import urlparse

target_domain = "example.com"

for link in links:
    parsed_link = urlparse(link)
    # 只保留目标域名的链接
    if parsed_link.netloc == target_domain or parsed_link.netloc == "":
        queue.append((link, depth + 1))

四、其他 “礼貌” 措施：细节决定友好度

除了延迟和深度限制，这些措施能进一步提升爬虫的 “礼貌性”：

1. 设置合理的请求头模拟浏览器的User-Agent，避免使用默认爬虫标识（如python-requests/xx），必要时添加Referer说明来源：

   python

   headers = {
       "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
       "Referer": "https://example.com"
   }
   response = requests.get(url, headers=headers)
   

2. 遵守robots.txt协议网站根目录下的robots.txt（如https://example.com/robots.txt）会明确禁止爬取的路径或爬虫类型，需先解析该文件再执行爬取：

   python

   import robotparser
   
   rp = robotparser.RobotFileParser()
   rp.set_url("https://example.com/robots.txt")
   rp.read()
   # 检查是否允许爬取该URL
   if rp.can_fetch("*", url):
       # 执行爬取
   

3. 控制并发与连接数多线程 / 多进程爬取时，需限制并发数量（如最多 5 个线程），避免同时建立大量连接：

   python

   from concurrent.futures import ThreadPoolExecutor
   
   with ThreadPoolExecutor(max_workers=5) as executor:  # 限制5个并发线程
       executor.map(fetch_url, url_list)
   

4. 及时处理错误与中断若爬取过程中遇到服务器错误（如503 Service Unavailable），应暂停并稍后重试，而非持续请求；同时支持断点续爬，避免重复爬取已获取的数据。

五、总结：技术与伦理的平衡

编写 “礼貌” 的爬虫，本质是在数据需求与网站权益之间找到平衡。设置延迟与深度限制，不仅是技术上的优化，更是对网站运营者的尊重。作为开发者，需始终牢记：爬虫的价值在于合理利用公开信息，而非对网络生态造成破坏。

遵循本文所述的原则与方法，既能高效获取所需数据，也能避免因不当行为引发的风险，让爬虫技术在合规、友好的前提下发挥价值。