一个简单的Python爬虫案例代码。这个例子使用了requests库来获取网页内容,并使用BeautifulSoup库来解析HTML文档,提取所需信息。如果你还没有安装这两个库,可以通过运行pip install requests beautifulsoup4来安装它们。

以下是一个简单的爬虫示例,它会抓取一个指定网页的所有标题(假设标题都在<h2>标签中):

import requests
from bs4 import BeautifulSoup

def fetch_titles(url):
    try:
        # 发送HTTP请求
        response = requests.get(url)
        # 检查请求是否成功
        if response.status_code == 200:
            # 使用BeautifulSoup解析HTML文档
            soup = BeautifulSoup(response.text, 'html.parser')
            # 查找所有<h2>标签
            titles = soup.find_all('h2')
            # 打印每个标题的文本
            for title in titles:
                print(title.get_text())
        else:
            print(f"Failed to retrieve the webpage. Status code: {response.status_code}")
    except Exception as e:
        print(f"An error occurred: {e}")

# 要爬取的网页URL
url = "https://example.com"
fetch_titles(url)

这段代码定义了一个名为fetch_titles的函数,该函数接受一个URL作为参数,然后发送请求获取网页内容。如果请求成功,它将使用BeautifulSoup解析返回的HTML,并查找所有的<h2>标签。最后,它会打印出每个找到的标题文本。

请注意,实际使用时需要根据目标网站的具体结构调整选择器(例如<h2>标签),以准确地提取你想要的信息。此外,进行网络爬虫活动时,请务必遵守目标网站的robots.txt规则和相关法律法规。

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐