Firecrawl MCP：让AI轻松拥有网页爬取与内容提取能力

🌟 什么是Firecrawl MCP？

Firecrawl MCP是一个基于Model Context Protocol（MCP）的服务器实现，它集成了强大的网页爬取能力，让AI助手能够轻松获取、处理和分析网页内容。无论是单页爬取、批量内容提取，还是深度网站分析，Firecrawl MCP都能提供高效可靠的解决方案。

🚀 核心功能亮点

• • 多场景网页处理：支持单页爬取、批量URL处理、网站地图生成等多种场景
• • 智能内容提取：自动识别并提取网页主要内容，过滤导航和广告干扰
• • 深度研究能力：结合搜索与爬取，进行多来源信息聚合与分析
• • 结构化数据提取：支持自定义 schema，将非结构化网页转换为结构化JSON
• • 灵活部署选项：支持云服务和自托管两种模式，满足不同需求
• • 智能重试机制：内置指数退避重试策略，有效处理网络波动和限流

📦 快速开始

方式一：使用npx一键启动

    
    
    
  env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

方式二：全局安装

    
    
    
  npm install -g firecrawl-mcp
# 安装后直接运行
env FIRECRAWL_API_KEY=fc-YOUR_API_KEY firecrawl-mcp

🔑 获取API密钥：访问Firecrawl官网注册账号并创建API密钥

链接：https://www.firecrawl.dev/app/api-keys

💻 主流AI工具配置指南

Cursor配置（v0.48.6+）

1. 1. 打开Cursor设置 → Features → MCP Servers
2. 2. 点击 "+ Add new global MCP server"
3. 3. 输入以下配置：

    
    
    
  {
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "YOUR-API-KEY"
      }
    }
  }
}

VS Code配置

在用户设置（JSON）中添加：

    
    
    
  {
  "mcp": {
    "inputs": [
      {
        "type": "promptString",
        "id": "apiKey",
        "description": "Firecrawl API Key",
        "password": true
      }
    ],
    "servers": {
      "firecrawl": {
        "command": "npx",
        "args": ["-y", "firecrawl-mcp"],
        "env": {
          "FIRECRAWL_API_KEY": "${input:apiKey}"
        }
      }
    }
  }
}

Windows系统特别说明

在Windows命令提示符中使用：

    
    
    
  cmd /c "set FIRECRAWL_API_KEY=your-api-key && npx -y firecrawl-mcp"

⚙️ 高级配置选项

环境变量配置

    
    
    
  # 基础必填配置
export FIRECRAWL_API_KEY=your-api-key

# 自托管实例配置（可选）
export FIRECRAWL_API_URL=https://firecrawl.your-domain.com

# 重试策略配置
export FIRECRAWL_RETRY_MAX_ATTEMPTS=5        # 最大重试次数
export FIRECRAWL_RETRY_INITIAL_DELAY=2000    # 初始重试延迟(ms)
export FIRECRAWL_RETRY_MAX_DELAY=30000       # 最大重试延迟(ms)

🛠️ 工具选择指南

工具名称	最佳用途	返回结果
firecrawl_scrape	单页面内容提取	Markdown/HTML
firecrawl_batch_scrape	多URL批量爬取	内容数组
firecrawl_map	网站URL发现	URL列表
firecrawl_crawl	整站内容爬取	多页面内容
firecrawl_search	网络信息搜索	搜索结果
firecrawl_extract	结构化数据提取	JSON数据
firecrawl_deep_research	深度主题研究	综合分析报告

💡 使用示例

1. 单页面爬取

    
    
    
  {
  "name": "firecrawl_scrape",
  "arguments": {
    "url": "https://example.com",
    "formats": ["markdown"],
    "onlyMainContent": true,
    "waitFor": 1000
  }
}

2. 批量URL爬取

    
    
    
  {
  "name": "firecrawl_batch_scrape",
  "arguments": {
    "urls": ["https://example1.com", "https://example2.com"],
    "options": {
      "formats": ["markdown"],
      "onlyMainContent": true
    }
  }
}

3. 结构化数据提取

    
    
    
  {
  "name": "firecrawl_extract",
  "arguments": {
    "urls": ["https://example.com/products"],
    "schema": {
      "type": "object",
      "properties": {
        "name": {"type": "string"},
        "price": {"type": "number"},
        "description": {"type": "string"}
      }
    }
  }
}

📚 实际应用场景

• • 内容创作者：批量收集素材，快速整理参考资料
• • 研究人员：自动抓取学术文献，聚合研究数据
• • 开发者：监控竞品网站更新，提取公开数据
• • SEO优化师：分析网站结构，生成sitemap
• • 市场分析师：收集用户评价，进行情感分析

🔗 资源链接

• • GitHub仓库
• • 官方文档
• • API密钥申请
• • 在线演示

🎯 为什么选择Firecrawl MCP？

Firecrawl MCP将强大的网页处理能力与MCP协议无缝结合，让AI助手能够像人类一样浏览和理解网页内容。无论是简单的内容提取还是复杂的深度研究，Firecrawl MCP都能提供稳定、高效的解决方案，大大扩展了AI助手的应用边界。

立即尝试Firecrawl MCP，让您的AI助手拥有浏览互联网的能力！