摘要: 本文将手把手教你如何在本地环境中部署 Firecrawl MCP 服务器。Firecrawl 是一个强大的网络抓取和数据提取工具,可将任何网站转换为大语言模型(LLM)可用的 Markdown 或结构化数据。通过部署其 MCP(Model Context Protocol)服务器,你可以为本地或私有的 AI 应用提供强大的网页数据访问能力。本教程将涵盖所有必要步骤,从环境准备到最终的部署验证,让你轻松掌握 FirecrawlMCP 的本地化部署。


1. Firecrawl 与 MCP 简介

在开始部署之前,让我们先简单了解一下什么是 Firecrawl 和 MCP。

  • Firecrawl:它是一个 API 服务,能够抓取、爬取和提取网站内容,并将其转换为干净、结构化的 Markdown 格式。这对于需要将网页内容作为上下文提供给大型语言模型(如 RAG - 检索增强生成)的应用场景非常有用。
  • MCP (Model Context Protocol):可以理解为 AI 模型与外部工具及数据源之间进行通信的一种标准化协议。它允许 AI 模型(如 Claude、Cursor 等)以一种统一的方式请求和接收来自不同服务的数据。FirecrawlMCP Server 就是一个实现了该协议的服务器,它将 Firecrawl 的网页抓取能力作为一种“工具”提供给支持 MCP 的 AI 应用。

通过在本地部署 FirecrawlMCP,你可以实现:

  • 数据隐私与安全:所有数据处理都在你的本地环境中完成,无需担心数据泄露。
  • 节约成本:在本地环境中进行测试和开发,无需支付云服务费用。
  • 更高的灵活性:可以根据自身需求进行定制化配置。

2. 环境准备与前提条件

在开始部署之前,请确保你的系统满足以下要求:

  • Docker: 本教程将使用 Docker 进行部署,这是最简单、最推荐的方式。请确保你已经安装并成功运行了 Docker 和 Docker Compose。
  • Git: 你需要 Git 来克隆项目代码仓库。
  • Node.js (可选): 如果你想查看或修改源代码,建议安装 Node.js (v18.0.0 或更高版本)。
  • 一个代码编辑器: 例如 Visual Studio Code。

3. 部署步骤详解

步骤一:克隆 Firecrawl MCP 服务器代码库

首先,打开你的终端或命令行工具,使用 Git 克隆 firecrawl-mcp-server 的官方代码仓库。

Bash

git clone https://github.com/mendableai/firecrawl-mcp-server.git

然后,进入项目目录:

Bash

cd firecrawl-mcp-server
步骤二:配置环境变量

FirecrawlMCP 服务器的配置是通过环境变量来完成的。项目提供了一个环境变量模板文件 .env.example。我们需要复制这个文件并重命名为 .env,然后根据需要进行修改。

firecrawl-mcp-server 目录下,执行以下命令:

Bash

cp .env.example .env

接下来,使用你的代码编辑器打开 .env 文件。以下是一些关键的配置项说明:

Code snippet

# 服务器运行的端口,默认为 3000
PORT=3000

# Firecrawl API 的地址。
# 如果你同时在本地部署了 Firecrawl 的主服务,这里需要指向你的本地 Firecrawl API 地址。
# 如果你只是部署 MCP 服务器并希望它使用 Firecrawl 的官方云服务(有免费额度),则无需修改此项。
# 本教程假设我们使用官方云服务。
FIRECRAWL_API_URL=https://api.firecrawl.dev

# 你的 Firecrawl API 密钥。
# 你需要访问 https://www.firecrawl.dev/ 注册并获取一个免费的 API Key。
FIRECRAWL_API_KEY=YOUR_FIRECRAWL_API_KEY

# 日志级别,例如 'info', 'debug'
LOG_LEVEL=info

重要提示:请务必将 YOUR_FIRECRAWL_API_KEY 替换为你自己的 Firecrawl API 密钥。

对于只想快速在本地运行 MCP 服务器的用户来说,通常只需要配置 FIRECRAWL_API_KEY 即可。

步骤三:使用 Docker Compose 启动服务

项目已经为我们准备好了 docker-compose.yml 文件,这使得启动服务变得异常简单。

firecrawl-mcp-server 目录下,确保你的 Docker 守护进程正在运行,然后执行以下命令:

Bash

docker-compose up -d

参数 -d 表示在后台(detached mode)运行容器。

Docker 将会自动拉取所需的镜像并构建容器。当命令执行完毕后,FirecrawlMCP 服务器就已经在你的本地成功运行了!

步骤四:验证部署

你可以通过几种方式来验证服务是否正常运行。

  1. 查看 Docker 容器状态

    Bash

    docker-compose ps
    

    你应该能看到一个名为 firecrawl-mcp-server 的容器正在运行(State 为 Up)。

  2. 查看容器日志

    Bash

    docker-compose logs -f
    

    你应该能看到类似 Server is running on port 3000 的日志输出。

  3. 访问健康检查端点

    打开你的浏览器或使用 curl 命令,访问服务的 /health 端点。默认情况下,地址是 http://localhost:3000/health

    Bash

    curl http://localhost:3000/health
    

    如果一切正常,你应该会收到一个 OK 的响应。

  4. 访问 MCP 工具定义端点

    MCP 服务器会暴露一个包含所有可用工具定义的 JSON 文件。你可以通过访问根路径来查看。

    Bash

    curl http://localhost:3000
    

    你将看到一个 JSON 响应,其中详细描述了 scrapecrawlsearch 等工具的功能、参数和用法。这表明你的 MCP 服务器已准备好接收来自 AI 应用的请求。

4. 如何使用本地的 FirecrawlMCP

部署完成后,你可以在支持 MCP 的客户端(如 Cursor IDE)中配置并使用这个本地服务器。

Cursor 为例:

  1. 打开 Cursor。
  2. 进入设置 (Settings)。
  3. 找到 "Model Context Protocol (MCP)" 或类似的设置项。
  4. 添加一个新的全局 MCP 服务器 (Global MCP Server)。
  5. 在服务器地址中输入你的本地服务地址,例如:http://localhost:3000
  6. 保存后,当你在 Cursor 中与 AI 对话并需要网络信息时,它就可以调用你本地部署的 FirecrawlMCP 服务来抓取网页内容了。

5. 总结

通过本教程,我们学习了如何在本地环境中使用 Docker 快速部署一个 FirecrawlMCP 服务器。这为你构建需要实时网页数据作为支撑的私有化、本地化 AI 应用提供了极大的便利。本地部署不仅保证了数据的私密性,也为开发者提供了一个免费且灵活的测试和开发环境。

如果您需要人工远程部署服务,请联系加微信:DaBengDaBeng

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐