🎈摘要

本文介绍了一种零代码方案:通过配置 Bright Data API 与 n8n 搭建自动化数据管道,可每日自动抓取 LinkedIn 最新职位信息,为求职者、招聘顾问和数据分析人员等提供结构化招聘数据,无需编程即可定时获取,帮助用户摆脱每日手动浏览的麻烦。

🎈BrightData 和N8N是什么?

🍮BrightData

在这里插入图片描述

Bright Data 网页爬虫 API 简介:

  • 无需搭建代理池或解析网页结构

  • 支持 120+ 热门网站(LinkedIn、Amazon、Instagram、TikTok、Zillow、YouTube 等)

  • 提供标准化 JSON 返回,支持批量请求(最多 5,000 个 URL)

  • 100% 合规,支持支付宝等本地支付方式

  • 通过 API 快速抓取如 LinkedIn、Amazon、Instagram、Youtube 等网站的数据

  • 在 AI 数据准备、商业情报、舆情分析、招聘数据抓取等场景中应用广泛

🍮N8N工作流

在这里插入图片描述

n8n 是一个开源的、可视化的、高度灵活的工作流自动化平台。它让你能够轻松连接各种应用程序、数据库和 API,构建复杂的自动化流程,无论是简单的通知任务还是涉及自定义代码和复杂逻辑的数据处理管道。

🎈LinkedIn职位统计智能体搭建

LinkedIn职位统计智能体采用n8n与BrightData结合的方式,绕过LinkedIn的反扒机制,获取其对应的职位信息,并对指定岗位在每一天发布的周报进行统计记录。

采用技术功能如下:

  • BrightDataAPI:绕过反爬,获取结构化LinkedIn数据

  • N8N工作流:自动化调度、清洗、推送流程

  • MCP协议:大模型上下文协议

  • DeepSeek模型:大语言模型

🍮成果展示

  • 完整工作流
    在这里插入图片描述

  • 职位统计日报
    在这里插入图片描述

🍮搭建教程

  1. 首先选一个定时器,每天早上7点开始执行工作流
    在这里插入图片描述

  2. 设置参数,设置日期和职位信息
    在这里插入图片描述

  3. 设置AIAgent、DeepSeek大模型、亮数据MCP
    在这里插入图片描述

  4. AIAgent描述配置
    在这里插入图片描述

图中描述的文字内容:

# 要求
在Linkin平台 {{ $('设置查询职位信息').item.json.post }} 职位 {{ $('设置查询职位信息').item.json.date }} 日的发布的职位信息,并生成完整的HTML格式日报

日期: {{ $('设置查询职位信息').item.json.date }}
样式模板: {{ $json.web_style }}

输出格式:完整的HTML文档代码
  • 亮数据Token获取地址如下图:
    在这里插入图片描述

  • BrightData 的 MCP:https://mcp.brightdata.com/sse?token=换成自己的token
    在这里插入图片描述

  • 将 HTML 内容转换为 base64
    在这里插入图片描述

import base64

# 将 HTML 内容转换为 base64
base64_data = base64.b64encode(_input.item.json.output.encode('utf-8')).decode('utf-8')

# 返回单个字典对象(不是数组)
return {
    "json": {},
    "binary": {
        "data": {
            "data": base64_data,
            "mimeType": "text/html",
            "fileName": "output.html"  # 建议始终包含文件名
        }
    }
}
  • 保存为文件到本地
    在这里插入图片描述
/home/node/{{ $now.format('yyyy-MM-dd')  + $('设置查询职位信息').item.json.group_name +"日报汇总.html" }}

🍮n8n+BrightData方案的绝配选择

  • 使用该方案之前遇见的问题:
    ❌ LinkedIn反爬严格:频繁封IP、强制验证码
    ❌ 职位数据分散:需遍历多地点+多关键词组合
    ❌ 手动收集低效:每日2小时,且无法结构化分析

  • 解决方案:n8n+BrightData方案

    • 100%合规性

    • BrightData使用合法住宅代理采集公开数据

    • 遵守LinkedIn Robots.txt规则(通过官方API替代爬虫)

    • 零维护成本

    • BrightData自动处理:
      ✅ 页面改版解析
      ✅ 验证码破解
      ✅ IP轮换

🍚总结

立即行动搭建自己的职位小助手吧,注册BrightData试用(赠$2测试额度),另外现在有活动,每月免费畅享 5,000 次 MCP 请求 —— 赶快申请试用吧!
“以前需要全职爬虫工程师的工作,现在用n8n+BrightData只需1小时配置”,通过此方案,开发者/业务团队可将数据采集成本降低10倍,聚焦真正的价值战场——数据驱动的战略决策。

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐