在AI工程开发过程中,选择合适的框架,站在巨人的肩膀上前行,方可事半功倍。以下,给出Python、Java、Go现阶段比较流行的框架,供参考

Python

框架 LangChain AutoGen CrewAI Haystack agentscope
GitHub链接数 & star数 https://github.com/langchain-ai/langchain (119k+) https://github.com/microsoft/autogen (51.5k+) https://github.com/crewAIInc/crewAI (40.1k+) https://github.com/deepset-ai/haystack (23.3k+) https://github.com/agentscope-ai/agentscope(13.7k+)
开发背景 由 Harrison Chase 在 2021 年创建,目标是为开发者提供构建基于 LLM 的应用的便利工具,当前在大模型生态中非常活跃,功能非常丰富,支持链式调用、工具整合等 由微软 Research 团队开发,旨在构建多智能体协作系统,优化任务分配、协作和工具调用等 由 CrewAI 团队开发,专注于多 agent 系统的协作与团队作业管理。目标是增强 AI agents 在复杂场景中的协作能力 由 Deepset 公司开发,初期作为一个开源的自然语言处理框架,专注于 RAG(retrieval-augmented generation)和问答系统,适合结合检索系统与 LLM 该项目由 AgentScope.ai 团队开发,专注于提供一个模块化、易于集成的 Agent 框架
优点 功能极为丰富,支持多种工具、LLM 和流程设计,生态庞大,社区活跃 微软出品,专为多智能体协作设计,适用于大规模应用 聚焦多智能体协作和复杂工作流管理,灵活性强 强大的文档检索和问答功能,适用于 RAG 系统和知识库驱动的应用 有高度模块化和灵活的扩展性,支持多代理系统的并发处理和高效通信,适用于复杂的分布式应用

Java

框架 Spring AI Spring AI Alibaba LangChain4j openai-java agents-flex
GitHub链接数 & star数 https://github.com/spring-projects/spring-ai (7.1k+) https://github.com/alibaba/spring-ai-alibaba (6.8k+) https://github.com/langchain4j/langchain4j/ (9.5k+) https://github.com/openai/openai-java (1.2k+) https://github.com/agents-flex/agents-flex(547+)
开发背景 Spring AI是Spring生态系统的一部分,旨在简化AI技术与Spring应用的集成,尤其适合微服务和分布式系统 由阿里巴巴基于Spring框架开发,侧重云计算和大规模AI任务处理,尤其适用于阿里云环境 LangChain4j是Python框架LangChain的Java实现,专为构建基于语言模型(如GPT)的智能代理而设计 OpenAI Java SDK为Java开发者提供与OpenAI的语言模型(如GPT-4)的接口,简化了模型的集成 一个轻量级框架,专为构建灵活且高效的多代理系统设计,适用于需要高并发和低延迟的场景
优点 与Spring框架高度集成,简化AI功能的开发和部署;模块化设计,灵活支持不同AI任务;适合企业级应用,提供可扩展性和高可维护性 深度集成阿里云AI服务,支持高性能分布式处理;与Spring生态兼容,易于在现有应用中添加AI功能;适合大规模、实时数据分析和AI应用 支持构建自然语言驱动的智能代理,能够实现多步骤推理和决策;链式操作使任务流更加灵活;为Java开发者提供了接入先进语言模型的途径 集成强大的自然语言处理能力,支持生成、理解和对话;易于集成,无需自己训练模型;提供完整的API文档和社区支持,便于开发和调试 提供灵活的代理行为定制和任务调度,支持动态配置;优化的通信机制确保低延迟和高并发;简洁易扩展,便于集成到现有应用中

Go

框架 Eino Langchin-Go openai-go golearn gomlx
GitHub链接数 & star数 https://github.com/cloudwego/eino (8.1k+) https://github.com/tmc/langchaingo (8k+) https://github.com/sashabaranov/go-openai (10.4k+) https://github.com/sjwhitworth/golearn (9.4k+) https://github.com/gomlx/gomlx (1.2k+)
开发背景 字节跳动开发的一款基于大语言模型的框架,专注于为企业提供AI智能应用开发工具 Go版的LangChain (如LangChain-Go) 通过社区和开源开发实现了在Go语言中使用LLM的能力 由社区开发的Go语言客户端库,用于与OpenAI的API进行交互,支持访问OpenAI的GPT模型(如GPT-3、GPT-4)。该框架提供了简单易用的API,使开发者能够轻松将GPT模型集成到Go应用中 一个支持多种人工智能和机器学习任务的Go框架,尽管它不专注于LLM,但能够与外部的LLM服务(如OpenAI、Hugging Face等)进行集成,帮助开发者创建基于LLM的智能代理系统 GoMLX是一个为Go语言开发的开源机器学习框架,旨在填补Go在机器学习领域的空白。它提供了从数据处理到模型训练和推理的完整工具链,允许Go开发者在无需依赖Python的情况下构建机器学习应用
优点 支持多种大语言模型(如GPT、BERT等),具有高效的推理性能;框架内置了智能代理组件,方便快速开发NLP应用;灵活的API和工具集,适合企业级应用的快速集成和定制化开发 支持语言模型与外部资源(如数据库、API等)的灵活集成,适合复杂的AI代理和多步骤任务;链式操作便于构建复杂的逻辑流程;适合大规模并发任务处理,能够在Go的并发模型下高效运行 轻量级且高效,能够直接与OpenAI的GPT模型进行交互;支持自然语言生成、对话管理、文本分析等功能;广泛的社区支持和文档,便于快速上手 模块化设计,支持机器学习、深度学习等功能,能够方便地集成LLM服务;与Go的高性能和并发特性结合,适合开发实时处理任务的AI代理;易于集成到现有的Go应用中 GoMLX具有高度的可扩展性和并发处理能力,适合高效处理大规模数据和训练任务;其简洁的API设计使得Go开发者能够快速上手并实现机器学习功能;与Go的高性能和内存管理相结合,适合在高并发、低延迟环境下使用

结论:

  • Python:Python凭借其简洁的语法和强大的生态系统,早已经成为AI和机器学习领域的主流语言。有众多成熟的AI框架,如TensorFlow、PyTorch、Hugging Face Transformers等,它们提供了强大的支持来开发智能代理(AI Agent)和自然语言处理应
  • Java:凭借其高性能和稳定性在企业级应用中得到广泛应用,尤其是在大规模系统和分布式环境下。Java的JVM(Java虚拟机)使其具有较强的跨平台能力,因此Java在AI Agent开发中也有广泛的应用
  • Go:因其简洁的语法、内置的并发处理和高效的性能,在云计算、网络服务和微服务领域得到广泛应用。虽然Go在AI和机器学习方面的生态系统较Python和Java薄弱,但它逐渐成为AI Agent开发中一种有吸引力的选择,尤其是对于性能要求较高的应用

知识星球服务

已经沉淀的资产,减少您的时间,少走弯路。

  1. 后端:体系化的学习路线,计算机基础知识、Java 后端框架、微服务相关体系化的文章讲解,面试资料
  2. 大数据:体系化的学习路线,大数据体系下的 Hadoop、Spark、Flink 等面试资料
  3. AI 工程:Spring AI && Spring AI Alibaba 框架的上手教程

其他:

  • 每个月可免费向我提问一次,虽然白天工作比较繁忙,但尽量在 48 小时内给予回复
  • 有些合适的实习、校招、社招机会会在星球内分享

陆续建设的资料

  • 自然语言处理:LLM 的发展脉络的相关知识,早期的 BERT -> GPT 的演进,相关项目推荐
  • 个人的复利成长:立足于未来,如何沉淀自身“资产”应对风险
  • 基金理财:缅北 A、纳斯达克指数、摩根,定投的策略?

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐