使用阿里巴巴开源的ai框架,访问本地部署的大模型,本次采用llama3.2:1b的模型。

首先下载阿里巴巴ai的开源代码,git地址:spring-ai-alibaba-examples/spring-ai-alibaba-rag-example at main · springaialibaba/spring-ai-alibaba-examples · GitHubExamples demonstrating usage of Spring AI Alibaba. Contribute to springaialibaba/spring-ai-alibaba-examples development by creating an account on GitHub.https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-rag-example?spm=4347728f.3f2b363b.0.0.7692a35eGmZk1l

启动本地大模型,本文采用Ollama启动大模型

启动命令

Ollama run llama3.2:1b

 启动后如图

 

打开IDEA,下载好阿里的工程,我用的 ollama-chat-model

 

修改配置文件,把Ollama的服务的API和端口设置,还有模型名称,启动即可

浏览器访问项目工程的URL,http://localhost:10005/ollama/chat-model/simple/chat,返回对话信息

 

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐