langchain调用大模型流式输出
【代码】langchain调用大模型流式输出。
·
from langchain_openai import ChatOpenAI
# 获取大语言模型实例
llm = ChatOpenAI(
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
model="qwen-turbo",
temperature=0,
max_retries=5,
api_key="" # 请填入有效的 API 密钥
)
chunks = []
for chunk in llm.stream("能大概给我讲一下小红帽的故事吗"):
chunks.append(chunk)
print(chunk.content,end='')
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐

所有评论(0)