Kimi-V2 api调用时返回 ... 问题 而不是完整内容的解决方法
·
response = client.models.generate_content(
model="kimi-v2-tubo", contents=user
)
这是之前一直使用的方法,但是最近使用的时候,在长文本对话,长内容返回的时候出现内容不完整的情况,
如:
{preview:前一直使用的方法,但是最近使用的时候,在长文本对话,长内容返回的时候出现内容不完整的情况,content:前一直使用的方法,但是最近使用的时候,在长文本对话,长内容返回的时候出现内容不完整的情况,...
返回的内容以省略号的形式出现,导致JSON解析失败。
解决方法也很简单:改为流式传输:
resp = client.chat.completions.create(
model=self.model,
messages=messages,
max_tokens=60_000,
timeout=120,
temperature=kwargs.pop("temperature", self.temperature),
stream=True,
**kwargs
)
for chunk in resp:
delta = chunk.choices[0].delta.content
if delta:
buffer.append(delta)
print(delta, end="", flush=True) # 实时打字效果
print()
希望对初学者有所帮助。
更多推荐

所有评论(0)