本次介绍使用 langfuse3.117.2版本


Dataset简单介绍

Langfuse的Dataset在该平台内主要用于模型预测与评分;通过数据集来对模型回复进行打分。
以下介绍必要配置


1. llm_connection

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


2. prompt 设置

在这里插入图片描述
在这里插入图片描述
注意这里设置的提示词中的变量需要在后面的数据集中有所对应,


3. 数据集数据Item

item目前有三种导入方式

  • 文件批量导入
  • 网页手动导入
  • 代码sdk/api导入

这里使用网页手动导入进行演示
在这里插入图片描述
数据格式案例:
在这里插入图片描述


Dataset功能演示


评测标准选择

评测标准选择自定义,但选择之前需要配置评测模型
在这里插入图片描述


运行评测

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐