diff --git a/.prettierignore b/.prettierignore index 0c1459a..69efd79 100644 --- a/.prettierignore +++ b/.prettierignore @@ -16,3 +16,9 @@ LICENSE # output dist dist/** +# evaluations +evaluations/datastes/recommend/gpt_vis_train.json +evaluations/datastes/recommend/evalResult.json +evaluations/datastes/recommend/eval-result.json +evaluations/datastes/recommend/eval_result.json + diff --git a/evaluations/.prettierignore b/evaluations/.prettierignore deleted file mode 100644 index 032a1f4..0000000 --- a/evaluations/.prettierignore +++ /dev/null @@ -1,12 +0,0 @@ -.DS_Store -.gitignore -.prettierignore -node_modules -yarn.lock -yarn-error.log -npm-debug.log - -datastes/recommend/gpt_vis_train.json -datastes/recommend/evalResult.json -datastes/recommend/eval-result.json -datastes/recommend/eval_result.json diff --git a/evaluations/datastes/chart/text/eval.json b/evaluations/datastes/chart/text/eval.json index 304c4fd..9b32ae2 100644 --- a/evaluations/datastes/chart/text/eval.json +++ b/evaluations/datastes/chart/text/eval.json @@ -16,10 +16,7 @@ "question": "原文为：过去一年，网站访问量120万次，对比前一年+30万次，变化率+33%。在过去的一年里，我们的网站访问量有了显著的增长，与前一年相比增加了33%，这归功于新营销活动的成功执行和用户体验的持续改进。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "\"过去一年，网站访问量为120万次，对比前一年30万次，变化率33%。在过去的一年里，我们的网站访问量有了显著的增长，与前一年相比增加了33%，这归功于新营销活动的成功执行和用户体验的持续改进。\n\n", "answer": "\"过去一年，网站访问量120万次，对比前一年30万次，变化率33%。在过去的一年里，我们的网站访问量有了显著的增长，与前一年相比增加了33%，这归功于新营销活动的成功执行和用户体验的持续改进。\"", - "reference": [ - "折线图 - Line Chart 使用示例", - "数据文本 - Text 使用示例" - ] + "reference": ["折线图 - Line Chart 使用示例", "数据文本 - Text 使用示例"] }, { "type": "text2chart", @@ -37,18 +34,14 @@ "question": "通过文本实体识别增强，将下面内容输出为增强 markdown 内容：用订单商品折扣、订单金额、商品尺寸对移动端访问量进行组合下钻： 1. 订单商品折扣组合中订单商品折扣=0.2指标值为8.95千亿，具有主导性，值得关注。该组合中最大值为53.5，最小值为26.26，均值为49.23，中位数为27.72，75分位数为31.92，25分位数为51.56。 2. 订单商品折扣、订单金额&商品尺寸，各维度组合下的指标未发现异常。", "response": "用订单商品折扣、订单金额、商品尺寸对移动端访问量进行组合下钻： 1. 订单商品折扣组合中订单商品折扣=0.2指标值为8.95千亿，具有主导性，值得关注。该组合中最大值为53.5，最小值为26.26，均值为49.23，中位数为27.72，75分位数为31.92，25分位数为51.56。 2. 订单商品折扣、订单金额&商品尺寸，各维度组合下的指标未发现异常。 ", "answer": "\"用订单商品折扣、订单金额、商品尺寸对移动端访问量进行组合下钻：\\n1. 订单商品折扣组合中订单商品折扣=0.2指标值为8.95千亿，具有主导性，值得关注。该组合中最大值为53.5，最小值为26.26，均值为49.23，中位数为27.72，75分位数为31.92，25分位数为51.56。 \\n2. 订单商品折扣、订单金额&商品尺寸，各维度组合下的指标未发现异常。\"", - "reference": [ - "数据文本 - Text 使用示例" - ] + "reference": ["数据文本 - Text 使用示例"] }, { "type": "text2chart", "question": "基于PROPHET算法预测，未来预计截止至2020-05-13，所有商品颜色数量的预测值保持快速上升，分别是：蓝色-预测值为0.88%，红色-预测值为-90.02%。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "基于PROPHET算法预测，未来预计截止至2020-05-13，所有商品颜色数量的预测值保持快速上升，分别是：蓝色-预测值为0.88%，红色-预测值为-90.02%。\n\n", "answer": "\"基于PROPHET算法预测，未来预计截止至2020-05-13，所有商品颜色数量的预测值保持快速上升，分别是：蓝色-预测值为0.88%，红色-预测值为-90.02%。\"", - "reference": [ - "数据文本 - Text 使用示例" - ] + "reference": ["数据文本 - Text 使用示例"] }, { "type": "text2chart", @@ -66,20 +59,14 @@ "question": "在2023财年的财务报告中，我们注意到业务单元=B部门的运营成本显著上升，具体表现为+15%的增长幅度。这种增长不仅对运营成本的整体波动产生了25%的影响，而且直接拉动了运营成本的增幅达到3.7%。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "在2023财年的财务报告中，我们注意到业务单元=B部门的运营成本显著上升，具体表现为+15%的增长幅度。这种增长不仅对运营成本的整体波动产生了25%的影响，而且直接拉动了运营成本的增幅达到3.7%。\n", "answer": "\"在2023财年的财务报告中，我们注意到业务单元=B部门的运营成本显著上升，具体表现为15%的增长幅度。这种增长不仅对运营成本的整体波动产生了25%的影响，而且直接拉动了运营成本的增幅达到3.7%。\"", - "reference": [ - "柱形图 - Column Chart 使用示例", - "数据文本 - Text 使用示例" - ] + "reference": ["柱形图 - Column Chart 使用示例", "数据文本 - Text 使用示例"] }, { "type": "text2chart", "question": "今年第一季度，亚洲地区的在线教育平台用户数量已经突破至150,000,000人，与去年同期相比，增长率高达30%，显示出了远程学习的巨大潜力。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "今年第一季度，亚洲地区的在线教育平台用户数量已经突破至150,000,000人，与去年同期相比，增长率高达30%，显示出了远程学习的巨大潜力。\n\n ", "answer": "\"今年第一季度，亚洲地区的在线教育平台用户数量已经突破至150,000,000人，与去年同期相比，增长率高达30%，显示出了远程学习的巨大潜力。\"", - "reference": [ - "数据文本 - Text 使用示例", - "条形图 - Bar Chart 使用示例" - ] + "reference": ["数据文本 - Text 使用示例", "条形图 - Bar Chart 使用示例"] }, { "type": "text2chart", diff --git a/evaluations/datastes/chart/text/metrics.json b/evaluations/datastes/chart/text/metrics.json index cace9b7..154946b 100644 --- a/evaluations/datastes/chart/text/metrics.json +++ b/evaluations/datastes/chart/text/metrics.json @@ -17,10 +17,7 @@ "question": "原文为：过去一年，网站访问量120万次，对比前一年+30万次，变化率+33%。在过去的一年里，我们的网站访问量有了显著的增长，与前一年相比增加了33%，这归功于新营销活动的成功执行和用户体验的持续改进。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "\"过去一年，网站访问量为120万次，对比前一年30万次，变化率33%。在过去的一年里，我们的网站访问量有了显著的增长，与前一年相比增加了33%，这归功于新营销活动的成功执行和用户体验的持续改进。\n\n", "answer": "\"过去一年，网站访问量120万次，对比前一年30万次，变化率33%。在过去的一年里，我们的网站访问量有了显著的增长，与前一年相比增加了33%，这归功于新营销活动的成功执行和用户体验的持续改进。\"", - "reference": [ - "折线图 - Line Chart 使用示例", - "数据文本 - Text 使用示例" - ], + "reference": ["折线图 - Line Chart 使用示例", "数据文本 - Text 使用示例"], "correctness": 0.6232502388407516 }, { @@ -40,9 +37,7 @@ "question": "通过文本实体识别增强，将下面内容输出为增强 markdown 内容：用订单商品折扣、订单金额、商品尺寸对移动端访问量进行组合下钻： 1. 订单商品折扣组合中订单商品折扣=0.2指标值为8.95千亿，具有主导性，值得关注。该组合中最大值为53.5，最小值为26.26，均值为49.23，中位数为27.72，75分位数为31.92，25分位数为51.56。 2. 订单商品折扣、订单金额&商品尺寸，各维度组合下的指标未发现异常。", "response": "用订单商品折扣、订单金额、商品尺寸对移动端访问量进行组合下钻： 1. 订单商品折扣组合中订单商品折扣=0.2指标值为8.95千亿，具有主导性，值得关注。该组合中最大值为53.5，最小值为26.26，均值为49.23，中位数为27.72，75分位数为31.92，25分位数为51.56。 2. 订单商品折扣、订单金额&商品尺寸，各维度组合下的指标未发现异常。 ", "answer": "\"用订单商品折扣、订单金额、商品尺寸对移动端访问量进行组合下钻：\\n1. 订单商品折扣组合中订单商品折扣=0.2指标值为8.95千亿，具有主导性，值得关注。该组合中最大值为53.5，最小值为26.26，均值为49.23，中位数为27.72，75分位数为31.92，25分位数为51.56。 \\n2. 订单商品折扣、订单金额&商品尺寸，各维度组合下的指标未发现异常。\"", - "reference": [ - "数据文本 - Text 使用示例" - ], + "reference": ["数据文本 - Text 使用示例"], "correctness": 0.947155405719913 }, { @@ -50,9 +45,7 @@ "question": "基于PROPHET算法预测，未来预计截止至2020-05-13，所有商品颜色数量的预测值保持快速上升，分别是：蓝色-预测值为0.88%，红色-预测值为-90.02%。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "基于PROPHET算法预测，未来预计截止至2020-05-13，所有商品颜色数量的预测值保持快速上升，分别是：蓝色-预测值为0.88%，红色-预测值为-90.02%。\n\n", "answer": "\"基于PROPHET算法预测，未来预计截止至2020-05-13，所有商品颜色数量的预测值保持快速上升，分别是：蓝色-预测值为0.88%，红色-预测值为-90.02%。\"", - "reference": [ - "数据文本 - Text 使用示例" - ], + "reference": ["数据文本 - Text 使用示例"], "correctness": 0.7800134951599099 }, { @@ -72,10 +65,7 @@ "question": "在2023财年的财务报告中，我们注意到业务单元=B部门的运营成本显著上升，具体表现为+15%的增长幅度。这种增长不仅对运营成本的整体波动产生了25%的影响，而且直接拉动了运营成本的增幅达到3.7%。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "在2023财年的财务报告中，我们注意到业务单元=B部门的运营成本显著上升，具体表现为+15%的增长幅度。这种增长不仅对运营成本的整体波动产生了25%的影响，而且直接拉动了运营成本的增幅达到3.7%。\n", "answer": "\"在2023财年的财务报告中，我们注意到业务单元=B部门的运营成本显著上升，具体表现为15%的增长幅度。这种增长不仅对运营成本的整体波动产生了25%的影响，而且直接拉动了运营成本的增幅达到3.7%。\"", - "reference": [ - "柱形图 - Column Chart 使用示例", - "数据文本 - Text 使用示例" - ], + "reference": ["柱形图 - Column Chart 使用示例", "数据文本 - Text 使用示例"], "correctness": 0.7604312428023119 }, { @@ -83,10 +73,7 @@ "question": "今年第一季度，亚洲地区的在线教育平台用户数量已经突破至150,000,000人，与去年同期相比，增长率高达30%，显示出了远程学习的巨大潜力。通过文本实体识别增强，输出增强 markdown 内容为：", "response": "今年第一季度，亚洲地区的在线教育平台用户数量已经突破至150,000,000人，与去年同期相比，增长率高达30%，显示出了远程学习的巨大潜力。\n\n ", "answer": "\"今年第一季度，亚洲地区的在线教育平台用户数量已经突破至150,000,000人，与去年同期相比，增长率高达30%，显示出了远程学习的巨大潜力。\"", - "reference": [ - "数据文本 - Text 使用示例", - "条形图 - Bar Chart 使用示例" - ], + "reference": ["数据文本 - Text 使用示例", "条形图 - Bar Chart 使用示例"], "correctness": 0.8006407690254358 }, { diff --git a/evaluations/prompts/narrative-text/agent.md b/evaluations/prompts/narrative-text/agent.md index 85c9afb..a41303e 100644 --- a/evaluations/prompts/narrative-text/agent.md +++ b/evaluations/prompts/narrative-text/agent.md @@ -15,17 +15,17 @@ ## 工作流程: 1. **识别实体短语类型**：从用户给的数据描述文本中，识别和提取短语实体类型，现在内置的有： - 1. **metric_name**: 指标名称，通常是数据分析中主指标的名称，例如：“单价”，“DAU”,"交易量"，“毛利率”等； - 2. **dim_name**: 维度名称，通常表达数据分析中可以拆分下钻的维度，例如：“省份”，“城市”，“年龄”，“性别”等； - 3. **dim_value**: 维度值，下钻维度拆分后的值，例如：“北京”，“女性”，“中年”，“支付宝”等； - 4. **metric_value**: 指标值，通常跟在主指标 metric_name 或者维度值 dim_value 后面，表示指标具体的数值大小，例如：“1000”，“100 万”，“10%”等； - 5. **time_desc**: 时间描述，通常限定数据结论的日期范围，比如"2022 年"，"去年"，"12 点 03 分"，"2023-01-23"等； - 6. **trend_desc**: 趋势描述，通常在主指标 metric_name 后面，描述指标的变化趋势，例如："上涨", "下跌","下降"等； - 7. **delta_value**: 变化差值，一种特殊的指标值，用于描述对比差值 a-b，如上涨 3000，此时 3000 属于变化差值。如果数值为正，类型为 'delta_value_pos'，如果数值为负，类型为 'delta_value_neg'，无法识别正负值时为 'delta_value'。同时文本内容（children）需要进行 abs 处理为绝对值； - 8. **ratio_value**: 比率值，类似 delta_value，一种特殊的指标值，用于描述对比率 (a-b)/b，如上涨 30%，此时 30% 属于变化率。如果数值为正，类型为 'ratio_value_pos'，如果数值为负，类型为 'ratio_value_neg'，无法识别正负值时用 'ratio_value'。同时文本内容（children）需要进行 abs 处理为绝对值； - 9. **proportion**: 占比，也是一种特殊的指标值，表示该指标占总体的比例，通常为百分比数值，跟在“占比”等语义后面的指标，例如："22%"； - 10. **contribute_ratio**: 贡献度，表示维值或子指标变化对主指标变化的贡献，跟随在 “贡献度”后面的百分比数据，例如：如“贡献度是22%”，则此时22%归为贡献度。 - 11. **phenomenon**: 数据现象的总结与建议，对数据表现情况的分析总结或给用户的行动建议。例如“未发现异常”，“趋势向好”。 + - **metric_name**: 指标名称，通常是数据分析中主指标的名称，例如：“单价”，“DAU”,"交易量"，“毛利率”等； + - **dim_name**: 维度名称，通常表达数据分析中可以拆分下钻的维度，例如：“省份”，“城市”，“年龄”，“性别”等； + - **dim_value**: 维度值，下钻维度拆分后的值，例如：“北京”，“女性”，“中年”，“支付宝”等； + - **metric_value**: 指标值，通常跟在主指标 metric_name 或者维度值 dim_value 后面，表示指标具体的数值大小，例如：“1000”，“100 万”，“10%”等； + - **time_desc**: 时间描述，通常限定数据结论的日期范围，比如"2022 年"，"去年"，"12 点 03 分"，"2023-01-23"等； + - **trend_desc**: 趋势描述，通常在主指标 metric_name 后面，描述指标的变化趋势，例如："上涨", "下跌","下降"等； + - **delta_value**: 变化差值，一种特殊的指标值，用于描述对比差值 a-b，如上涨 3000，此时 3000 属于变化差值。如果数值为正，类型为 'delta_value_pos'，如果数值为负，类型为 'delta_value_neg'，无法识别正负值时为 'delta_value'。同时文本内容（children）需要进行 abs 处理为绝对值； + - **ratio_value**: 比率值，类似 delta_value，一种特殊的指标值，用于描述对比率 (a-b)/b，如上涨 30%，此时 30% 属于变化率。如果数值为正，类型为 'ratio_value_pos'，如果数值为负，类型为 'ratio_value_neg'，无法识别正负值时用 'ratio_value'。同时文本内容（children）需要进行 abs 处理为绝对值； + - **proportion**: 占比，也是一种特殊的指标值，表示该指标占总体的比例，通常为百分比数值，跟在“占比”等语义后面的指标，例如："22%"； + - **contribute_ratio**: 贡献度，表示维值或子指标变化对主指标变化的贡献，跟随在 “贡献度”后面的百分比数据，例如：如“贡献度是22%”，则此时22%归为贡献度。 + - **phenomenon**: 数据现象的总结与建议，对数据表现情况的分析总结或给用户的行动建议。例如“未发现异常”，“趋势向好”。 2. **标记短语类型**：将文本中提取到的短语类型，使用 的形式包裹，其中 type 是上述短语类型，标签内部为原短语文本值。origin: 可选，可以是任意类型，用于存储原始数据，比如未经格式化的指标值、占比、趋势详情等，如 1789.23, 0.34, [1, 2, 6, 18, 24, 48] 等； 3. **生成完整 markdown 格式**：将经过标记短语类型的文本，输出为增强 markdown 格式，可以进行段落排版，文本内容不发生变化，。 @@ -33,8 +33,8 @@ - 输出 markdown 格式的回答结果，回答和输入相比，除了标注出识别出的实体短语外，内容本身不要发生变化，不需要额外附加信息和解释。 - ## 参考例子: + - 用户输入: 其中，该项维值组合下 平均客单价 为11.53，对主指标波动的贡献度是64.02%，对主指标的拉动为2.66%。 - 回答: 其中，该项维值组合下 平均客单价 为11.53，对主指标波动的贡献度是64.02%，对主指标的拉动为2.66%。 - 用户输入: 该项维值组合下分母占总体分母的比例为0.00%，对主指标波动的贡献度是-0.40%，对主指标的拉动为-0.02%。 @@ -43,4 +43,3 @@ - 回答: 第一季度末，GDP增长率达到2.8%，相较于之前的3.1%，环比下降了0.3%。同时，与上周同期相比，失业率下降了0.2%。 - 用户输入：用客户性别对销售量拆分后，根据皮尔逊相关系数分析指标相关性，男趋势分布与指标总趋势相似性最大，相似性系数为99.54%；女趋势分布与指标总趋势相似性最小，相似性系数为99.54%。 - 回答：用客户性别对销售量拆分后，根据皮尔逊相关系数分析指标相关性，男趋势分布与指标总趋势相似性最大，相似性系数为99.54%；女趋势分布与指标总趋势相似性最小，相似性系数为99.54%。 - diff --git a/evaluations/prompts/narrative-text/text2chart.md b/evaluations/prompts/narrative-text/text2chart.md index c4b721a..a2f723d 100644 --- a/evaluations/prompts/narrative-text/text2chart.md +++ b/evaluations/prompts/narrative-text/text2chart.md @@ -19,7 +19,6 @@ ### 数据要求 -