Skip to content

可否集成模型测试框架lm_eval #1412

@828Tina

Description

@828Tina

功能请求是否与某个问题相关?请描述。

如题,lm_eval是https://github.com/EleutherAI/lm-evaluation-harness项目中的测试框架。

该项目提供了一个统一的框架,用于在大量不同的评估任务上测试生成式语言模型。

有些项目基于该框架实现测试,比如dllm框架,其中压测等任务可以集成swanlab

描述您希望的解决方案

有些项目基于该框架实现测试,比如dllm框架,其中压测等任务可以集成swanlab

描述您考虑过的替代方案

No response

Metadata

Metadata

Assignees

No one assigned

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions