请教Trinity-RFT的bench模式如何使用？

[yysxjz]

背景与动机

Trinity-RFT 开发者您好！
我们正在使用 Trinity-RFT 框架进行一些关于多轮对话强化学习的研究。
已经利用Trinity-RFT在Qwen2.5-3B-Instruct上训练了一版模型。

需求描述

目前我们希望对原始的Qwen2.5-3B-Instruct，和训练后的模型进行评估。
但目前不确定Trinity-RFT框架能否直接用来评估，我注意到Trinity-RFT有bench模式，但没有找到与bench模式有关的教程。
考虑到训练和评估的workflow基本一致，如果Trinity-rft能直接用来评估，可以极大加速我们的评估过程，减少代码量

总结

我们希望对原始的Qwen2.5-3B-Instruct，和训练后的模型进行评估。
希望了解如何利用Trinity-RFT来评估。
如果Trinity-RFT的bench模式可以用来评估的话，有哪些注意点？如何使用呢？

[hiyuchang]

您好，你可以认为“bench”是一种只产生experience用来evaluation的模式，通过设置mode:bench可以实现。
假如你有已经可以运行的workflow，你只需要保证project/name/checkpoint_dir和原始yaml一致即可，trinity会自动查找到你的checkpoint保存目录进行evaluation，测试的数据由eval_tasksets内path决定。

一个示例yaml如下：

mode: bench
project: "Alfworld_Benchmark" # 和训练时的project保持一致
name: "test" # 和训练时的name保持一致
checkpoint_root_dir: # 原始checkpoint dir
algorithm:
  algorithm_type: grpo
  repeat_times: 8 # 
model:
  model_path: Qwen/Qwen2.5-3B-reft-512
  max_prompt_tokens: 10240
  max_response_tokens: 4096
cluster:
  node_num: 1
  gpu_per_node: 8
buffer:
  explorer_input:
    eval_tasksets:
      - name: alfworld
        storage_type: file
        split: test
        path: # eval数据path
        format:
          prompt_key: 'game_file'
        rollout_args:
          temperature: 1.0
          logprobs: 0
    default_workflow_type: 'alfworld_workflow'
explorer:
  runner_per_model: 8
  max_timeout: 3600
  rollout_model: # 注意rollout_model + auxliary models可以使用所有GPU
    engine_num: 8 
    tensor_parallel_size: 1
    enable_prefix_caching: false
    enforce_eager: false
    dtype: bfloat16
    seed: 42
    gpu_memory_utilization: 0.7
    enable_chunked_prefill: true

[yysxjz]

非常感谢您的解答。我还有一点不太确定，就是bench模式可以评估原始的Qwen2.5-3B-Instruct模型吗？

[hiyuchang]

可以的。如果你设置explorer.eval_on_startup=true，会先对原始模型（model_path）进行评估。