[評価] - llm-jp-3 事前学習モデル MT-bench

[Taka008]

Overview

llm-jp-3 モデルについて MT-bench を走らせる．とりあえずは 172B．

Details

事前学習モデルIssue: #9

llm-jp-3 172B モデル（チューニングなしの生モデル）について MT-bench を走らせる
13B 以下を評価するかは要検討（MTbench の実行には時間がかかり，並列で行うにはAPIの制限がある）

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: 1
• コード
  • リポジトリ: https://github.com/wandb/llm-leaderboard/tree/g-leaderboard
  • コミット: 9c4474d
• 出力データ:
  • 保存先: sakura:/data/experiments/{issue_id}/evaluations FIXME
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-11-19
• 終了予定日: 2024-12-31