[評価] - v3 172B exp2 ベースモデル評価

[odashi]

Overview

v3 172B exp2 ベースモデルの評価を行います。

Details

事前学習モデルIssue: #9

HF変換済みモデルを用いてチェックポイントごとに評価を行います。
結果は随時 Ablation Study spreadsheet に書き込みます。

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small or gpu-debug (H100x8)
  • ノード台数: 実験あたり 1
• コード
  • https://github.com/llm-jp/scripts/tree/e75bb4e63fd763d099c6af86298e6628c0e70792
• 評価データ:
  • Checkpoint: sakura:/home/shared/experiments/0017_v3-172b-hf
  • Evaluator: llm-jp-eval-v1.3.1
• 出力データ:
  • 保存先: sakura:/home/shared/experiments/0026_v3-172b-exp2-eval
• W&B ログ:
  • https://wandb.ai/llm-jp-eval/0026_v3-172b-exp2
• 開始日: 2024-08-25
• 終了予定日: 2024-09-30

[k141303]

@odashi
wandbのリンクが切れているので修正いただけると助かります。
正しくはこちらですかね。
https://wandb.ai/llm-jp-eval/0026_v3-172b-exp2

[odashi]

修正しました