[評価] - SIP 汎用コーパスを使ったllm-jp-3-3.7B 継続学習モデルの評価

[YumaTsuta]

Overview

SIP 汎用コーパスを使って継続学習した3.7Bモデルの評価を行います

Details

SIPで学習したモデルをsakuraクラスタに転送しllm-jp-eval 1.4.1で評価します。

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: 1
• コード
  • リポジトリ: llm-jp-eval v1.4.1
  • コミット: 5d06140
• 評価データ:
  • Checkpoint: sakura:/home/shared/experiments/0093_3.7b-cpt-sip_general_v1
  • Evaluator: llm-jp-eval-v1.4.1
• 出力データ:
  • 保存先: sakura:/home/shared/experiments/0093_3.7b-cpt-sip_general_v1
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-12-09
• 終了予定日: 2024-12-10