[事前学習] - Moving model averaging

[odashi]

Overview

学習済みの事前学習モデルについて、直前 $N$ チェックポイントの平均を用いて平均化モデルを作成する。
作成したモデルは通常通り #60 で検証する。

Details

$N$ は2から順に大きな値で試す。
1.8B, 3.7B, 7.2B, 13Bで実験を行い、可能なら172Bでも実施

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu-small (H100x8)
  • ノード台数: 1
• コード
  • リポジトリ: https://github.com/llm-jp/scripts/tree/main/pretrain/scripts/v3-averaging
• 入力データ:
  • LLM-jp-3 checkpoints (1.8B, 3.7B, 7.2B, 13B)
• 出力データ:
  • 保存先:
    • sakura:/data/experiments/0085_averaging
  • データ内訳:
    • sakura: 200 TB （バッファ容量を含む）
• 開始日: 2024-11-21
• 終了予定日: 2024-12-15 （バッファ期間を含む）