[事前学習] - v4モデル環境構築実験

[odashi]

Overview

次期事前学習モデルのための環境構築を行います。

Details

Llama 3.1 準拠の学習を行うためには、LLM-jp-3 よりも新しいバージョンのMegatronに導入された一部機能が必要となる。
このオプションが有効かつSakuraおよびABCI上で学習可能な設定の探索を行う。

Resources

• 計算機
  • クラスタ: FIXME Sakura (Ishikari)
  • ノード種別: FIXME gpu-small (H100x8)
  • ノード台数: FIXME 32
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 入力データ:
  • {name}: {physical path}
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{number}
  • データ内訳:
    • {name}: xxx TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: YYYY-MM-DD
• 終了予定日: YYYY-MM-DD （バッファ期間を含む）