[v3-172B-exp2] - 172Bの継続事前学習 (Sakura)

[k141303]

Overview

172B-exp2の事前学習をgcpからsakuraへ引っ越し。
Fused Attentionを使用して学習を行います。
動かない場合は、こちらは中止し #9 の実験に切り替えます。
→学習が低速になる問題が発生したため、#9 の実験に切り替えました。

Details

モデルカードPR: https://github.com/llm-jp/model-cards/pull/13
#1 と同等の環境で動作確認を行います。

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu (H100x8)
  • ノード台数: 64
• 環境構築
  • リポジトリ: https://github.com/llm-jp/scripts/
  • コミット: FIXME
• コード
  • リポジトリ: https://github.com/llm-jp/Megatron-LM/
  • コミット: 936f556 FIXME
• 入力データ:
  • LLM-jp v3.1 コーパス: sakura:/data/llm-jp-corpus/v3.{0,1}.0
• 出力データ:
  • なし
• W&B ログ:
  • W&B (GENIAC)
    • Tag: test-run, exp2 FIXME
• 開始日: 2024-08-08 13時
• 終了予定日: 2024-12? FIXME