[v3-172B-exp2] - 172Bの継続事前学習 (Sakura) NVTE_FUSED_ATTN=0

[k141303]

Overview

172B-exp2の事前学習をgcpからsakuraへ引っ越し。
こちらはFused Attentionを使用しない設定の環境を使用しています。
Fused Attentionを使用する実験 #14 でエラーが発生した場合にこちらの実験に切り替えます。

Details

モデルカードPR: https://github.com/llm-jp/model-cards/pull/13

How to Execute

llm-jp-172bグループのメンバー(kouta, odashi, kodama)は以下の手順でジョブを投入できます。

cd /home/shared/experiments/9
sbatch scripts/pretrain/scripts/v3-172b-exp2-sakura/sbatch.sh

権限の設定は以下のように行いました。

cd /home/shared/experiments
sudo chown -R :llm-jp-172b 9/
sudo chmod 775 -R 9/
sudo chmod g+s -R 9/
sudo setfacl -R -d -m u::rwx,g::rwx,o::r-x 9/

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu (H100x8)
  • ノード台数: 64
• 環境構築
  • リポジトリ: https://github.com/llm-jp/scripts/
  • コミット: 53fd853
• コード
  • リポジトリ: https://github.com/llm-jp/Megatron-LM/
  • コミット: 936f556
• 入力データ:
  • LLM-jp v3.1 コーパス: sakura:/data/llm-jp-corpus/v3.{0,1}.0
• 出力データ:
  • チェックポイント : /home/shared/experiments/9/checkpoints/tp4-pp16-cp1
• W&B ログ:
  • W&B (GENIAC)
    • Tag: main, sakura
• 開始日: 2024-08-08 13時
• 終了予定日: 2024-12-10

[odashi]

@k141303 gpu-smallは33台しかないので、gpuに変更お願いします。

[k141303]

@odashi 修正しました。