[v3-13b-exp4-LR] - exp4の最適学習率の探索

[odashi]

Overview

v3 13B exp4の学習率は2e-4だが、この設定ではspikyな挙動が誘発されている。
この挙動を引き起こさない最適な学習率の探索を行う。
各実験で30k-40k程度のstep学習を行い、各種統計量の比較を行う。
また異なる学習率スケジューリングについても実験を行う。

Details

基本設定は #1 と同様とする。
学習率のみ下記に変更して実験する。
（実験設定は順次増やす）

• 1e-4 -> 1e-5 cos decay
• 3e-4 -> 3e-5 cos decay
• 8e-5 constant
• 1e-4 constant

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu, gpu-small (H100x8)
  • ノード台数: 最大64台（空きノードの状況を見て適宜調整）
• コード
  • リポジトリ: https://github.com/llm-jp/Megatron-LM/
  • コミット: 936f556
• 入力データ:
  • LLM-jp v3.1 コーパス: sakura:/data/llm-jp-corpus/v3.{0,1}.0
• 出力データ:
  • 保存先: sakura:/data/experiments/8
  • データ内訳:
    • Megatron-LM checkpoint: 10TB 程度
• W&B ログ:
  • https://wandb.ai/nii-geniac/Llama-2-13B/reports/v3-13B-exp4-LR-search--Vmlldzo4OTA2MjYx
• 開始日: 2024-08-02
• 終了予定日: 2024-08-15

[odashi]

#9 との兼ね合いで使用ノード数を調整。