[事前学習] - Instruction pre-training実証実験

[odashi]

Overview

LLM-jpのbaseモデルに対してinstruction pre-trainingを行ったとき、どのように性能が変化するのかを検証する。

Details

1.8B, 3.7B, 7.2B, 13Bで実験を行い、172Bでの有望な設定を検証する。

使用するデータの候補:

• Instruct2データセット

データの導入方法

• LLM-jpコーパスに対して、特定の比率でinstructionデータを混入させる。
  • 混入量の候補: 10%, 1%, 0.1%

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu (H100x8)
  • ノード台数: 16台程度
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 入力データ:
  • instruction pretraining用整備済みデータセット: [コーパス] - instruction pretraining のデータ準備 #84
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{number}
  • データ内訳:
    • {name}: xxx TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-12-10
• 終了予定日: 2025-01-31 （バッファ期間を含む）