[チューニング] - 13B 以下のモデルに対する instruct3

[Taka008]

Overview

llm-jp-3-1.8B, llm-jp-3-3.7B, llm-jp-3-7.2B, llm-jp-3-13B に対して instruct3 を学習．評価まで行う

Details

llm-jp-3-1.8B, llm-jp-3-3.7B, llm-jp-3-7.2B, llm-jp-3-13B に対して instruct3 を学習．評価まで行う
途中の生成物である instruct2 まで含めて huggingface にアップロードする

Resources

• 計算機
  • クラスタ: Sakura (Ishikari)
  • ノード種別: gpu (H100x8)
  • ノード台数: 1-2
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 入力データ:
  • {name}: {physical path}
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{number}
  • データ内訳:
    • {name}: xxx TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-12-19
• 終了予定日: 2025-1-31