[チューニング] - nemo-aligner での DPO 学習

[Taka008]

Overview

llm-jp-nemo-aligner で DPO の学習を行えるようにする

Details

llm-jp-nemo-aligner で DPO の学習を行えるように学習スクリプトを整備する

llm-jp-3-1.8b or llm-jp-3-13b を weblab-GENIAC/aya-ja-evol-instruct-calm3-dpo-masked で学習させる

Resources

• 計算機
  • クラスタ: llm-jp-nvlink
  • ノード種別: gpu
  • ノード台数: 4
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 入力データ:
  • {name}: {physical path}
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{number}
  • データ内訳:
    • {name}: xxx TB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-11-29
• 終了予定日: 2024-12-31