[マルチモーダルWG] - マルチモーダルモデル学習 ドキュメント系のデータセットを使用

[ssgw-keito]

Overview

ドキュメント系のデータセットを混ぜてマルチモーダルモデルのinstruction tuningを行います。

Details

• モデル

  モデルの構成要素	モデル / アーキテクチャ
  VIsion Encoder	google/siglip-so400m-patch14-384
  Projector	mlp2x_gelu
  LLM	llm-jp/llm-jp-3-13b-instruct

• データ

  • 日本語: JDocQA
  • 英語: 複数の設定を試す
    • cauldron を使用

Resources

• 計算機
  • クラスタ: mdx (llm-jp-nvlink)
  • ノード種別: gpu (A100x8)
  • ノード台数: 4
• コード
  • リポジトリ: https://github.com/llm-jp/VILA-ja
  • コミット: FIXME xxxxxx
• 入力データ:
  • {name}: llm-jp-nvlink:/model/sasagawa/VILA-ja/playground/data
• 出力データ:
  • 保存先: llm-jp-nvlink:/model/experiments/0077_vila_doc/
  • データ内訳:
    • checkpoints: 500GB （バッファ容量を含む）
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2024-11-13
• 終了予定日: 2024-12-31 （バッファ期間を含む）

1回の学習あたり1日程度かかります