如何指定只冻结 LLM 进行多模态模型的训练？

[Ben81828]

Reminder

• I have read the README and searched the existing issues.

System Info

我目前在使用 qwen-vl2 2B 模型，并在我的数据集上进行 LoRA 训练。

现在我想进行不同架构的冻结后性能测试。

根据文档，目前我已知可以使用 freeze_vision_tower 和 train_mm_proj_only 来指定冻结 vision tower，或者冻结 vision tower 和 LM（如图中的 stage 2 和 stage 3）。

但我想请教的是，有没有方法可以指定只冻结 LM 进行 LoRA 训练？（就像图中的 stage 1 那样）

Reproduction

Expected behavior

Others

[TimeFlysLeo]

可以在workflow load_model之后添加自己要解冻的部分
llava1_5_train_layers = [...]
for lay_name, param in model.named_parameters():
if lay_name in llava1_5_train_layers:
param.requires_grad = True
else:
param.requires_grad = False