showui Pretrained on GUI-Act (Optional) 训练异常 #97
Description
命令如下：
deepspeed --include localhost:0 --master_port 5678 train.py
--wandb_key=$WANDB_KEY
--local_weight
--local_weight_dir=/root/autodl-tmp/models
--model_id='showlab/ShowUI-2B'
--version='showlab/ShowUI-2B'
--dataset_dir=$_DATA_DIR
--log_base_dir=$_SAVE_DIR
--epochs=50
--steps_per_epoch=100
--batch_size=1
--grad_accumulation_steps=2
--model_max_length=8192
--exp_id="showui_2B"
--train_ratio="1,1"
--train_dataset="guiact,guiact"
--train_json="hf_train_web-multi,hf_train_web-single"
--val_dataset="mind2web"
--val_json="hf_test_sampled"
--precision="bf16"
--attn_imple="sdpa"
--workers=0
--lora_r=32
--lora_alpha=64
--min_visual_tokens=256
--max_visual_tokens=1344
--num_turn=100
--random_sample
--record_sample
--lr=0.0001
--uniform_prompt
--ds_zero="zero2"
--gradient_checkpointing
--lm_skip_ratio=0.5
--lm_skip_layer='[1,28,0]'
--num_history=2
--interleaved_history='tttt'
在训练曲线中，损失几乎不下降，指标也很低