max_length和你们的训练脚本的不一致影响大吗

[MichealZhangxa]

我在训练qwen2_0.5B时候使用的max_length是3072,我看你们的训练脚本中使用的是2048,请问这对模型的最终效果影响大吗

[ZhangXJ199]

如果用的和我们一样的数据就没有影响 或者每条数据的token总数不超过max_length也没有影响

[MichealZhangxa]

请问我如果max token小一点会不会加快训练速度

…

---原始邮件--- 发件人: "Xingjian ***@***.***> 发送时间: 2024年12月5日(周四) 下午5:48 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [TinyLLaVA/TinyLLaVA_Factory] max_length和你们的训练脚本的不一致影响大吗 (Issue #149) 如果用的和我们一样的数据就没有影响 或者每条数据的token总数不超过max_length也没有影响 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[ZhangXJ199]

不会 max_length只是用于防止token序列过长

[MichealZhangxa]

好的，感谢感谢

…

---原始邮件--- 发件人: "Xingjian ***@***.***> 发送时间: 2024年12月5日(周四) 晚上6:02 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [TinyLLaVA/TinyLLaVA_Factory] max_length和你们的训练脚本的不一致影响大吗 (Issue #149) 不会 max_length只是用于防止token序列过长 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[MichealZhangxa]

我观察你们的数据集，发现llavadataset665k中的coco的数据集是视觉问答，训练coco数据集似乎能使得各项视觉问答基准测试的分数得到提升，但是训练llavadataset中的其他数据效果反而变差，请问我是不是在coco数据集上面多训练几个epoch效果能变得更好

…

---原始邮件--- 发件人: "Xingjian ***@***.***> 发送时间: 2024年12月5日(周四) 晚上6:02 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [TinyLLaVA/TinyLLaVA_Factory] max_length和你们的训练脚本的不一致影响大吗 (Issue #149) 不会 max_length只是用于防止token序列过长 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[ZhangXJ199]

可以进行实验探究一下 我们希望模型有更好的泛化性

[MichealZhangxa]

可以进行实验探究一下 我们希望模型有更好的泛化性

好的，感谢