如何提取高质量的稀疏轨迹

[xuchao1688]

你好，感谢你们开源了如此有意义的工作。你们的代码内也提供了基于raft在线提取光流和采样轨迹的方式，减少数据处理步骤和降低上手难度。我在自己的数据训练上发现一阶段的稠密光流控制效果很好，符合预期，但是二阶段稀疏轨迹这里基本不太work，往往4卡训到2k步迭代之后生成的画面全都是噪点了，而前面的ckpt推理效果也不是很稳定，控制不了所有物体。起初是以为在线轨迹采样策略不够好的问题，我将轨迹的采样概率指标从原版只按第一帧位移值优化为了看全局轨迹长度等方式，但发现效果仍然不好，甚至噪点出现的步数更加的早。想请教下问题出在哪里？另外，论文中说采用了ParticleSfM提取轨迹，但实际开源用的是在线采样的方式，这个区别是出于什么的考虑？

[zhenghao977]

1. 关于噪声的出现，若是从CogVideoX5B-I2V模型初始化训练，由于该基础模型自身存在微调不稳定问题，我们实验在1w迭代后就容易出现噪声视频，因此基于这个基模的I2V权重是我们从中间结果挑选出稳定的权重，这个问题可参考CogVideoX repo的issues。
2. 关于提取高质量稀疏轨迹：我们二阶段训练的视频经过高阈值筛选，同时用了我们自研的相机移动检测模型，对于较明显的相机移动视频均会被从训练集中剔除，以使采样的稀疏轨迹大概率出现在物体本身，请确认您训练的数据是否相机移动的视频占比较多，这会给物体控制带来不利影响。
3. 开源的在线采样代码是出于提供完整的训练流程示意，方便大家训练。