不能复现对论文里对moshi的评测

[UltraEval]

感谢开源👍🏻

在论文《Scaling speech-text pre-training with synthetic interleaved data》里
对moshi的评测，

其他模型的评测结果都可以复现，但是无法复现Moshi这个评测，可以分享下Moshi的推理吗？🙏🙏🙏

[tianzhangwu]

请问你这里测试时，输入音频是采用什么TTS工具合成的呢呢？不同TTS工具分数也会不同。

[UltraEval]

请问你这里测试时，输入音频是采用什么TTS工具合成的呢呢？不同TTS工具分数也会不同。

火山引擎seed TTS

我现在推理时，moshi基本上只回复“How are you”类似的开场白，偶尔能在开场白之后正式回复

[tianzhangwu]

我这里尝试用meloTTS和chattts分别测试过开源出来的GLM-4-voice，比他们论文里的结果要高一些，比技术报告里的分数要低。在4.5分上下。

Moshi我还没测过，不过之前看过知乎的讨论，这个模型经常不能正常回答问题。这里的现象看起来是prompt mismatch了。

[tianzhangwu]

不知道你有没有测试过开源出来的GLM-4-voice的效果？

[UltraEval]

不知道你有没有测试过开源出来的GLM-4-voice的效果？

复现了，和论文里的结果基本一致

[tianzhangwu]

指的是3.69这个指标吗？

[tianzhangwu]

他们技术报告的结果是5.40，不知道你这里复现出来更接近哪一个啊

[UltraEval]

我这里尝试用meloTTS和chattts分别测试过开源出来的GLM-4-voice，比他们论文里的结果要高一些，比技术报告里的分数要低。在4.5分上下。

Moshi我还没测过，不过之前看过知乎的讨论，这个模型经常不能正常回答问题。这里的现象看起来是prompt mismatch了。

Moshi 的推理好像有些问题，我之前要给他们提过issue, 还没有官方回复，有人说开源和论文里的不一样kyutai-labs/moshi#159

[UltraEval]

他们技术报告的结果是5.40，不知道你这里复现出来更接近哪一个啊

是5.4这个，前面的Speech2Text虽然论文里是用Base模型，我使用开源的chat模型结果也差不多

[tianzhangwu]

谢谢，我估计可能是这个细节没对齐：
For a fair comparison with the English-only baseline models, we restrict the output of GLM-4-Voice to English tokens when evaluating the tasks reported in Table 6.

实测确实发现不少问英文，回答中文的case。

[UltraEval]

谢谢，我估计可能是这个细节没对齐： For a fair comparison with the English-only baseline models, we restrict the output of GLM-4-Voice to English tokens when evaluating the tasks reported in Table 6.

实测确实发现不少问英文，回答中文的case。

这个情况我在review case的时候发现了，但是论文里的这个限制有点不合理，不过也无伤大雅。
这里的Knowledge也无法复现，因为是随机了100个数据；
UTMOS的测试llama-omni和论文里对不上，这里的有可能是使用音频数据问题，不过听了下Llama-Omni的音频问题还是很明显的生硬停顿，不知道为什么这么高分