[Other] 关于缓存的建议（命中率）

[ImAlexBlock]

首先感谢作者开发了优质的软件！🙏

最近我再查看我的deepseek的api记录时发现了一个比较神奇的问题：

注意观察：最后一点天和倒数第三天形成了鲜明的对比
这是详细的数据：
only ChatBox

2024-12-15 238152 tokens
输入(命中缓存) 0 tokens
输入 (未命中缓存) 217368 tokens
输出 20784 tokens

only OpenWebUI

2024-12-17 229740 tokens
输入 (命中缓存)180736 tokens
输入 (未命中缓存)18353 tokens
输出 30651 tokens

问题就出在这里——缓存命中率天差地别
deepseek的缓存：https://api-docs.deepseek.com/zh-cn/news/news0802
实际情况是，我在学校使用openwebui，在家使用chatbox

所以现在的情况是：在差不多的使用量下，chatbox 完全没有 命中缓存
我不太清楚时因为deepseek的缓存机制不通还是其他的问题？（使用Chatbox我没有频繁的切换话题）
有可能问题出在这里：
注意，只有当两个请求的前缀内容相同时（从第 0 个 token 开始相同），才算重复。中间开始的重复不能被缓存命中。 - deepseek文档

希望开发者看到了可以解答一下QAQ

[Bin-Huang]

你好，我猜测可能是上下文滚动窗口导致无法命中前缀匹配。我需要再研究一下。

[Bin-Huang]

可以详细描述下你的使用习惯吗？越详细越好？

[ImAlexBlock]

我的使用习惯一般来说是：
当我需要编程、解题等场景，我会一个话题中累计10k tokens左右。这个时候即使还有相同内容一般也会选择下一个话题
小问题解答（例如一句两句的，我可能会开一个话题或者再上一个话题中直接问（但一般比较少）
也就是总的来说，无论大小我对会更加倾向开启一个新的话题

[Bin-Huang]

这确实是一个很好的习惯👍。我想问下你会在消息中附带代码文件吗？一般情况下你的一个话题的会有多少消息？以及你的设置中是否修改过上下文消息限制，如果修改了的话设置是多少？这些应该可以让我快速定位并复现你的问题。

[ImAlexBlock]

1. 首先是附带代码，一般来说样式是要求/问题 换行使用代码块包裹
2. 最少200-900 最多2w左右
3. 默认设置（有点记不清，应该是晚上回家再确认一下）