Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请求适配一下gemini-2.0-flash-thinking #1993

Closed
5 tasks done
QAbot-zh opened this issue Dec 20, 2024 · 4 comments · Fixed by #1995 · May be fixed by #1996
Closed
5 tasks done

请求适配一下gemini-2.0-flash-thinking #1993

QAbot-zh opened this issue Dec 20, 2024 · 4 comments · Fixed by #1995 · May be fixed by #1996
Labels
enhancement New feature or request

Comments

@QAbot-zh
Copy link

QAbot-zh commented Dec 20, 2024

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述
gemini-2.0-flash-thinking-exp 模型非流调用时会返回两个 text ,一个是思考过程,一个是回复内容,当前项目在非流调用的时候会丢失第二个 text:

只有英文的思考过程:
image

实际包含两个text:
image

可以参考:Calcium-Ion/new-api@9a54b34

@QAbot-zh QAbot-zh added the enhancement New feature or request label Dec 20, 2024
@sandycs-protoss
Copy link

这个不好弄。因为流式传输的接口,没有将思考和回答区分的很明确
流式传输不是每一个chunk的parts都有两个部分
只有在思考和回答的交界处“有可能”会出现两个部分
最好的做法是thinking模型不支持流式,再按你说的区分

@QAbot-zh
Copy link
Author

这个不好弄。因为流式传输的接口,没有将思考和回答区分的很明确 流式传输不是每一个chunk的parts都有两个部分 只有在思考和回答的交界处“有可能”会出现两个部分 最好的做法是thinking模型不支持流式,再按你说的区分

你理解错我的意思了,我不是要区分流式里的思考和回复,是要防止非流的回复被吞了

@sandycs-protoss
Copy link

哦我没看到你强调非流了
非流确实有清晰的两个部分
流很难处理

@QAbot-zh
Copy link
Author

@songquanpeng @mxdlzg

抱歉打扰了,实测 gemini 类型的流式在思考和回复的交界处有两个 text ,经查当前的处理会导致“交界处”丢失一个 text 字段(回复开始的第一个 text)从而表现为“回答吞字”

image

image

oneapi 流式调用,“回答吞字”:
Clip_2024-12-22_23-22-33

预期的流式调用:
Clip_2024-12-22_23-15-28

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
2 participants