[RFC] 059 - Chat Compeletion 接口支持 URL 转 Base64

[arvinxx]

背景

• Claude 不支持传递 URL （[Bug] 通过AWS的Bedrock的claude3或者claude 3.5，无法分析图片 #3116 等）;
• Google 不支持非Google文件系统的 url （ [Bug] 服务端 db 模式中，gemini 不支持直接传图片 url #3051 ）;
• 在本地部署场景下，minio 的存储文件无法在外部网络中获取，因此 url 模式不可用，必须要转换成 base64 才行；
• Ollama 不支持传递 url，只能使用 base64 ( https://github.com/ollama/ollama-js?tab=readme-ov-file#chat )
• [Bug] Gemini与Claude模型在使用客户端请求模式时，使用模型视觉功能报错 #3877

考虑到以上场景，我们需要在 Agent Runtime 中设计一个统一的配置项/变量，允许将图片从 url 切换到 base64 进行传递。

设计

1. 针对 provider 接口本身就有限制的模型，实现层面写死 url 转 base64，例如 claude、 google、 Ollama；
2. 针对类 OpenAI 接口，支持传递图片的，通过一个环境变量控制开关（LLM_VISION_IMAGE_USE_BASE64=1）将所有 url 转成 base64后再发给接口。
3. client fetch 也需要做对应的适配

---

注意事项：

• 需要测一测不同的 provider 的表现

实现

• Claude url 转 base64 🐛 fix: fix claude 3.5 image with s3 url #3870
• Gemini url 转 base64 🐛 fix: Gemini cannot input images when server database is enabled #3370
• OpenAI 兼容接口类环境变量 🐛 fix: add LLM_VISION_IMAGE_USE_BASE64 to support local s3 in vision model #3887
• Ollama url 转 base64
• Client fetch 支持取 base64