开发指南

[owenshen0907]

开发指南的目录架构已经不适用最新的代码了。
我跟随开发指南没有办法进行正常的开发。
下图是开发指南的截图

下图是同步最新的代码的截图

[arvinxx]

等明年差不多时候再修订一次吧

[owenshen0907]

好吧，我是国内大模型厂商阶跃星辰的技术支持。
我看这边已经做了接入。
但是我们最新的一些模型，这边还是使用不了，所以希望来贡献些代码，做点兼容。
主要是tts，视频理解，文生图，这些模型都不可用。另外像文件解析，知识库，这些我们也想接入看看。
如果你们方便的话，可以给我一些简单的指引，这样对我们来说，会有很大的帮助。感谢了。

[arvinxx]

tts，视频理解，文生图，这些模型都不可用

这个不是你们的兼容性问题哈，是我们目前的实现只做了语言模型的实现框架，所以 tts、视频对话、文生图的模型都没法自定义。这个我们会有计划在12月份的版本中做一轮架构升级改造，进而实现不同模态的模型支持。欢迎届时再来共建~

[arvinxx]

另外像文件解析，知识库，这些我们也想接入看看

这两个特性都需要我们在应用框架层把对应的实现逻辑理顺，这样模型服务层才好接，等我们这边把这些能力框架搭好了再集成会比较方便。就像现在接入 chat model 就很快。

[owenshen0907]

视频对话跟图片理解的交互是一样的。
我看服务器版接入了minio,那这种情况，把视频作为文件上传上去，只需要有一个公网链接，那么支持视频理解的模型就能直接接入了。
上面这种方式应该是不用改你们框架的。
另外在国内各家为了提升视频理解速度，还单独做了文件上传接口，在推理的时候使用文件id就能对视频，或者文件进行推理或者解析。
不过这种方式，后面在lobechat里，文件上传到哪家就只能在哪家用了。而且各家对文件的数量，容量也都有一定的限制。这些都得考虑一下

[arvinxx]

我看服务器版接入了minio,那这种情况，把视频作为文件上传上去，只需要有一个公网链接，那么支持视频理解的模型就能直接接入了。
上面这种方式应该是不用改你们框架的。

对，但这个需要在 UI 层面加配套的不少东西，包括 video 的展示图标（类似现在图片识别的）

、用户配置界面（允许用户添加自定义模型时配置是否支持 video）以及环境变量中的能力支持（参考）。

纯功能实现上反而是最简单的。

另外在国内各家为了提升视频理解速度，还单独做了文件上传接口，在推理的时候使用文件id就能对视频，或者文件进行推理或者解析。

google 也是这样，这个我有对应的思路，有计划做的。就是存都先存一份到 s3 上，然后如果要用这种上传接口，那么就把这个文件再发一份到这个provider去，然后我们在file的元数据里记录这个 id 关联关系。后面调用的时候传这个 id 就好。