好用的开源LLMOps工具

[Valdanitooooo]

FastChat

https://github.com/lm-sys/FastChat

FastChat是一个用于训练、服务和评估基于大型语言模型的聊天机器人的开放平台。

• FastChat为Chatbot Arena（https://chat.lmsys.org/）提供支持，为50多个LLM处理超过600万个聊天请求。
• Chatbot Arena已经收集了超过20万个人类投票，通过LLM之间的对比战编制了一个在线的LLM Elo排行榜。

FastChat的核心功能包括：

• 最先进模型的训练和评估代码（例如Vicuna、MT-Bench）。
• 分布式多模型服务系统，具有Web界面和与OpenAI兼容的RESTful API。

vllm

https://github.com/vllm-project/vllm

用于LLM的高吞吐量、高效内存的推理和服务引擎

text- generation-webui

https://github.com/oobabooga/text-generation-webui

用于大型语言模型的Gradio Web UI。支持transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama。

llama.cpp

https://github.com/ggerganov/llama.cpp

LLM inference in C/C++

LiteLLM

https://github.com/BerriAI/litellm

使用相同的输入/输出格式调用100+个LLM

• 将输入转化为提供者的completion，embedding和image_generation端点
• 一致的输出，文本响应将始终在['choices'][0]['message']['content']中可用
• 跨多个部署的重试/回退逻辑（例如Azure/OpenAI）- Router
• 跟踪支出并为每个项目设置预算OpenAI Proxy Server

Ollama

https://github.com/ollama/ollama

在本地启动并运行大型语言模型。

Open WebUI (Formerly Ollama WebUI)

https://github.com/open-webui/open-webui

针对 LLM 的用户友好的 WebUI，支持的 LLM 运行程序包括 Ollama 和 OpenAI 兼容的 API。有关更多信息，请查看Open WebUI Documentation。

langchain

https://github.com/langchain-ai/langchain

构建上下文感知推理应用程序

llama_index

https://github.com/run-llama/llama_index

LlamaIndex是LLM应用程序的数据框架

Gradio

https://github.com/gradio-app/gradio

Gradio：用Python构建机器学习Web应用程序
Gradio是一个开源Python包，允许您为机器学习模型、API或任何任意Python函数快速构建演示或web应用程序。然后，您可以使用Gradio的内置共享功能，在几秒钟内共享演示或web应用程序的链接。无需JavaScript、CSS或网络托管经验！

其他

• https://github.com/h2oai/h2ogpt
• https://github.com/GaiZhenbiao/ChuanhuChatGPT
• https://github.com/mckaywrigley/chatbot-ui
• https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web
• https://github.com/streamlit/streamlit
• https://github.com/Chainlit/chainlit
• https://github.com/chatchat-space/Langchain-Chatchat

经验

• 最早是自己写python部署各个模型，逐渐演变的思路其实和FastChat类似，在Prompt模板、Response解析、API格式等维度进行封装
• text- generation-webui 火得比较早，从Llama 1代开始评测模型时用它很多
• llama.cpp早期用过几次
• 生产上用得最多的是FastChat，稳定高效，早期定制开发了一些支持的模型，后期直接用官方版本就可以了，支持的模型非常丰富。可以通过参数灵活使用GPU资源，支持vllm。
• LiteLLM 和 Ollama 都是后起之秀，简单用了一下还可以吧，之前Ollama吸引我的是支持多模态的模型，现在FastChat最新版也支持啦
• langchain一直重度使用，项目发展太快，bug也层出不穷，踩过很多坑
• Gradio写demo用得多，早期开发Gradio应用参考ChuanhuChatGPT很多
• 做模型评测参考了h2ogpt的设计
• 用chainlit开发CoT的应用挺方便
• Langchain-Chatchat早期用得挺多，后来的发展让我比较失望，把FastChat集成进去完全没必要，项目越来越臃肿，代码耦合度也很高，让人头大

[Valdanitooooo]

xinference 用起来不错
架构优于ollama，功能优于FastChat