大模型评测权威榜单

[Valdanitooooo]

通用大模型 LLM

榜单	分类	备注	项目地址
AlpacaEval	指令	来自斯坦福的团队，基于 AlpacaFarm 评估集，该评估集测试模型遵循一般用户指令的能力。然后，通过所提供的 GPT-4 或基于 Claude 或 ChatGPT 的自动注释器将这些响应与参考 Davinci003 响应进行比较，从而得出上述获胜率。AlpacaEval 与真实人类注释的一致性很高，AlpacaEval 上的排行榜排名与基于人类注释者的排行榜排名非常相关。	https://github.com/tatsu-lab/alpaca_eval
C-Eval	中文指令	C-Eval是一个针对基础模型的综合中文评估套件。它由 13948 道多项选择题组成，涵盖 52 个不同学科和四个难度级别，如下所示。请访问我们的网站或查看我们的论文以了解更多详细信息。	https://github.com/SJTU-LIT/ceval
Open LLM Leaderboard	指令	HuggingFace发布的开源LLM的排行榜，主要是跟踪、排名和评估最新的大语言模型和聊天机器人，让所有人方便的观察到开源社区的进展和评估这些模型。	https://github.com/EleutherAI/lm-evaluation-harness
Open LLM-Perf Leaderboard	性能	HuggingFace发布的开源LLM性能的排行榜，旨在使用 Optimum-Benchmark 和 Optimum 对具有不同硬件、后端和优化的大型语言模型 (LLM) 的性能（延迟和吞吐量）进行基准测试。	https://github.com/IlyasMoutawwakil/llm-perf-backend
LMSYS Org chatbot-arena-leaderboard	指令	UC伯克利主导的「LLM排位赛」（LMSYS Org）。该研究团队选择了目前在开源社区很火的开源模型，还有GPT-4、PaLM 2等众多「闭源」模型。	https://github.com/lm-sys/FastChat
OpenCompass 2.0 大语言模型月度榜单	指令	基于司南 OpenCompass 官方评测规则，对行业领先大模型进行评测，根据评测结果发布榜单	https://github.com/open-compass/OpenCompass
CLUE	中文指令	中文语言理解测评基准(CLUE)	https://github.com/CLUEbenchmark/SuperCLUE

text2vec模型

榜单	分类	备注	项目地址
MTEB	文本嵌入	大规模文本嵌入基准(MTEB)排行榜	https://github.com/embeddings-benchmark/mteb#leaderboard

代码大模型

榜单	分类	备注	项目地址
Code Generation on HumanEval	Code	Code Generation on HumanEval
Big Code Models Leaderboard	Code	Big Code Models Leaderboard
EvalPlus Leaderboard	Code	EvalPlus Leaderboard
Aider LLM Leaderboards	Code	Aider LLM Leaderboards
Code Lingua	Code	Code Lingua

文生图大模型 Text-to-Image

榜单	分类	备注	项目地址
Text to Image AI Model & Provider Leaderboard	text2image	Artificial Analysis

多模态大模型 Multimodal Large Language Models

榜单	分类	备注	项目地址
Latest Advances on Multimodal Large Language Models	multimodal		https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models
OpenCompass 多模态评测月度榜单	multimodal	OpenCompass	https://github.com/open-compass/OpenCompass

Function-Calling

榜单	分类	备注	项目地址
Berkeley Function-Calling Leaderboard	Function-Calling		https://github.com/ShishirPatil/gorilla

文本转语音 Text-to-Speech

榜单	分类	备注	项目地址
TTS Arena: Benchmarking TTS Models in the Wild	TTS