Skip to content

民间版中文羊驼模型 v5.0

Latest
Compare
Choose a tag to compare
@ymcui ymcui released this 19 Jul 08:21
· 14 commits to main since this release
8a4d1b0

本版本针对模型回复较短的问题进行升级,同时推出Plus-33B系列模型。

同时,我们也很高兴地向大家宣布新项目启动:中文LLaMA-2、Alpaca-2大模型🦙

🚀 推出中文Alpaca-Pro系列模型

  • 针对早期Alpaca相关模型回复较短的问题进行优化,使其回复长度接近GPT-3.5/GPT-4
  • 推荐所有使用Alpaca系列模型的用户升级至Pro版本(7B/13B/33B),合并方式与Plus模型一致,需要同时融合LLaMA-Plus的LoRA
  • 如果更喜欢短回复,可以选择Plus系列模型

在此特别感谢所有参与beta评测投票的各位社区成员。

🚀 推出LLaMA-Plus-33B、Alpaca-Plus-33B

  • 在基础版33B之上将训练数据扩充至120G,得到LLaMA-Plus-33B;进一步通过指令精调得到Alpaca-Plus-33B
  • 在C-Eval、主观体验方面显著优于本项目其他模型
  • 本次不再提供GPT-4评价的结果,请通过接下来介绍的ChatBot Arena浏览对比相关模型输出

📊 添加ChatBot Arena

  • 仿照fastchat的方式,添加了模型对战页面,题库进一步扩充至360题
  • 评测模型包括所有Alpaca-Plus和Alpaca-Pro系列模型,每个模型包含3个参考输出(随机显示其一)
  • 可实时查看总体胜率、Elo评分、两两对战胜率等信息

对战地址:http://chinese-alpaca-arena.ymcui.com/

🔬 升级NTK-scaling算法,添加Memory Efficient Attention(#743

  • 升级了NTK-scaling算法,更好地支持长上下文条件下的文本生成
  • 可通过参数alpha控制上下文扩展长度,支持指定数值和auto两种方式
  • 添加了Memory Efficient Attention补丁,显著降低显存消耗,在单张24G显存的显卡上7B模型最大输入长度可达5K+

具体使用方法见 #743 中的说明。

其他更新与修复

  • 推理脚本inference_hf.py中添加了8比特量化推理支持(#756
  • 修复了推理脚本repeat_penalty默认值过高的问题(#760

For English release note, please refer to Discussion.