本版本针对模型回复较短的问题进行升级,同时推出Plus-33B系列模型。
同时,我们也很高兴地向大家宣布新项目启动:中文LLaMA-2、Alpaca-2大模型🦙
🚀 推出中文Alpaca-Pro系列模型
- 针对早期Alpaca相关模型回复较短的问题进行优化,使其回复长度接近GPT-3.5/GPT-4
- 推荐所有使用Alpaca系列模型的用户升级至Pro版本(7B/13B/33B),合并方式与Plus模型一致,需要同时融合LLaMA-Plus的LoRA
- 如果更喜欢短回复,可以选择Plus系列模型
在此特别感谢所有参与beta评测投票的各位社区成员。
🚀 推出LLaMA-Plus-33B、Alpaca-Plus-33B
- 在基础版33B之上将训练数据扩充至120G,得到LLaMA-Plus-33B;进一步通过指令精调得到Alpaca-Plus-33B
- 在C-Eval、主观体验方面显著优于本项目其他模型
- 本次不再提供GPT-4评价的结果,请通过接下来介绍的ChatBot Arena浏览对比相关模型输出
📊 添加ChatBot Arena
- 仿照fastchat的方式,添加了模型对战页面,题库进一步扩充至360题
- 评测模型包括所有Alpaca-Plus和Alpaca-Pro系列模型,每个模型包含3个参考输出(随机显示其一)
- 可实时查看总体胜率、Elo评分、两两对战胜率等信息
对战地址:http://chinese-alpaca-arena.ymcui.com/
🔬 升级NTK-scaling算法,添加Memory Efficient Attention(#743)
- 升级了NTK-scaling算法,更好地支持长上下文条件下的文本生成
- 可通过参数
alpha
控制上下文扩展长度,支持指定数值和auto两种方式 - 添加了Memory Efficient Attention补丁,显著降低显存消耗,在单张24G显存的显卡上7B模型最大输入长度可达5K+
具体使用方法见 #743 中的说明。