民间版中文羊驼模型 v4.1
本版本以功能性更新为主,包括更新技术报告、添加C-Eval预测脚本、添加低资源模型转换脚本等。
📚 更新技术报告(arXiv-v2)
- 更新模型构建的相关描述,添加Plus版本模型训练参数等
- 生成效果评测部分替换为Alpaca-Plus-7B、Alpaca-Plus-13B、Alpaca-33B对比
- 添加C-Eval完整评测结果,包括原版LLaMA以及本项目所有模型的结果与分析
- 添加不同量化层级(2-bit ~ 8-bit, FP16)的效果对比和分析
- 详细技术报告请查阅:https://arxiv.org/abs/2304.08177
🔬 添加C-Eval预测脚本(#601)
- 添加了论文中使用的C-Eval预测脚本,轻松复现论文中相关模型效果
- 提供了基于上述脚本的Colab notebook,用户可参考相关运行过程
- 详细的介绍请参见Wiki教程
🚀 添加低资源模型转换脚本(#608)
- 添加了新版低资源模型转换脚本
merge_llama_with_chinese_lora_low_mem.py
,大幅降低内存消耗 - 7B需要15GB,13B需要18GB,33B需要22GB(不同机器可能略有不同)
- 使用方法与旧脚本一致,后续将作为主要使用的模型合并脚本
其他更新和修复
- 修复了预训练脚本中文件名的一处错误(#540),Contribution by @alkaideemo
- 修复了模型保存问题,支持LoRA权重和tokenizer的保存 (#555)
- 在预训练和精调脚本中增加了检查项,避免后续模型合并出现异常问题(#595)