Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

X2Paddle CI 建设 #1015

Open
7 of 11 tasks
luotao1 opened this issue Jun 6, 2024 · 0 comments
Open
7 of 11 tasks

X2Paddle CI 建设 #1015

luotao1 opened this issue Jun 6, 2024 · 0 comments
Assignees

Comments

@luotao1
Copy link
Collaborator

luotao1 commented Jun 6, 2024

背景介绍

X2Paddle 的流水线x2paddle-ci 自2023年5月开始没有维护,现需要重启,来支持飞桨3.0版本的适配以及社区的共同建设。主要做以下两件事:

  • 支持飞桨3.0版本适配的前置条件:重启CI,先跑通原来CI的配置(即飞桨2.4.2版本),后续将版本升级到3.0-beta版本,看有哪些需要适配的地方。
  • 社区共同建设的前置条件:原来 CI 中的脚本和数据集都在 xly 内部的测试机上,需要整体梳理,并整理到 X2Paddle 的仓库中,便于社区开发者共同维护。

待做清单:1.5 版本

  • 制作 X2Paddle 镜像:现在 CI 中安装各种依赖包 35分钟 add Dockerfile #1022
  • x2paddle-ci 模型测试 和 X2paddle-autoscantest 单元测试
    • 重启CI @gzydsmz
    • 将原CI中的脚本和数据集公开,跑通飞桨2.4.2版本的新 CI 配置 @luotao1
模型/数量 本地测试机跑通 测试脚本整理到仓库 测试数据集整理到Bos CI 跑通优化后的脚本
Caffe/20 ✅ 3分钟 #1014 #1023
Pytorch/34 ✅(YOLOX/MockingBird除外)24分钟 #1025 #1026 #1027 #1028 #1029
Tensorflow/28 ✅(KerasBert除外)5分钟 #1033 #1033
ONNX/57 ✅ 17分钟 #1030 #1031 #1030 #1032
test/onnx/18 #1035 /
test/pytorch/6 #860 #1036
  • add test_ci.sh #1020
  • 增强集成测试:
    • 镜像更新为带有 TensorRT的
    • 并行跑 CI 测试,控制在半小时内
    • 简易版精准测试:根据修改的是哪个框架的转换规则,跑对应的单测,减少CI时间
    • 一些遗留模型的转换
    • CodeStyle 流水线
  • 合入之前遗留的PR,发新版本

后续工作规划

  1. 摸底适配飞桨各版本的工作量,发布适配活动,邀请社区开发者完成
版本 摸底工作量 发布适配活动 邀请开发者完成
2.5版本
2.6版本
3.0-beta版本
  1. 在3.0-beta 版本上发布新增大语言生成模型的任务,邀请社区开发者完成
@luotao1 luotao1 self-assigned this Jun 6, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant