PaddleDetectionv2.8.0

📣最新进展

• 🔥2024.10.1 添加目标检测、实例分割领域一站式全流程开发能力:

  • 飞桨低代码开发工具PaddleX，依托于PaddleDetection的先进技术，支持了目标检测领域的一站式全流程开发能力：

    • 🎨 模型丰富一键调用：将通用目标检测、小目标检测和实例分割涉及的55个模型整合为3条模型产线，通过极简的Python API一键调用，快速体验模型效果。此外，同一套API，也支持图像分类、图像分割、文本图像智能分析、通用OCR、时序预测等共计200+模型，形成20+单功能模块，方便开发者进行模型组合使用。
    • 🚀 提高效率降低门槛：提供基于统一命令和图形界面两种方式，实现模型简洁高效的使用、组合与定制。支持高性能部署、服务化部署和端侧部署等多种部署方式。此外，对于各种主流硬件如英伟达GPU、昆仑芯、昇腾、寒武纪和海光等，进行模型开发时，都可以无缝切换。

  • 添加实例分割SOTA模型Mask-RT-DETR

PaddleDetectionv2.7.0

New Projects:

• Added SQR enhancement strategy based on PPDET Deformable DETR. (#8579)
• Added RT-DETR model. (#8094)
• Added semi-supervised detection based on RT-DETR. (#8336)

New Features:

• Provide Chinese support in draw_bbox. (#8581)
• Support specifying the priority of step and epoch in LinearWarmup. (#8540)
• Compatible with pillow upgrade to 10.0. (#8446)

BugFix:

• Fixed the problem of video memory usage and slowdown after Paddle supports stride. (#8489)
• Fix import error and modify visualize.py. (#8476)
• Fix v.dtype in ema blacklist. (#8466)
• Fix image_resize_c error reporting problem during inference. (#8460)
• Fixed textbbox error reporting problem in ImageDraw. (#8455)
• Fixed picodet_layout error in Paddle2.5 and added nms_cpu parameter. (#8453)
• Fixed long warning in training. (#8421)
• Fix iou_score error reporting problem and modify ppdet/modeling/losses/detr_loss.py. (#8409)
• Fixed the 0-dimensional problem in solov2. (#8643)
• Fixed distributed parameters to solve the problem of error reporting when running multiple cards on non-GPU device TIPC. (#8635)
• Fixed removal of fluid calls and modified deploy/pipeline/ppvehicle/vehicle_plateutils.py. (#8631)

Documentations:

• Updated the README_cn.md document and added the Flying Plate AI Kit description. (#8601)
• Add and release RTDETR Obj365 pre-training model document and modify configs/rtdetr/README.md. (#8567)
• Fixed typos in README_en.md document. (#8551)
• Update xpu tipc script. (#8546)
• Added data set alias COCODetDataset. (#8503)
• Add obj365 pre-trained model parameters. (#8500)
• Update npu python version in tipc config. (#8485)
• Adapt and upgrade libmkldnn, modify deploy/cpp/CMakeLists.txt. (#8442)

Projects：

• 基于PPDET Deformable DETR 新增 SQR增强策略。（#8579）
• 新增RTDeTR模型。（#8094）
• 新增基于rt-detr的半监督检测。（#8336）

New Features:

• 在draw_bbox中提供中文支持。（#8581）
• 支持在 LinearWarmup 中指定step和epoch的优先级。（#8540）
• 兼容 pillow 升级至10.0。（#8446）

BugFix:

• 修复Paddle支持stride后，显存占用，运行降速问题。（#8489）
• 修复import错误，修改visualize.py。（#8476）
• 修复ema blacklist中v.dtype。（#8466）
• 修复推理时image_resize_c报错问题。（#8460）
• 修复ImageDraw中的textbbox报错问题。（#8455）
• 修复Paddle2.5中picodet_layout报错，增加nms_cpu参数。（#8453）
• 修复训练出现长警告。（#8421）
• 修复iou_score报错问题，修改ppdet/modeling/losses/detr_loss.py。（#8409）
• 修复solov2中0维问题。（#8643）
• 修复分布式参数以解决非GPU设备TIPC时多卡运行报错的问题。（#8635）
• 修复移除fluid调用，修改deploy/pipeline/ppvehicle/vehicle_plateutils.py。（#8631）

Documentations:

• 更新README_cn.md文档，加入飞浆AI套件说明。（#8601）
• 添加发布RTDETR Obj365预训练模型文档，修改configs/rtdetr/README.md。（#8567）
• 修正README_en.md文档拼写错误。（#8551）
• 更新xpu tipc脚本。（#8546）
• 增加数据集别名COCODetDataset。（#8503）
• 添加obj365预训练模型参数。（#8500）
• 更新tipc config中npu python版本。（#8485）
• 适配升级libmkldnn，修改deploy/cpp/CMakeLists.txt。（#8442）

New Contributors

• @veyron95 made their first contribution in #7746
• @ZhangYulongg made their first contribution in #7759
• @Zhao-Yian made their first contribution in #7865
• @DefTruth made their first contribution in #7950
• @dust8 made their first contribution in #8005
• @xiaoluomi made their first contribution in #8211
• @flytocc made their first contribution in #8066
• @khan-yin made their first contribution in #8278
• @zhangting2020 made their first contribution in #8305
• @EmmonsCurse made their first contribution in #8351
• @nijkah made their first contribution in #8409
• @Pcjmmc made their first contribution in #8442
• @livingbody made their first contribution in #8446
• @shiyutang made their first contribution in #8455

Full Changelog: v2.6.0...v2.7.0

release/2.6

2.6(02.15/2023)

• 特色模型
  • 发布旋转框检测模型PP-YOLOE-R：Anchor-free旋转框检测SOTA模型，精度速度双高、云边一体，s/m/l/x四个模型适配不用算力硬件、部署友好，避免使用特殊算子，能够轻松使用TensorRT加速；
  • 发布小目标检测模型PP-YOLOE-SOD：基于切图的端到端检测方案、基于原图的检测模型，精度达VisDrone开源最优；
  • 发布密集检测模型：基于PP-YOLOE+的密集检测算法，SKU数据集检测精度60.3，达到开源最优
• 前沿算法
  • YOLO家族新增前沿算法YOLOv8，更新YOLOv6-v3.0
  • 新增目标检测算法DINO，YOLOF
  • 新增ViTDet系列检测模型，PP-YOLOE+ViT_base, Mask RCNN + ViT_base, Mask RCNN + ViT_large
  • 新增多目标跟踪算法CenterTrack
  • 新增旋转框检测算法FCOSR
  • 新增实例分割算法QueryInst
  • 新增3D关键点检测算法Metro3d
  • 新增模型蒸馏算法FGD，LD，CWD，新增PP-YOLOE+模型蒸馏，精度提升1.1 mAP
  • 新增半监督检测算法 DenseTeacher，并适配PP-YOLOE+
  • 新增少样本迁移学习方案，包含Co-tuning，Contrastive learning两类算法
• 场景能力
  • PP-Human v2开源边缘端实时检测模型，精度45.7，Jetson AGX速度80FPS
  • PP-Vehicle开源边缘端实时检测模型，精度53.5，Jetson AGX速度80FPS
  • PP-Human v2，PP-Vehicle支持多路视频流部署能力，实现Jetson AGX 4路视频流端到端20FPS实时部署
  • PP-Vehicle新增车辆压线检测和车辆逆行检测能力
• 框架能力
  • 功能新增
    • 新增检测热力图可视化能力，适配FasterRCNN/MaskRCNN系列, PP-YOLOE系列, BlazeFace, SSD, RetinaNet
  • 功能完善/Bug修复
    • 支持python3.10版本
    • EMA支持过滤不更新参数
    • 简化PP-YOLOE architecture架构代码
    • AdamW适配paddle2.4.1版本

release/2.5

2.5(08.26/2022)

• 特色模型

  • PP-YOLOE+：
    • 发布PP-YOLOE+模型，COCO test2017数据集精度提升0.7%-2.4% mAP，模型训练收敛速度提升3.75倍，端到端预测速度提升1.73-2.3倍
    • 发布智慧农业，夜间安防检测，工业质检场景预训练模型，精度提升1.3%-8.1% mAP
    • 支持分布式训练、在线量化、serving部署等10大高性能训练部署能力，新增C++/Python Serving、TRT原生推理、ONNX Runtime等5+部署demo教程
  • PP-PicoDet：
    • 发布PicoDet-NPU模型，支持模型全量化部署
    • 新增PicoDet版面分析模型，基于FGD蒸馏算法精度提升0.5% mAP
  • PP-TinyPose
    • 发布PP-TinyPose增强版，在健身、舞蹈等场景的业务数据集端到端AP提升9.1% AP
    • 覆盖侧身、卧躺、跳跃、高抬腿等非常规动作
    • 新增滤波稳定模块，关键点稳定性显著增强

• 场景能力

  • PP-Human v2
    • 发布PP-Human v2，支持四大产业特色功能：多方案行为识别案例库、人体属性识别、人流检测与轨迹留存以及高精度跨镜跟踪
    • 底层算法能力升级，行人检测精度提升1.5% mAP；行人跟踪精度提升10.2% MOTA，轻量级模型速度提升34%；属性识别精度提升0.6% ma，轻量级模型速度提升62.5%
    • 提供全流程教程，覆盖数据采集标注，模型训练优化和预测部署，及pipeline中后处理代码修改
    • 新增在线视频流输入支持
    • 易用性提升，一行代码执行功能，执行流程判断、模型下载背后自动完成。
  • PP-Vehicle
    • 全新发布PP-Vehicle，支持四大交通场景核心功能：车牌识别、属性识别、车流量统计、违章检测
    • 车牌识别支持基于PP-OCR v3的轻量级车牌识别模型
    • 车辆属性识别支持基于PP-LCNet多标签分类模型
    • 兼容图片、视频、在线视频流等各类数据输入格式
    • 易用性提升，一行代码执行功能，执行流程判断、模型下载背后自动完成。

• 前沿算法

  • YOLO家族全系列模型
    • 发布YOLO家族全系列模型，覆盖前沿检测算法YOLOv5、MT-YOLOv6及YOLOv7
    • 基于ConvNext骨干网络，YOLO各算法训练周期缩5-8倍，精度普遍提升1%-5% mAP；使用模型压缩策略实现精度无损的同时速度提升30%以上
  • 新增基于ViT骨干网络高精度检测模型，COCO数据集精度达到55.7% mAP
  • 新增OC-SORT多目标跟踪模型
  • 新增ConvNeXt骨干网络

• 产业实践范例教程

  • 基于PP-TinyPose增强版的智能健身动作识别
  • 基于PP-Human的打架识别
  • 基于PP-Human的营业厅来客分析
  • 基于PP-Vehicle的车辆结构化分析
  • 基于PP-YOLOE+的PCB电路板缺陷检测

• 框架能力

  • 功能新增
    • 新增自动压缩工具支持并提供demo，PP-YOLOE l版本精度损失0.3% mAP，V100速度提升13%
    • 新增PaddleServing python/C++和ONNXRuntime部署demo
    • 新增PP-YOLOE 端到端TensorRT部署demo
    • 新增FGC蒸馏算法，RetinaNet精度提升3.3%
    • 新增分布式训练文档
  • 功能完善/Bug修复
    • 修复Windows c++部署编译问题
    • 修复VOC格式数据预测时保存结果问题
    • 修复FairMOT c++部署检测框输出
    • 旋转框检测模型S2ANet支持batch size>1部署

release/2.4

2.4(03.24/2022)

• PP-YOLOE：

  • 发布PP-YOLOE特色模型，l版本COCO test2017数据集精度51.6%，V100预测速度78.1 FPS，精度速度服务器端SOTA
  • 发布s/m/l/x系列模型，打通TensorRT、ONNX部署能力
  • 支持混合精度训练，训练较PP-YOLOv2加速33%

• PP-PicoDet:

  • 发布PP-PicoDet优化模型，精度提升2%左右，CPU预测速度提升63%。
  • 新增参数量0.7M的PicoDet-XS模型
  • 后处理集成到网络中，优化端到端部署成本

• 行人分析Pipeline：

  • 发布PP-Human行人分析Pipeline，覆盖行人检测、属性识别、行人跟踪、跨镜跟踪、人流量统计、动作识别多种功能，打通TensorRT部署
  • 属性识别支持StrongBaseline模型
  • ReID支持Centroid模型
  • 动作识别支持ST-GCN摔倒检测

• 模型丰富度:

  • 发布YOLOX，支持nano/tiny/s/m/l/x版本，x版本COCO val2017数据集精度51.8%

• 框架功能优化：

  • EMA训练速度优化20%，优化EMA训练模型保存方式
  • 支持infer预测结果保存为COCO格式

• 部署优化：

  • RCNN全系列模型支持Paddle2ONNX导出ONNX模型
  • SSD模型支持导出时融合解码OP，优化边缘端部署速度
  • 支持NMS导出TensorRT，TensorRT部署端到端速度提升

release/2.3

• 检测: 轻量级移动端检测模型PP-PicoDet，精度速度达到移动端SOTA

• 关键点: 轻量级移动端关键点模型PP-TinyPose

• 模型丰富度:

  • 检测：

    • 新增Swin-Transformer目标检测模型
    • 新增TOOD(Task-aligned One-stage Object Detection)模型
    • 新增GFL(Generalized Focal Loss)目标检测模型
    • 发布Sniper小目标检测优化方法，支持Faster RCNN及PP-YOLO系列模型
    • 发布针对EdgeBoard优化的PP-YOLO-EB模型

  • 跟踪

    • 发布实时跟踪系统PP-Tracking
    • 发布FairMot高精度模型、小尺度模型和轻量级模型
    • 发布行人、人头和车辆实跟踪垂类模型库，覆盖航拍监控、自动驾驶、密集人群、极小目标等场景
    • DeepSORT模型适配PP-YOLO, PP-PicoDet等更多检测器

  • 关键点

    • 新增Lite HRNet模型

• 预测部署:

  • YOLOv3系列模型支持NPU预测部署
  • FairMot模型C++预测部署打通
  • 关键点系列模型C++预测部署打通, Paddle Lite预测部署打通

• 文档:

  • 新增各系列模型英文文档

v2.2.0

• 模型丰富度：

  • 发布Transformer检测模型：DETR、Deformable DETR、Sparse RCNN
  • 关键点检测新增Dark模型，发布Dark HRNet模型
  • 发布MPII数据集HRNet关键点检测模型
  • 发布人头、车辆跟踪垂类模型

• 模型优化：

  • 旋转框检测模型S2ANet发布Align Conv优化模型，DOTA数据集mAP优化至74.0

• 预测部署

  • 主流模型支持batch size>1预测部署，包含YOLOv3，PP-YOLO，Faster RCNN，SSD，TTFNet，FCOS
  • 新增多目标跟踪模型(JDE, FairMot, DeepSort) Python端预测部署支持，并支持TensorRT预测
  • 新增多目标跟踪模型FairMot联合关键点检测模型部署Python端预测部署支持
  • 新增关键点检测模型联合PP-YOLO预测部署支持

• 文档：

  • Windows预测部署文档新增TensorRT版本说明
  • FAQ文档更新发布

• 问题修复：

  • 修复PP-YOLO系列模型训练收敛性问题
  • 修复batch size>1时无标签数据训练问题

PaddleDetection v2.1.0

• 模型丰富度提升：

  • 发布关键点模型HRNet，HigherHRNet
  • 发布多目标跟踪模型DeepSort, FairMot, JDE

• 框架基础能力：

  • 支持无标注框训练

• 预测部署：

  • Paddle Inference YOLOv3系列模型支持batch size>1预测
  • 旋转框检测S2ANet模型预测部署打通
  • 增加量化模型Benchmark
  • 增加动态图模型与静态图模型Paddle-Lite demo

• 检测模型压缩：

  • 发布PPYOLO系列模型压缩模型

• 文档：

  • 更新快速开始，预测部署等教程文档
  • 新增ONNX模型导出教程
  • 新增移动端部署文档

PaddleDetection v2.0.0

2.0(04.15/2021)

说明： 自2.0版本开始，动态图作为PaddleDetection默认版本，原dygraph目录切换为根目录，原静态图实现移动到static目录下。

• 动态图模型丰富度提升：

  • 发布PP-YOLOv2及PP-YOLO tiny模型，PP-YOLOv2 COCO test数据集精度达到49.5%，V100预测速度达到68.9 FPS
  • 发布旋转框检测模型S2ANet
  • 发布两阶段实用模型PSS-Det
  • 发布人脸检测模型Blazeface

• 新增基础模块：

  • 新增SENet，GhostNet，Res2Net骨干网络
  • 新增VisualDL训练可视化支持
  • 新增单类别精度计算及PR曲线绘制功能
  • YOLO系列模型支持NHWC数据格式

• 预测部署：

  • 发布主要模型的预测benchmark数据
  • 适配TensorRT6，支持TensorRT动态尺寸输入，支持TensorRT int8量化预测
  • PP-YOLO, YOLOv3, SSD, TTFNet, FCOS, Faster RCNN等7类模型在Linux、Windows、NV Jetson平台下python/cpp/TRT预测部署打通:

• 检测模型压缩：

  • 蒸馏：新增动态图蒸馏支持，并发布YOLOv3-MobileNetV1蒸馏模型
  • 联合策略：新增动态图剪裁+蒸馏联合策略压缩方案，并发布YOLOv3-MobileNetV1的剪裁+蒸馏压缩模型
  • 问题修复：修复动态图量化模型导出问题

• 文档：

  • 新增动态图英文文档：包含首页文档，入门使用，快速开始，模型算法、新增数据集等
  • 新增动态图中英文安装文档
  • 新增动态图RCNN系列和YOLO系列配置文件模板及配置项说明文档

PaddleDetection v0.1.0

• 基于PaddlePaddle v1.6.1版本.
• 模型包括: Faster R-CNN, Mask R-CNN, Faster R-CNN+FPN, Mask R-CNN+FPN, Cascade-Faster-RCNN+FPN, Cascade-Mask-RCNN+FPN, RetinaNet, YOLOv3, SSD，以及人脸检测模型Faceboxes, BlazeFace.
• 增强版的YOLOv3在COCO上精度达到41.4%，CBResNet200-vd-FPN-Nonlocal模型在COCO上精度达到53.3%，包含行人检测和车辆检测预训练模型
• 支持sync-bn、多尺度训练、多尺度测试、FP16训练，包含预测benchmark