PaddleX/3.3/pipeline_deploy/serving

[giscus[bot]]

PaddleX/3.3/pipeline_deploy/serving

https://paddlepaddle.github.io/PaddleX/3.3/pipeline_deploy/serving.html

[gokamisama]

docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlex/hps:paddlex3.3-cpu 无法拉取显示：
Error response from daemon: failed to resolve reference "ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlex/hps:paddlex3.3-cpu": ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlex/hps:paddlex3.3-cpu: not found

[lilong1988]

没有这个镜像：paddlex/hps:paddlex3.3-gpu
另外想问一下，如果通过docker部署PaddleOCR-VL产线，此镜像是否通过vllm或者sglang运行vl模型？

[gokamisama]

https://paddlepaddle.github.io/PaddleX/latest/pipeline_usage/tutorials/ocr_pipelines/PaddleOCR-VL.html#311-docker

专门有vllm推理paddleocr-vl的镜像

[hcode666]

请问使用sdk部署，如何自己设置端口号，不使用默认端口号

[hcode666]

这是因么原因识别模型可以正常，但是检测模型错误，我再yaml配置文件中修改浮点精度为16，但是依然还是32。可以帮我解答吗。Creating model: ('PP-OCRv5_server_det', None)
Using official model (PP-OCRv5_server_det), the model files will be automatically downloaded and saved in /root/.paddlex/official_models.
Downloading [config.json]: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.80k/2.80k [00:01<00:00, 2.27kB/s]
Downloading [README.md]: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15.5k/15.5k [00:01<00:00, 13.7kB/s]
Downloading [inference.yml]: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 903/903 [00:01<00:00, 855B/s]
Downloading [inference.json]: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 393k/393k [00:02<00:00, 137kB/s]
Downloading [inference.pdiparams]: 0%| | 0.00/83.9M [01:01<?, ?B/s]
Downloading [inference.pdiparams]: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 83.9M/83.9M [00:22<00:00, 3.91MB/s]
Processing 5 items: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5.00/5.00 [01:26<00:00, 17.3s/it]
Automatically converting PaddlePaddle model to ONNX format
Inference backend: tensorrt
Inference backend config: precision='fp32' use_dynamic_shapes=True dynamic_shapes={'x': [[1, 3, 32, 32], [1, 3, 736, 736], [1, 3, 4000, 4000]]}
[INFO] ultra_infer/runtime/backends/tensorrt/trt_backend.cc(572)::BuildTrtEngine Start to building TensorRT Engine...
[ERROR] ultra_infer/runtime/backends/tensorrt/trt_backend.cc(239)::log 1: No Myelin Error exists
[ERROR] ultra_infer/runtime/backends/tensorrt/trt_backend.cc(239)::log 1: [runnerBuilderBase.cpp::buildAndSerializeMyelinGraph::326] Error Code 1: Myelin (No Myelin Error exists)
[ERROR] ultra_infer/runtime/backends/tensorrt/trt_backend.cc(636)::BuildTrtEngine Failed to call buildSerializedNetwork().
[ERROR] ultra_infer/runtime/backends/tensorrt/trt_backend.cc(752)::CreateTrtEngineFromOnnx Failed to build tensorrt engine.
[INFO] ultra_infer/runtime/runtime.cc(320)::CreateTrtBackend Runtime initialized with Backend::TRT in Device::GPU.

[hcode666]

是什么原因导致的这个错误，以及浮点精度配置是这样配置的吗SubModules:
TextDetection:
module_name: text_detection
model_name: PP-OCRv5_server_det
model_dir: null
limit_side_len: 64
limit_type: min
precision: fp16
max_side_limit: 2000
thresh: 0.3
box_thresh: 0.6
unclip_ratio: 1.5

[hcode666]

已解决