Deployment is complete. The frontend cannot upload files and also cannot chat normally.

[Sol-Ghf]

通过docker起了一个后端服务
docker run --gpus '"device=3"' -d -p 8000:8000 -v /opt/sol/DeepAnalyze/models:/models --name deepanalyze-vllm registry.cn-shanghai.aliyuncs.com/cong-cong/deepanalyze-env:latest python3 -m vllm.entrypoints.openai.api_server --model /models/deepanalyze-8b-q4_k_m.gguf --tokenizer /models/DeepAnalyze-8B --tensor-parallel-size 1 --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.67 --max-model-len 4096 --kv-cache-dtype fp8 --enforce-eager --max-num-seqs 64 --load-format gguf

然后又起了一个前端，然后执行相关命令
cd demo/chat
npm install
cd ..
bash start.sh

stop the api and interface

bash stop.sh

最终前端无法上传文件，也无法正常聊天

[zhangshaolei1998]

您可以先试试通过API或者CLI的方式交互看看后端是否能建立起来。

[Sol-Ghf]

容器需要暴露后端接口就可以了，但是存在一直运行不结束的问题

以下是我的docker启动命令： docker run --gpus '"device=3"' -d -p 4000:4000 -p 8000:8000 -p 8100:8100 -p 8200:8200 -v /opt/sol/DeepAnalyze:/DeepAnalyze --name deepanalyze-vllm1 sol:v1 python3 -m vllm.entrypoints.openai.api_server --model /DeepAnalyze/models/DeepAnalyze-8B --tensor-parallel-size 1 --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.7 --max-model-len 2048 --kv-cache-dtype fp8 --enforce-eager --max-num-seqs 64 --trust-remote-code