推理时候显存分配

[xxcoco763]

模型推理的时候使用device_map="auto" 把模型分到了各张卡上，但是文本加载的显存直接全部放到0号卡了，可以将这部分显存也平均分配吗？

[xxcoco763]

运行的是 webui
代码如下：
python3 demo.py
--base_model /home/models/LongAlpaca-7B
--context_size 32768
--max_gen_len 1024 \

[Zhangchaoran000]

同样我想提问，是如何在单卡测试的64K的输入长度啊，使用40G的A100只能够运行16K的长度输入