x
This commit is contained in:
@@ -36,8 +36,8 @@ docker build -t custom-vllm-r9700:latest .
|
||||
# 运行容器
|
||||
docker run -it --device /dev/dri --device /dev/kfd \
|
||||
--group-add video --group-add render --security-opt seccomp=unconfined \
|
||||
-v /path/to/models:/models \
|
||||
-v /path/to/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-v /opt/models:/models \
|
||||
-v /opt/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-e LOCAL_MODEL_DIR=/models \
|
||||
custom-vllm-r9700:latest
|
||||
```
|
||||
@@ -57,8 +57,8 @@ docker build -t custom-vllm-r9700:latest .
|
||||
```bash
|
||||
docker run -it --device /dev/dri --device /dev/kfd \
|
||||
--group-add video --group-add render --security-opt seccomp=unconfined \
|
||||
-v /path/to/models:/models \
|
||||
-v /path/to/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-v /opt/models:/models \
|
||||
-v /opt/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-e LOCAL_MODEL_DIR=/models \
|
||||
custom-vllm-r9700:latest
|
||||
```
|
||||
@@ -86,7 +86,7 @@ distrobox enter vllm-custom
|
||||
|
||||
## 配置文件
|
||||
|
||||
容器使用 YAML 格式的配置文件来设置 vLLM 服务器参数。默认配置文件位于 `/etc/vllm/model_config.yaml`。项目根目录中提供了配置文件示例 `model_config.yaml.example`，您可以参考它来创建自己的配置文件。
|
||||
容器使用 YAML 格式的配置文件来设置 vLLM 服务器参数。配置文件需要挂载到 `/etc/vllm/model_config.yaml`。项目根目录中提供了配置文件示例 `model_config.yaml.example`，您可以参考它来创建自己的配置文件。
|
||||
|
||||
### 配置文件示例
|
||||
|
||||
@@ -98,7 +98,7 @@ default: "deepseek_r1_distill_qwen_32b_awq"
|
||||
# 模型配置
|
||||
models:
|
||||
deepseek_r1_distill_qwen_14b:
|
||||
path: "/app/vllm/models/DeepSeek-R1-Distill-Qwen-14B"
|
||||
path: "/models/DeepSeek-R1-Distill-Qwen-14B"
|
||||
name: "DeepSeek-R1-Distill-Qwen-14B"
|
||||
max_model_len: 8192
|
||||
gpu_memory_utilization: 0.9
|
||||
@@ -110,7 +110,7 @@ models:
|
||||
api_key: "sk-14b-20240101-abcdef123456"
|
||||
|
||||
deepseek_r1_distill_qwen_32b_awq:
|
||||
path: "/app/vllm/models/DeepSeek-R1-Distill-Qwen-32B-AWQ"
|
||||
path: "/models/DeepSeek-R1-Distill-Qwen-32B-AWQ"
|
||||
name: "DeepSeek-R1-Distill-Qwen-32B-AWQ"
|
||||
|
||||
# 模型性能参数
|
||||
@@ -144,7 +144,7 @@ models:
|
||||
api_key: "sk-32b-20240101-ghijk789012"
|
||||
|
||||
glm_4_7_flash_awq:
|
||||
path: "/app/vllm/models/GLM-4.7-Flash-AWQ"
|
||||
path: "/models/GLM-4.7-Flash-AWQ"
|
||||
name: "GLM-4.7-Flash-AWQ"
|
||||
|
||||
# 模型性能参数
|
||||
@@ -178,7 +178,7 @@ models:
|
||||
api_key: "sk-32b-20240101-ghijk789012"
|
||||
|
||||
qwen3_vl_32b_instruct_awq:
|
||||
path: "/app/vllm/models/Qwen3-VL-32B-Instruct-AWQ"
|
||||
path: "/models/Qwen3-VL-32B-Instruct-AWQ"
|
||||
name: "Qwen3-VL-32B-Instruct-AWQ"
|
||||
max_model_len: 32768
|
||||
gpu_memory_utilization: 0.7
|
||||
@@ -208,7 +208,7 @@ server:
|
||||
- `default`：默认启动的模型名称
|
||||
- `models`：模型配置列表
|
||||
- 每个模型包含：
|
||||
- `path`：模型路径
|
||||
- `path`：模型路径（相对于 LOCAL_MODEL_DIR）
|
||||
- `name`：模型名称
|
||||
- `max_model_len`：最大模型上下文长度
|
||||
- `gpu_memory_utilization`：GPU 内存利用率
|
||||
@@ -233,7 +233,7 @@ server:
|
||||
|
||||
## 环境变量
|
||||
|
||||
- `LOCAL_MODEL_DIR`：本地模型目录路径（必须设置）
|
||||
- `LOCAL_MODEL_DIR`：本地模型目录路径（必须设置，默认：/models）
|
||||
- `VLLM_CONFIG_FILE`：配置文件路径（默认：/etc/vllm/model_config.yaml）
|
||||
|
||||
## 启动 vLLM 服务器
|
||||
@@ -276,7 +276,7 @@ chmod +x build_and_run.sh
|
||||
./build_and_run.sh -p 8080
|
||||
|
||||
# 指定配置文件和模型目录
|
||||
./build_and_run.sh -c /path/to/config.yaml -m /path/to/models
|
||||
./build_and_run.sh -c /opt/model_config.yaml -m /opt/models
|
||||
|
||||
# 交互式运行（前台运行）
|
||||
./build_and_run.sh -i
|
||||
@@ -313,8 +313,8 @@ docker build -t custom-vllm-r9700:latest .
|
||||
# 2. 运行容器
|
||||
docker run -it --device /dev/dri --device /dev/kfd \
|
||||
--group-add video --group-add render --security-opt seccomp=unconfined \
|
||||
-v /path/to/models:/models \
|
||||
-v /path/to/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-v /opt/models:/models \
|
||||
-v /opt/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-e LOCAL_MODEL_DIR=/models \
|
||||
custom-vllm-r9700:latest
|
||||
```
|
||||
@@ -425,7 +425,7 @@ print(response.choices[0].text)
|
||||
正确的目录结构示例：
|
||||
|
||||
```
|
||||
/models/
|
||||
/opt/models/
|
||||
├── deepseek_r1_distill_qwen_14b/
|
||||
│ ├── config.json
|
||||
│ └── model.safetensors
|
||||
@@ -463,7 +463,28 @@ print(response.choices[0].text)
|
||||
|
||||
- `Dockerfile` - Docker 镜像构建文件
|
||||
- `README.md` - 项目说明文档
|
||||
- `model_config.yaml.example` - 配置文件示例
|
||||
- `params_config.yaml` - 参数配置文件（定义各类参数的类型和验证规则）
|
||||
- `model_config.yaml.example` - 配置文件示例（包含所有模型配置参数）
|
||||
- `build_and_run.sh` - 智能部署脚本（自动检测 Git 更新）
|
||||
- `scripts/start_vllm.py` - vLLM 启动脚本
|
||||
- `scripts/` - 脚本目录
|
||||
- `start_vllm.py` - vLLM 启动脚本
|
||||
- `01-rocm-envs.sh` - ROCm 环境配置
|
||||
- `99-toolbox-banner.sh` - Toolbox 横幅
|
||||
- `zz-venv-last.sh` - 虚拟环境配置
|
||||
|
||||
## 部署说明
|
||||
|
||||
### Docker 运行命令
|
||||
|
||||
```bash
|
||||
docker run -it --device /dev/dri --device /dev/kfd \
|
||||
--group-add video --group-add render --security-opt seccomp=unconfined \
|
||||
-v /opt/models:/models \
|
||||
-v /opt/model_config.yaml:/etc/vllm/model_config.yaml \
|
||||
-e LOCAL_MODEL_DIR=/models \
|
||||
custom-vllm-r9700:latest
|
||||
```
|
||||
|
||||
**挂载说明：**
|
||||
- `/opt/models` - 本地模型目录，挂载到容器的 `/models`
|
||||
- `/opt/model_config.yaml` - 本地配置文件，挂载到容器的 `/etc/vllm/model_config.yaml`
|
||||
- `LOCAL_MODEL_DIR=/models` - 指定模型目录环境变量
|
||||
|
||||
Reference in New Issue
Block a user