init
This commit is contained in:
@@ -0,0 +1,269 @@
|
||||
# vLLM 参数配置文件
|
||||
# 用于定义和识别 vLLM 服务器的各类参数
|
||||
|
||||
# 模型参数配置
|
||||
model_params:
|
||||
# 必需参数
|
||||
required:
|
||||
- path # 模型路径
|
||||
|
||||
# 可选参数
|
||||
optional:
|
||||
- name # 模型名称
|
||||
- dtype # 数据类型 (auto, float16, float32, bfloat16)
|
||||
- quantization # 量化方式 (awq, gptq, squeezellm)
|
||||
- trust_remote # 是否信任远程代码
|
||||
|
||||
# 性能参数配置
|
||||
performance_params:
|
||||
# GPU 相关
|
||||
gpu:
|
||||
- tensor_parallel_size # 张量并行度
|
||||
- pipeline_parallel_size # 流水线并行度
|
||||
- gpu_memory_utilization # GPU 内存利用率 (0.0-1.0)
|
||||
- swap_space # CPU 交换空间大小 (GB)
|
||||
- max_num_batched_tokens # 最大批量 tokens 数
|
||||
- max_num_seqs # 最大并发请求数
|
||||
- num_scheduler_steps # 调度器步数
|
||||
|
||||
# 内存管理
|
||||
memory:
|
||||
- block_size # 块大小 (8, 16, 32)
|
||||
- max_model_len # 最大模型上下文长度
|
||||
- max_logprobs # 最大 logprobs 数
|
||||
- disable_sliding_window # 禁用滑动窗口
|
||||
|
||||
# 服务参数配置
|
||||
server_params:
|
||||
# 网络配置
|
||||
network:
|
||||
- host # 服务器主机地址
|
||||
- port # 服务器端口
|
||||
- ssl_keyfile # SSL 密钥文件
|
||||
- ssl_certfile # SSL 证书文件
|
||||
- ssl_ca_certs # SSL CA 证书
|
||||
- ssl_keyfile_password # SSL 密钥密码
|
||||
|
||||
# API 配置
|
||||
api:
|
||||
- api_key # API 密钥
|
||||
- allowed_origins # 允许的源
|
||||
- timeout_keep_alive # 保持连接超时时间
|
||||
|
||||
# 采样参数配置
|
||||
sampling_params:
|
||||
# 温度控制
|
||||
- temperature # 温度 (0.0-2.0)
|
||||
- top_p # 核采样参数 (0.0-1.0)
|
||||
- top_k # Top-K 采样
|
||||
- min_p # 最小概率
|
||||
|
||||
# 惩罚参数
|
||||
- frequency_penalty # 频率惩罚 (-2.0 到 2.0)
|
||||
- presence_penalty # 存在惩罚 (-2.0 到 2.0)
|
||||
- repetition_penalty # 重复惩罚
|
||||
|
||||
# 生成长度
|
||||
- max_tokens # 最大生成 tokens 数
|
||||
- min_tokens # 最小生成 tokens 数
|
||||
- stop # 停止词列表
|
||||
- stop_token_ids # 停止 token IDs
|
||||
|
||||
# 其他采样选项
|
||||
- seed # 随机种子
|
||||
- use_beam_search # 使用束搜索
|
||||
- best_of # 束搜索的最佳候选数
|
||||
- length_penalty # 长度惩罚
|
||||
- early_stopping # 早期停止
|
||||
- ignore_eos # 忽略 EOS token
|
||||
- skip_special_tokens # 跳过特殊 tokens
|
||||
- spaces_between_special_tokens # 特殊 tokens 之间的空格
|
||||
|
||||
# 日志参数配置
|
||||
logging_params:
|
||||
- log_level # 日志级别 (debug, info, warning, error)
|
||||
- log_requests # 是否记录请求
|
||||
- log_responses # 是否记录响应
|
||||
|
||||
# 高级参数配置
|
||||
advanced_params:
|
||||
# 执行模式
|
||||
- enforce_eager # 强制使用 eager 模式
|
||||
- cuda_graphs # CUDA 图
|
||||
- use_v2_block_manager # 使用 V2 块管理器
|
||||
|
||||
# 注意力后端
|
||||
- use_rocm_attn # 使用 ROCm 注意力后端
|
||||
- attention_backend # 注意力后端类型
|
||||
|
||||
# 分布式
|
||||
- distributed_executor_backend # 分布式执行器后端
|
||||
- ray_workers_use_nsight # Ray workers 使用 nsight
|
||||
|
||||
# 其他
|
||||
- load_format # 加载格式
|
||||
- download_dir # 下载目录
|
||||
- revision # 模型版本
|
||||
- code_revision # 代码版本
|
||||
- tokenizer_revision # tokenizer 版本
|
||||
|
||||
# 参数类型映射
|
||||
param_types:
|
||||
# 整数类型
|
||||
integer:
|
||||
- tensor_parallel_size
|
||||
- pipeline_parallel_size
|
||||
- max_num_batched_tokens
|
||||
- max_num_seqs
|
||||
- block_size
|
||||
- max_model_len
|
||||
- max_tokens
|
||||
- min_tokens
|
||||
- top_k
|
||||
- best_of
|
||||
- seed
|
||||
- num_scheduler_steps
|
||||
- max_logprobs
|
||||
- swap_space
|
||||
- timeout_keep_alive
|
||||
|
||||
# 浮点数类型
|
||||
float:
|
||||
- gpu_memory_utilization
|
||||
- temperature
|
||||
- top_p
|
||||
- min_p
|
||||
- frequency_penalty
|
||||
- presence_penalty
|
||||
- repetition_penalty
|
||||
- length_penalty
|
||||
|
||||
# 布尔类型
|
||||
boolean:
|
||||
- trust_remote
|
||||
- enforce_eager
|
||||
- use_rocm_attn
|
||||
- use_beam_search
|
||||
- early_stopping
|
||||
- ignore_eos
|
||||
- skip_special_tokens
|
||||
- spaces_between_special_tokens
|
||||
- log_requests
|
||||
- log_responses
|
||||
- disable_sliding_window
|
||||
- use_v2_block_manager
|
||||
|
||||
# 字符串类型
|
||||
string:
|
||||
- path
|
||||
- name
|
||||
- dtype
|
||||
- quantization
|
||||
- host
|
||||
- port
|
||||
- api_key
|
||||
- ssl_keyfile
|
||||
- ssl_certfile
|
||||
- ssl_ca_certs
|
||||
- ssl_keyfile_password
|
||||
- log_level
|
||||
- attention_backend
|
||||
- load_format
|
||||
- download_dir
|
||||
- revision
|
||||
- code_revision
|
||||
- tokenizer_revision
|
||||
|
||||
# 列表类型
|
||||
list:
|
||||
- stop
|
||||
- stop_token_ids
|
||||
- allowed_origins
|
||||
|
||||
# 参数默认值
|
||||
param_defaults:
|
||||
host: "0.0.0.0"
|
||||
port: 8000
|
||||
dtype: "auto"
|
||||
gpu_memory_utilization: 0.9
|
||||
max_model_len: 8192
|
||||
tensor_parallel_size: 1
|
||||
max_num_seqs: 256
|
||||
block_size: 16
|
||||
temperature: 0.7
|
||||
top_p: 0.9
|
||||
max_tokens: 256
|
||||
enforce_eager: false
|
||||
trust_remote: false
|
||||
log_level: "info"
|
||||
|
||||
# 参数验证规则
|
||||
param_validation:
|
||||
gpu_memory_utilization:
|
||||
min: 0.0
|
||||
max: 1.0
|
||||
|
||||
temperature:
|
||||
min: 0.0
|
||||
max: 2.0
|
||||
|
||||
top_p:
|
||||
min: 0.0
|
||||
max: 1.0
|
||||
|
||||
min_p:
|
||||
min: 0.0
|
||||
max: 1.0
|
||||
|
||||
frequency_penalty:
|
||||
min: -2.0
|
||||
max: 2.0
|
||||
|
||||
presence_penalty:
|
||||
min: -2.0
|
||||
max: 2.0
|
||||
|
||||
tensor_parallel_size:
|
||||
min: 1
|
||||
max: 8
|
||||
|
||||
block_size:
|
||||
allowed_values: [8, 16, 32]
|
||||
|
||||
# 参数分组（用于配置文件组织）
|
||||
param_groups:
|
||||
basic:
|
||||
name: "基础配置"
|
||||
params:
|
||||
- path
|
||||
- name
|
||||
- port
|
||||
- api_key
|
||||
|
||||
performance:
|
||||
name: "性能配置"
|
||||
params:
|
||||
- tensor_parallel_size
|
||||
- gpu_memory_utilization
|
||||
- max_model_len
|
||||
- max_num_seqs
|
||||
- block_size
|
||||
|
||||
sampling:
|
||||
name: "采样配置"
|
||||
params:
|
||||
- temperature
|
||||
- top_p
|
||||
- max_tokens
|
||||
- frequency_penalty
|
||||
- presence_penalty
|
||||
- stop
|
||||
|
||||
advanced:
|
||||
name: "高级配置"
|
||||
params:
|
||||
- dtype
|
||||
- quantization
|
||||
- enforce_eager
|
||||
- trust_remote
|
||||
- swap_space
|
||||
Reference in New Issue
Block a user