대시보드

vLLM 추론 서버 모니터링

基于原版 #24755 的完整中文汉化版本。覆盖 vLLM 推理核心指标：调度器效率、KV Cache 使用率、TTFT/TPOT 延迟、Prefix Cache 命中率、请求完成原因分布等。已适配 Grafana 10.4+，开箱即用。

Custom KServe dahsboard to use with vLLM backend. All the metrics used start by "vllm:".

同时支持 SGLang 和 vLLM 的统一 LLM 推理监控 Grafana Dashboard，数据源为 Prometheus。该模板将两类推理后端的可比指标放在同一视图中展示，覆盖请求量、Token 吞吐、延迟分位数、队列状态、缓存行为以及 Engine 或 TP Rank 维度的分布情况。适用于混合推理集群、后端迁移、压测对比和统一运维场景，帮助团队用一致的视角观察不同推理框架的服务表现。

vLLM 추론 서버 모니터링 대시보드

vLLM serving overview: first-token and inter-token latency, throughput, queue depth, KV cache, prefix-cache reuse and a TTFT error budget, every panel by (model_name). V1 metric names; several panels need the llm:* recording rules.