LLM Inference Dashboard (SGLang / vLLM)
가져오는 방법
Datadog에서 Dashboards → New Dashboard → ⚙ Configure → Import dashboard JSON 순으로 이동한 뒤 이 JSON을 붙여넣으세요.
반응
同时支持 SGLang 和 vLLM 的统一 LLM 推理监控 Grafana Dashboard，数据源为 Prometheus。该模板将两类推理后端的可比指标放在同一视图中展示，覆盖请求量、Token 吞吐、延迟分位数、队列状态、缓存行为以及 Engine 或 TP Rank 维度的分布情况。适用于混合推理集群、后端迁移、压测对比和统一运维场景，帮助团队用一致的视角观察不同推理框架的服务表现。
변환 품질
좋음 83쿼리가 손실 없이 변환된 패널의 비율입니다. 일부만 변환됐거나 지원되지 않는 패널은 원본 PromQL을 노트 위젯에 그대로 남겨 둡니다.
- 기본 통합0
- OpenMetrics16
- 일부 변환8
- 미지원0
Datadog 기본 통합 메트릭으로 매핑되지 않은 항목
OpenMetrics 이름을 그대로 사용한 메트릭입니다. Datadog 기본 통합으로 수집 중이라면 메트릭 이름을 맞춰 주세요.
vllm:e2e_request_latency_seconds_bucket ×5sglang:e2e_request_latency_seconds_bucket ×5vllm:generation_tokens_total ×4vllm:prompt_tokens_total ×4sglang:realtime_tokens_total ×4vllm:time_to_first_token_seconds_bucket ×3sglang:time_to_first_token_seconds_bucket ×3vllm:inter_token_latency_seconds_bucket ×3sglang:inter_token_latency_seconds_bucket ×3vllm:request_success_total ×2vllm:prefix_cache_hits_total ×2vllm:prefix_cache_queries_total ×2vllm:request_queue_time_seconds_bucket ×2sglang:queue_time_seconds_bucket ×2sglang:process_cpu_seconds_total ×2vllm:kv_block_idle_before_evict_seconds_bucket ×2sglang:eviction_duration_seconds_bucket ×2sglang:num_requests_totalsglang:generation_tokens_totalsglang:prompt_tokens_totalsglang:cache_hit_ratevllm:kv_cache_usage_percsglang:utilizationsglang:num_aborted_requests_totalvllm:prompt_tokens_cached_totalsglang:cached_tokens_totalsglang:evicted_tokens_totalvllm:iteration_tokens_total_bucketsglang:cuda_graph_passes_totalvllm:num_requests_runningsglang:num_running_reqsvllm:num_requests_waitingsglang:num_queue_reqsvllm:request_params_max_tokens_sumvllm:request_params_max_tokens_countsglang:max_total_num_tokensvllm:request_prefill_kv_computed_tokens_sumvllm:request_prompt_tokens_sumsglang:new_token_ratiovllm:request_prefill_time_seconds_sumvllm:request_decode_time_seconds_sumvllm:request_prefill_time_seconds_bucketsglang:per_stage_req_latency_seconds_bucketvllm:request_queue_time_seconds_sumvllm:request_queue_time_seconds_countsglang:queue_time_seconds_sumsglang:queue_time_seconds_count리비전 이력
- 리비전 1Converted from grafana.com revision 1JSON 다운로드
이 대시보드 평가하기
평가하려면 로그인이 필요합니다.댓글 0개
아직 댓글이 없습니다.