vLLM Monitoring - V1
가져오는 방법
Datadog에서 Dashboards → New Dashboard → ⚙ Configure → Import dashboard JSON 순으로 이동한 뒤 이 JSON을 붙여넣으세요.
반응
vLLM 추론 서버 모니터링 대시보드
변환 품질
좋음 85쿼리가 손실 없이 변환된 패널의 비율입니다. 일부만 변환됐거나 지원되지 않는 패널은 원본 PromQL을 노트 위젯에 그대로 남겨 둡니다.
- 기본 통합0
- OpenMetrics14
- 일부 변환6
- 미지원0
Datadog 기본 통합 메트릭으로 매핑되지 않은 항목
OpenMetrics 이름을 그대로 사용한 메트릭입니다. Datadog 기본 통합으로 수집 중이라면 메트릭 이름을 맞춰 주세요.
vllm:num_requests_waiting ×4vllm:request_success_total ×4vllm:num_requests_running ×3vllm:e2e_request_latency_seconds_bucket ×3vllm:request_queue_time_seconds_bucket ×3vllm:request_time_per_output_token_seconds_bucket ×3vllm:e2e_request_latency_seconds_count ×2vllm:prompt_tokens_total ×2vllm:generation_tokens_total ×2vllm:time_to_first_token_seconds_bucket ×2vllm:kv_cache_usage_perc ×2vllm:num_preemptions_totalvllm:e2e_request_latency_seconds_sumvllm:request_prompt_tokens_bucketvllm:request_generation_tokens_bucketvllm:prefix_cache_hits_totalvllm:prefix_cache_queries_totalvllm:num_requests_swapped리비전 이력
- 리비전 1Converted from grafana.com revision 1JSON 다운로드
이 대시보드 평가하기
평가하려면 로그인이 필요합니다.댓글 0개
아직 댓글이 없습니다.