LLM Simulation - vLLM Serving Overview
가져오는 방법
Datadog에서 Dashboards → New Dashboard → ⚙ Configure → Import dashboard JSON 순으로 이동한 뒤 이 JSON을 붙여넣으세요.
반응
vLLM serving overview: first-token and inter-token latency, throughput, queue depth, KV cache, prefix-cache reuse and a TTFT error budget, every panel by (model_name). V1 metric names; several panels need the llm:* recording rules.
변환 품질
좋음 92쿼리가 손실 없이 변환된 패널의 비율입니다. 일부만 변환됐거나 지원되지 않는 패널은 원본 PromQL을 노트 위젯에 그대로 남겨 둡니다.
- 기본 통합0
- OpenMetrics12
- 일부 변환0
- 미지원1
Datadog 기본 통합 메트릭으로 매핑되지 않은 항목
OpenMetrics 이름을 그대로 사용한 메트릭입니다. Datadog 기본 통합으로 수집 중이라면 메트릭 이름을 맞춰 주세요.
llm:ttft:p95_5mllm:tpot:p95_5mvllm:num_requests_runningvllm:num_requests_waitingllm:tokens:generation_rate5mllm:tokens:prompt_rate5mllm:tokens_per_watt:5mvllm:kv_cache_usage_percvllm:request_success_totalllmsim_requests_rejected_totalllmsim_profile_generationllm:prefix_cache:hit_ratio5mllm:ttft:slo_ratio1hllm:queue:mean5mllm:prefill:mean5mllm:decode:mean5mllm:e2e:mean5mllm:decode:p95_5m지원되지 않는 패널
- Simulated GPU attribution
table
리비전 이력
- 리비전 1Converted from grafana.com revision 3JSON 다운로드
이 대시보드 평가하기
평가하려면 로그인이 필요합니다.댓글 0개
아직 댓글이 없습니다.