KServe vLLM
가져오는 방법
Datadog에서 Dashboards → New Dashboard → ⚙ Configure → Import dashboard JSON 순으로 이동한 뒤 이 JSON을 붙여넣으세요.
반응
Custom KServe dahsboard to use with vLLM backend. All the metrics used start by "vllm:".
변환 품질
보통 72쿼리가 손실 없이 변환된 패널의 비율입니다. 일부만 변환됐거나 지원되지 않는 패널은 원본 PromQL을 노트 위젯에 그대로 남겨 둡니다.
- 기본 통합0
- OpenMetrics7
- 일부 변환9
- 미지원0
Datadog 기본 통합 메트릭으로 매핑되지 않은 항목
OpenMetrics 이름을 그대로 사용한 메트릭입니다. Datadog 기본 통합으로 수집 중이라면 메트릭 이름을 맞춰 주세요.
vllm:e2e_request_latency_seconds_bucket ×6vllm:request_prefill_time_seconds_bucket ×6vllm:time_to_first_token_seconds_bucket ×6vllm:request_queue_time_seconds_bucket ×6vllm:time_per_output_token_seconds_bucket ×3vllm:gpu_cache_usage_percvllm:num_requests_runningvllm:num_requests_waitingvllm:time_per_output_token_seconds_countvllm:request_generation_tokens_countvllm:request_max_num_generation_tokens_sumvllm:request_max_num_generation_tokens_countvllm:request_success_totalvllm:request_inference_time_seconds_count리비전 이력
- 리비전 1Converted from grafana.com revision 1JSON 다운로드
이 대시보드 평가하기
평가하려면 로그인이 필요합니다.댓글 0개
아직 댓글이 없습니다.