Datadog Dashboards

Text Generation Inference

보통 76다운로드 0회조회 0회댓글 0개리비전 1 등록Grafana 대시보드 #19831 (작성자 swarupsrini)를 변환한 대시보드입니다
가져오는 방법

Datadog에서 Dashboards → New Dashboard → ⚙ Configure → Import dashboard JSON 순으로 이동한 뒤 이 JSON을 붙여넣으세요.

반응

These metrics are exposed by containers run using Hugging Face’s Text Generation Inference toolkit project (https://github.com/huggingface/text-generation-inference). The second version is a simple dashboard displaying all available metrics, and the third version is an improved version based on the dashboard here: https://github.com/huggingface/text-generation-inference/discussions/1127#discussioncomment-7854661

Text Generation Inference

변환 품질

보통 76

쿼리가 손실 없이 변환된 패널의 비율입니다. 일부만 변환됐거나 지원되지 않는 패널은 원본 PromQL을 노트 위젯에 그대로 남겨 둡니다.

  • 기본 통합0
  • OpenMetrics14
  • 일부 변환13
  • 미지원0

Datadog 기본 통합 메트릭으로 매핑되지 않은 항목

OpenMetrics 이름을 그대로 사용한 메트릭입니다. Datadog 기본 통합으로 수집 중이라면 메트릭 이름을 맞춰 주세요.

tgi_batch_inference_duration_bucket ×8tgi_request_duration_bucket ×4tgi_request_mean_time_per_token_duration_bucket ×4tgi_batch_forward_duration_bucket ×4tgi_batch_decode_duration_bucket ×4tgi_batch_filter_duration_bucket ×4tgi_batch_concat_duration_bucket ×4tgi_request_input_length_bucket ×3tgi_request_generated_tokens_bucket ×3tgi_request_queue_duration_bucket ×3tgi_request_inference_duration_bucket ×3tgi_queue_size ×2tgi_request_successtgi_request_failuretgi_request_counttgi_batch_current_sizetgi_batch_current_max_tokenstgi_batch_concat

리비전 이력

  • 리비전 1Converted from grafana.com revision 5JSON 다운로드

이 대시보드 평가하기

평가하려면 로그인이 필요합니다.

댓글 0개

아직 댓글이 없습니다.