Weave Trace view 탐색하기

Weave의 Trace view를 사용해 LLM 및 에이전트형 앱의 복잡한 실행 경로를 파악하세요.

Weave Trace view는 LLM 및 에이전트형 앱의 복잡한 실행 경로를 이해할 수 있도록 설계되었습니다. 수십 개의 중첩된 call이 있는 에이전트형 앱을 디버깅하거나, 단일 모델 예측의 흐름을 추적하는 경우에도 Trace view는 무슨 일이 일어났는지 명확하게 시각화해 줍니다. 또한 애플리케이션 흐름을 보고 이해할 수 있는 다른 방법도 제공합니다.

이 가이드에서는 트레이스 스택을 따라 이동하는 방법, 코드에서 호출한 함수를 필터링하고 검색하는 방법, 시각적 표현 사이를 전환하는 방법 등을 설명합니다.

​

시작하기

Trace view로 이동하려면 다음 단계를 따르세요.

1. https://wandb.ai로 이동한 다음 프로젝트를 선택합니다.
2. 사이드바 메뉴에서 Traces를 선택하면 프로젝트에 저장된 모든 트레이스를 볼 수 있습니다.
3. 트레이스를 선택해 Trace Details 뷰를 엽니다. Trace Details 뷰에는 트레이스 실행의 계층적 세부 내역을 보여주는 추가 패널이 표시됩니다.

​

Traces 페이지 Overview

Traces 페이지는 세 개의 핵심 패널로 구성됩니다:

• 왼쪽 패널: 프로젝트의 모든 트레이스를 정렬하고 페이지별로 볼 수 있는 목록입니다.
  • 이 트레이스 테이블에는 토큰, 비용, 지연 시간 같은 추가 데이터도 포함됩니다.
• 가운데 패널: 선택한 트레이스의 대화형 트레이스 뷰입니다. 트레이스 트리는 트레이스 내에서 추적된 모든 메서드를 계층 구조로 보여줍니다.
  • 트레이스 트리에는 트레이스 중 호출된 @weave.op() 데코레이터가 적용된 함수인 ops가 표시됩니다.
• 오른쪽 패널: 선택한 트레이스 내에서 선택한 op의 세부 정보입니다.

​

트레이스 내에서 필터링

• 이름별 정규식 필터: 트레이스 트리 위의 텍스트 필드를 사용해 tool, openai.response.create와 같이 이름이나 유형을 기준으로 op를 필터링합니다.
• 메트릭: 사용 가능한 경우 비용, 토큰, 지연 시간 등 다음 데이터 메트릭의 표시 여부를 제어합니다.

​

트레이스 탐색

트레이스 트리는 트레이스 내에서 추적된 모든 메서드의 계층 구조를 보여줍니다. 트리에서 위/아래로 이동하려면 Cmd(macOS) 또는 Alt(Windows/Linux) + 위쪽 화살표(↑) / 아래쪽 화살표(↓)를 사용하세요.

트레이스 트리 아래에는 트레이스 내부의 상태를 빠르게 탐색할 수 있도록 여러 스크러버가 제공됩니다. 슬라이더를 사용해 트레이스의 원하는 지점으로 효율적으로 이동할 수 있습니다.

패널을 확장하면 사용 가능한 모든 스크러버를 볼 수 있습니다.

• Timeline: 트레이스 내 이벤트의 시간순 순서입니다.
• Peers: 동일한 유형의 Ops입니다. 예를 들어 predict라는 함수의 세부 정보를 보고 있다면, 이 스크러버를 사용해 트레이스 내에서 predict의 다음 실행으로 즉시 이동할 수 있습니다.
• Siblings: 동일한 부모를 가진 Ops입니다. 이 스크러버를 사용해 부모 함수 call 아래에 중첩된 ops를 차례대로 탐색할 수 있습니다.
• Stack: call stack을 따라 위/아래로 이동합니다.
• Path: (코드 구성 뷰에서만 사용 가능) 선택한 call과 동일한 코드 경로를 가진 모든 calls를 차례대로 탐색합니다.

​

다른 트레이스 트리 뷰

패널 상단에서 필요에 따라 트레이스 트리를 여러 시각화 방식으로 전환할 수 있습니다. 디버깅 목적에 맞게 뷰를 전환하세요. call 로직을 이해하려면 코드 구성 뷰를, 시간에 따른 성능을 파악하려면 플레임 그래프 뷰를, 구조를 이해하려면 그래프 뷰를 사용하세요.

​

트레이스(기본)

트레이스 트리의 기본 뷰에는 스택 계층 구조, op별 비용(제공되는 경우), 실행 시간, 상태 표시기가 표시됩니다.

​

코드 구성 뷰

코드 구성 뷰에서 각 상자는 op와 그 안에 중첩된 call을 나타냅니다. 함수 call의 흐름을 시각화할 때 유용합니다. 이 뷰에서는 상자를 선택해 해당 op를 자세히 확인하고 call 경로를 필터링할 수 있습니다.

​

플레임 그래프

플레임 그래프 뷰는 실행 깊이와 지속 시간을 시간축으로 시각화합니다. 시간에 따른 성능 진단을 파악하는 데 유용합니다. 프레임을 선택해 들어가 하위 트레이스를 분리할 수 있습니다.

​

그래프 뷰

그래프 뷰에는 op 간의 계층적 관계가 표시됩니다. 부모/자식 관계를 이해하는 데 유용합니다.

​

트레이스 op의 세부 정보 보기

트레이스 트리에서 op를 선택하면 다음 패널에 해당 op의 세부 정보가 표시됩니다. 이 정보는 다음 탭으로 구성됩니다.

• Call: op 실행의 입력과 출력입니다.
• Code: call이 이루어질 때 사용된 코드입니다.
• Feedback: op에 대해 사용 가능한 피드백입니다. Weave 내에서 직접 또는 API를 통해 피드백을 제공할 수 있습니다.
• Scores: op에 대해 사용 가능한 점수입니다. call은 Evaluation을 실행해 점수가 매겨집니다.
• Summary: op에 대한 일반 정보입니다.
• Use: call을 프로그래밍 방식으로 조회하고 반응, 메모 또는 피드백을 추가하는 데 사용할 수 있는 코드 스니펫입니다.