인공지능 요원 관찰성: 흔적, 측정 및 리뷰에 대한 실용적인 가이드

인공지능 요원 관찰 가능성어떤 대리인이 시도한 것을 재구성할 수 있는 능력, 어떤 도구와 데이터를 사용했는가, 각 단계가 무엇을 반환했는가, 실행 비용이 얼마나 많은지, 최종 결과는 받아들여질 여부 지연과 오류만 표시하는 패시보드는 충분하지 않습니다. 에이전트 행동도 변동하기 때문에 팀들은 민감한 콘텐츠를 위한 추적, 평가, 비즈니스 결과, 검토 경로가 필요합니다.

조사 및 투명성: 이 가이드에는OpenTelemetry의 에이전트 관찰성 작업오픈텔레메트리 의미 협약, 그리고NIST AI 위험 관리 프레임워크2026년 9월 4일 검토되었습니다. 아래의 운영 모델은 오트머인드 성능 기준이 아닌 원래 편집 프레임워크입니다.

어떤 대원 관찰성이 응답해야 하는가

유용한 시스템은 엔지니어에게 관련 없는 로그에서 실행을 재구성하도록 요청하지 않고 6가지 질문에 답해야 합니다.

1. 어떤 목표, 지침, 모델, 그리고 입력 자료가 경주를 시작시켰습니까?
2. 어떤 모델 호출, 검색, 도구, 승인이 발생했습니다?
3. 각 단계에 대해 어떤 것을 받았고, 어떤 것을 돌아왔습니까?
4. 다시 시도, 정지, 지부, 또는 실패?
5. 그 결과 작업에 대한 품질의 임대 기준을 충족시켰는가?
6. 검토자가 제한된 데이터를 노출하지 않고 증거를 복제할 수 있습니까?

전통적인 응용 프로그램 모니터링은 여전히 중요합니다. 사용 가능성과 지연시간, 오류율은 서비스가 작동하는지 여부를 알려줍니다. 에이전트 관찰성은 서비스가 올바른 작업을 수행했는지 여부를 알 수 있는 작업 수준 컨텍스트를 추가합니다.

4층 관찰성 모델

이 층을 한 점으로 쪼개지 마세요. 빠른 경기가 나쁜 보고를 만들 수 있습니다. 지형된 보고서는 여전히 늦어질 수 있습니다. 받아들여진 배달물에는 아직은 결코 추적되지 않아야 할 데이터를 노출시킬 수 있습니다.

최소 이벤트 스케마

모든 에이전트와 도구가 발송할 수 있는 작은 이벤트 계약으로 시작하세요.

{
  "run_id": "run_123",
  "step_id": "step_07",
  "parent_step_id": "step_03",
  "operation": "tool.call",
  "tool": "document_search",
  "started_at": "2026-09-04T09:00:00Z",
  "duration_ms": 842,
  "status": "ok",
  "input_classification": "confidential",
  "content_recorded": false,
  "tokens": 0,
  "cost_usd": 0,
  "evaluation_refs": ["eval_19"]
}

안정적인 실행 및 부모 식별자는 순서 구조를 재구성 할 수 있습니다. 명령어, 모델, 도구 및 정책에 대한 레그리션을 기록하여 변경과 연결할 수 있습니다. 원시 명령어와 출력값을 선택적으로 유지하십시오. 메타 데이터는 종종 운영 분석에 충분하지만, 콘텐츠 캡처는 개인 정보 보호 및 보유 의무를 만듭니다.

네 개의 식별자를 구분하지 않도록 한다

• workflow_id지속 가능한 제품이나 비즈니스 프로세스의 이름을 지정합니다.
• workflow_version명령어, 도구, 모델 및 규칙의 테스트 된 구성을 식별합니다.
• run_id한 번의 실행에서 모든 단계를 연결합니다.
• thread_id연결된 링크는 대화 또는 더 긴 작업에 걸쳐 실행됩니다.

사용자 ID를 스레드 또는 실행 ID로 재사용하지 마십시오. 개별적으로 통제된 필드에서 아이덴티티를 유지하고 분석이 직접 식별을 필요로 하지 않는 자명 참조를 사용하십시오. 공상품이나 사업기록 ID를 정책이 허용하는 경우에만 첨부하십시오.

배포, 환경, 실험, 소스 세트 버전을 추가합니다. 이러한 차원은 방출 후 실패가 시작되었는지, 한 집단에 영향을 미쳤는지, 또는 오래된 지식 수집에 의존했는지에 대해 대답합니다.

에이전트 행동을 드러내는 매트릭스

수십 개의 차트를 추가하기 전에 컴팩트 세트를 추적하십시오:

• 작업 유형별로 완료 및 포기율
• 실행 및 각 도구의 중간 및 꼬리 지연시간
• 도구 실패, 재실험 및 재발률
• 단계, 토큰 및 승인된 결과당 비용
• 증거가 중요하다면 근거 또는 인용의 보급
• 인간 수정 시간 및 거부 이유
• 정책 차단, 승인 요청, 허가 거부

작업 흐름 버전 및 대표적인 작업에 따라 세그먼트 매트릭을 나열합니다. 집계 평균은 하나의 문서 유형이나 하나의 도구 통합이 반복적으로 실패한다는 것을 숨길 수 있습니다.

목표에서 결과로 한 번씩 달아

연구원 한 명이 10개의 승인된 자료에서 경쟁자 서명을 작성하도록 요청한 것을 생각해 보십시오. 최종 문서에는 한 경쟁자에 대한 잘못된 가격이 포함되어 있습니다. 유용한 흔적이 평론가에게 경주에서 뒤로 이동할 수 있도록 해야 합니다.

1. 결과 기록은 그 조항이 거절당했다는 것을 보여 주고 가격 오류를 표시하고 있다.
2. 최종 합성 기간은 어떤 추출된 가격 행이 문장을 제공했는지 확인합니다.
3. 검색 기간은 현재 가격 페이지보다 높은 편의에서 보관된 도움말 문서를 표시합니다.
4. 출처 메타 데이터는 유효 날짜 필드와 현재 공식 페이지를 선호하는 규칙이 없습니다.
5. 작업 흐름 버전은 최근 검색 변경으로 날짜 필터를 제거한 것을 보여줍니다.

수정 조치 는 단순히 "더 나은 모델을 사용"하는 것 이 아닙니다. 원천 우선순위 규칙을 복원 하고, 거부 된 실행을 평가 집합에 추가 하고, 다른 시간 감수적 인 주장을 테스트 하고, 기록 된 페이지에서 검색을 모니터링 합니다. 관찰가능성은 눈에 보이는 결함을 테스트 할 수 있는 변화와 연결하면 가치를 창출합니다.

연결된 추적이 없으면 팀은 단일 가격을 편집하거나 작업을 다시 시도하거나 기본 검색 실패가 남아 있는지 알지 않고 프롬프트를 수정할 수 있습니다.

디자인은 의사 결정에 관한 영역입니다

모든 보조 기능이 스파인일 때 추적이 읽히지 않게 되고 전체 실행이 하나의 스파인일 때 미완성합니다. 도구 의미 있는 작업 단위:

• 목표수입과 정책 분류
• 계획의 제작 또는 노선 선택
• 각 모델 호출
• 각 검색 질서와 반환된 소스 세트
• 모든 외부 도구 호출 및 결과
• 상태나 기억은 읽고 쓰는 것
• 다시 시도하고, 뒤로 물러나고, 결정을 멈추게 하는 것
• 인체의 승인 요청 및 응답
• 유물 제작 및 검증
• 최종 배달 및 사용자 결과

부모와 자녀 관계를 둥지를 틀어 작업에 사용하며 원인을 공유하지만 직접 호출 스택이 아닌 비동이 작업을 위해 링크를 사용하십시오. 모든 스파인마다 안정적인 운영 이름을 붙여주세요. 도구 이름, 작업 흐름 버전 및 문서 클래스 같은 변수 값을 속성으로 넣으면 수천 개의 메트릭 이름을 생성하지 않고 필터링 할 수 있습니다.

숨겨진 사유가 아니라 충분한 맥락을 기록하라

목표는 관찰 가능한 입력, 출력, 결정 및 상태 전환을 캡처하는 것입니다. 사적인 사슬의 생각이나 내적 논리에 의존하지 마십시오. 같은 경로 필드selected_tool=document_search, 더 허용된 대안과 도구 결과, 제한없는 추론 성사보다 더 유용하고 관리 할 수 있습니다.

실패한 결정에 대해, 그 결정을 지배해야 했던 정책이나 평가자, 그 시점에서 사용 가능한 증거와 그 결과의 조치를 기록하십시오. 이것은 모든 흔적을 민감한 이야기로 바꾸지 않고 디버깅을 지원합니다.

실제 실패 모드에서 평가들을 구성

유창성과 도움이 되는 것 같은 일반적인 측정값은 거의 충분하지 않습니다. 업무 흐름 계약에서 평가 차원을 정의하십시오.

연구소시에 있어서 유용한 방면은 다음과 같은 것들이 될 수 있습니다.

3가지 평가 단계를 사용하세요:

1. **발매 전 회귀:**작업 흐름 버전이 선보이는 전에 실행된 고정된 경우
2. **생산 샘플링:**실제 실행의 정의된 비율은 자동 또는 인간 검토를 받는다.
3. **실패의 홍보:**거부, 수정 또는 비정상적인 실행은 소형된 회귀 사례가 됩니다.

평가 명령어, 평가 모델, 라브리크 및 데이터 세트를 버전으로 유지하십시오. 판사가 바뀌면, 측정값이 일정해졌듯이 그 점수를 오래된 기준으로 비교하지 마십시오.

업무 흐름에 대한 서비스 목표를 정의

응용 프로그램 사용시간은 에이전트가 유용한 작업을 완료하는지 여부를 설명하지 않습니다. 작업 수준 서비스 지표를 추가:

• 유물 생산을 하는 지원 가능한 운행의 비율
• 실질적인 수정 없이 받아들여진 비율
• 요청에서 검토 준비된 결과까지의 시간
• 올바른 소유자에게 증가한 비율
• 인정된 결과의 최대 비용
• 출처 지원된 작업에 대한 인용 또는 증거 보급;
• 정책에 따라 완성률

작업 흐름 클래스에 따라 목표를 설정합니다. 5분간의 연구 메모와 10초의 지원 답변은 하나의 지연 목표가 공유되지 않아야합니다. 유효하지 않은 입력값을 문서화된 규칙으로만 배제하거나, 팀들은 어려운 오류를 재분류함으로써 신뢰성을 더 잘 만들 수 있습니다.

사람들이 행동할 수 있는 증상에 대한 경고

낮은 평가를 받는 모든 점수를 위해 누군가에게 호소하는 것을 피하십시오. 알림은 제한된 운영 대응을 식별해야 합니다.

트렌드, 결함 티켓, 긴급한 사건의 페이지를 확인하는 데시보드를 사용하십시오. 만약 각 평가 변동이 운영자를 깨우면, 경고 피로움이 실제로 개입이 필요한 사건을 숨길 것입니다.

샘플링 전략을 선택

전체 메타데이터 캡처는 각 실행에 충분하게 저렴할 수 있지만, 전체 콘텐츠 저장 및 모델 기반 평가는 그렇지 않습니다. 샘플링 규칙을 조합:

• 무작위 표본극적인 실패를 선택하지 않고 정상적인 품질을 추정합니다.
• 위험 샘플링결과적인 작업 흐름에서 더 많은 실행을 검토합니다.
• 이벤트 샘플링오류, 정책 차단, 비용이 많이 드는 루프 및 사용자 거부를 유지합니다.
• 변화 샘플링모델, 프롬프트, 검색 또는 도구 출시 후 커버리지를 증가시킵니다.
• 세그먼트 샘플링희귀 언어, 문서 유형, 사용자 역할 및 가장자리 케이스의 출현을 보장합니다.
• 추적 일관된 샘플링연결이 끊어지 않는 대신 전체 다단계 경로를 유지합니다.

명칭을 문서화해 주세요. 만약 패시보드에서 95%의 합격률이 성공적으로 완료된 실행에서만 나타난다면, 버려진 작업과 차단된 작업은 측정에서 사라졌습니다.

시각장애인 점들을 위한 샘플을 검토하세요. 느린 또는 실패한 경주만을 유지하는 규칙은 일상적인 품질을 추정할 수 없으며 순수한 무작위 샘플링은 희귀한 고영향 사건들을 놓칠 수 있습니다. 관련 기록 정책에 따라 정기 샘플링에 따라 확인된 사건들을 보존한다.

텔레메트리 및 사용자 피드백을 조정

명시적인 거부, 수정, 재시험, 승화, 지원 티켓, 그리고 받아들여진 유물 신호를 실행에 연결합니다. 대화가 끝나면 만족감을 느끼지 마세요.

잘못된 소스, 부족한 요구 사항, 오래된 정보, 안전하지 않은 행동, 잘못된 형식, 너무 느리거나 너무 비싸지 같은 구조화된 피드백 이유를 만들어보십시오. 컨텍스트에 대한 선택적 자유 텍스트를 유지하지만 모든 분석을 수동 읽기에 의존시키는 것을 피하십시오.

피드백이 자동 평가자에 반하는 경우, 사건을 검사하십시오. 사용자는 잘못될 수도 있고, 평가자는 잘 정해지지 않을 수도 있고, 작업 흐름은 실제 결과에 맞지 않는 기술 항목을 최적화 할 수도 있습니다. 이러한 의견 충돌은 가치 있는 평가 사례입니다.

에이전트 사건 검토를 실시

사건 검토는 무죄가 없고 추적가능해야 합니다.

사용자 영향 및 영향을 받은 실행:
탐지 시간 및 신호:
작업 흐름, 프롬프트, 모델, 도구 및 정책 버전:
예상되는 행동:
관찰된 순서:
출처, 상태 또는 허가:
기존 평가에서 왜 그 결과가 나오지 않았는지:
즉시 격리:
수정 변경 및 소유자:
회귀 사례는 다음과 같이 추가되었습니다.
변화 모니터링:
후속 날짜:

기동 오류와 시스템적 기여자를 분리하십시오. 모델은 무효의 주장을 발급할 수 있지만 도구 계약은 또한 그것을 받아들일 수 있고, 재실험 루프는 그것을 반복할 수 있으며, 평가에서는 도구 결과를 무시할 수 있습니다. 첫 번째 눈에 보이는 장애만 해결하면 시스템이 취약해집니다.

4단계로 관찰가능성을 구현

1단계: 단일 경주 구조

도구 1 제한된 작업 흐름 끝에서 끝 엔지니어와 도메인 리뷰어가 추적에서 실패한 실행을 독립적으로 설명할 수 있음을 확인합니다.

단계 2: 품질 연결

결정적 검증, 검토자 표지, 그리고 받아들여진 또는 거부된 결과를 첨부하십시오. 관찰된 실패로부터 작은 회귀 집합을 만들어내십시오.

3단계: 생산량에서 작동

샘플링, 저장, 편집, 대시보드 및 실행 가능한 알림을 정의하십시오. 텔레메트리 비용 측정 및 추적이 제한된 데이터를 노출하지 않는 것을 확인합니다.

4단계: 체계적으로 개선

변경 사항을 우선적으로 설정하고 고정된 데이터 세트 버전의 버전을 비교하고 생산에서 효과를 확인하기 위해 실패 클러스터를 사용합니다. 오래된 측정값을 검토하고 더 이상 의사결정을 주도하지 않는 텔레메트리를 제거합니다.

주간 검토 템플릿

작업 흐름 및 버전:
예상된 사용자 결과:
대표적인 성공 경주:
대표적인 실패 또는 수정된 실행:
최대 실패 모드:
이전 검토 이후의 변경 사항:
지연 및 비용 변화:
평가 전환:
개인정보 보호 또는 허가 사건:
다음 주엔 한 실험:
소유자 및 검토 날짜:

샘플 실패, 평균 뿐만 아니라 적어도 한 번의 순수한 경주, 한 번의 비싼 경주, 한 번의 거절된 결과, 그리고 한 번의 인간 개입이 필요한 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 경주 그 세트는 녹색 상태 패널이 놓친 행동을 드러냅니다.

개인정보 보호 및 보안 경계가

관찰가능성 데이터는 명령어, 파일 이름, 검색된 문장, 도구 논쟁, 자격증, 개인 데이터 및 비즈니스 결정이 포함될 수 있습니다. 생산 자료로 분류해 보세요. 수출 전에 비밀을 다시 작성하고 메타 데이터에서 콘텐츠를 분리하고 접근을 제한하고 저장을 정의하고 민감한 흔적을 검사한 기록을 작성합니다.

적어도 3개의 캡처 모드를 만들어 보세요. 메타데이터만 사용하는 모드는 시간, 상태, 버전, 분류 및 해시를 기록합니다. 편집된 모드는 자동 필터링 후 제한된 내용을 유지합니다. 제한된 진단 모드는 이름 붙여진 접근으로 짧은 기간 동안 승인된 내용을 캡처합니다. 개별 개발자가 아닌 작업 흐름이 데이터 분류에서 모드를 선택해야 합니다.

테레메트리가 처리 과정을 떠나기 전에 테스트 편집 백엔드 설정은 이미 전송된 비밀을 보호할 수 없습니다. 또한 파생된 데이터를 확인하십시오. 문서 제목, 도구 аргумент, 임베디션, 오류 메시지 및 평가자 설명은 주요 명령어를 제거 할 때에도 민감한 콘텐츠를 나타낼 수 있습니다.

성립 시점 체크리스트

[ ] 모든 생산 실행은 안정적인 작업 흐름과 버전 식별자를 가지고 있습니다.
[ ] 모델, 검색, 도구, 상태, 승인, 그리고 유물 단계가 연결되어 있습니다.
[ ] 민감한 내용의 캡처는 문서화된 분류 규칙을 따르고 있습니다.
[ ] 받아들여지고 수정되고 거부되고 버려진 결과들은 흔적을 띠고 있습니다.
[ ] 평가들은 업무 계약에 반영되어 버전으로 되어 있다.
[ ] 실패한 생산 실행은 회귀 데이터 세트에 촉진될 수 있습니다.
[ ] 알레르트는 소유자와 정의된 첫 번째 반응이 있습니다.
[ ] 저장, 접근, 수출 및 삭제 테스트를 거쳐 왔습니다.
[ ] 비용에는 모델 토큰뿐만 아니라 텔레메트리 저장 및 평가도 포함됩니다.
[ ] 도메인 리뷰어는 엔지니어링 도움 없이 결과를 재구성할 수 있습니다.

더 넓은 위협 모델에 대해서는 인공지능 에이전트 보안 체크리스트- 그래 구성 요소의 경계 및 오케스트레이션 계약에 대해서는 인공지능 에이전트 건축 가이드- 그래

FAQ

인공지능 요원 모니터링과 관찰 가능성의 차이점은 무엇입니까?

모니터링 보고서는 실패, 지연 및 비용과 같은 알려진 신호를 보고합니다. 관찰성은 당신이 예측하지 않은 행동을 조사하는 데 충분한 연결된 증거를 제공합니다. 도구 선택, 재시험, 맥락, 평가 및 인간 수정 등.

모든 요청과 응답을 저장해야 하는가?

• 아니, 아니 운영 및 감사 목적으로 필요한 최소한의 데이터를 저장합니다. 가능한 경우 메타데이터와 해시를 선호하고 비밀을 편집하고 작업 분류에 따라 콘텐츠 캡처를 제한하고 저장 기간을 설정합니다.

새로운 팀이 어떤 기준으로 시작해야 할까요?

한 가지 제한된 작업 흐름에 대한 허용된 완료 속도와 수정 시간으로 시작하십시오. 그 결과를 위해 비용, 지연 및 실패 모드 매트릭을 추가합니다.

관찰성이 오프라인 평가에 대가되는가?

• 아니, 아니 공개 전에 알려진 사례를 오프라인 평가 테스트. 생산 관찰성은 실제 입력, 도구 및 사용자가 출시 후 어떻게 행동하는지 보여줍니다. 신뢰할 수 있는 팀이 둘 다 사용합니다.

얼마나 많은 생산 트래픽을 샘플링해야 하는가?

보편적인 비율은 없습니다. 저 위험 메타데이터를 광범위하게 캡처하고, 그 다음 용량, 위험, 비용 및 실패 빈도에 따라 콘텐츠 및 평가 샘플링을 선택합니다. 승인된 정책에 따라 확인된 사건들을 항상 유지하세요.

얼마나 오랫동안 흔적을 유지해야 할까요?

디버깅, 평가, 감사 또는 계약 목적이 필요한 한만 보관해야 합니다. 원자재에 대한 짧은 기간, 집계된 측정기에는 더 긴 기간, 확인된 사건에 대한 문서화된 수치를 사용한다.

누가 에이전트 추적을 검토해야 할까요?

엔지니어들은 실행 및 통합 실패를 검토합니다. 도메인 소유자는 작업 품질을 검토합니다. 보안 및 개인 정보 보호 팀은 관련 사건을 검토합니다. 역할 기반 접근은 민감한 콘텐츠를 광범위하게 탐색하는 것을 방지해야 합니다.

관찰성이 직접적으로 신호를 개선할 수 있을까요?

증거가 아니라 자동적인 수정이 됩니다. 실패 클러스터를 사용하여 변화를 제안하고 버전에 적용된 경우에 테스트하고, 이득이 다른 곳에서 회귀를 일으키지 않는다는 것을 확인합니다.

첫 번째 데시보드는 무엇일까요?

하나의 작업 흐름에 대해서는 유효한 실행, 승인된 완료, 거부 이유, 수정 시간, 지연시간, 비용, 확장 및 현재 작업 흐름 버전을 표시합니다. 모든 합액을 검사 가능한 경로로 연결합니다.

품질을 측정하기 위해 사용자 피드백이 충분합니까?

• 아니, 아니 피드백은 가치 있지만, 완전하지 않으며 스스로 선택됩니다. 작업 검증, 대표적인 샘플링, 도메인 검토 및 관찰된 결과와 결합하십시오.

실패한 경기는 항상 유지되어야 하는가?

조사 및 정책에 따라야 할 증거를 유지하지만 데이터 최소화, 액세스 및 보유 규칙을 여전히 적용합니다. 실패는 자동으로 민감한 내용의 무기한 저장을 정당화하지는 않습니다.

Ottermind에서 범위가 제한되고 출처로 뒷받침되는 워크플로를 실행하세요. 결과물을 검토하고 첫 번째 평가 세트가 될 수정 사항을 기록할 수 있습니다.