Evidence Ledger

Evidence ledger는 agent가 claim을 만들기 전에 무엇을 확인했는지 기록합니다. Final answer가 memory, intent, 또는 실제 requirement를 덮지 않는 passing check에 기대지 않게 막습니다.

Claim 에 대해 ledger는 아래를 저장해야 합니다.

여기서 는 requirement, 는 evidence, 는 verification method, 는 check의 time 또는 state입니다.

Evidence type

Evidence증명하는 것
File diff무엇이 바뀌었는지
Command outputbuild, test, lint, scan result
Rendered page checkgenerated output이 link/display되는지
Source citationfact가 grounded되어 있는지
Review notehuman 또는 second-agent judgment
Run artifactconfig, log, metric, prediction, checkpoint

Ledger field

FieldMeaning
Requirement확인 중인 explicit condition
Evidence sourcefile, command, rendered output, source document, reviewer
Coverageevidence가 무엇을 증명하고 무엇을 증명하지 않는지
Resultpass, fail, inconclusive, skipped, blocked
Freshnessevidence가 current state에서 왔는지
Public boundaryevidence를 quote할 수 있는지, summarize해야 하는지

Minimal Ledger Pattern

RequirementEvidenceResultLimit
Links resolveinternal link checker outputpass/faildoes not prove content accuracy
Site buildsnpx quartz build exit codepass/faildoes not prove remote deploy
Public deploy completedGitHub Actions run statuspass/faildoes not prove browser cache updated
Sensitive details absenttargeted rg scan plus reviewpass/failonly covers searched patterns
Paper claim is groundedsource inspectionpass/failonly covers inspected claim

확인할 것

  • 모든 completion claim이 evidence를 가리키는가?
  • evidence가 current, direct, broad enough한가?
  • skipped 또는 impossible check를 not verified로 표시하는가?
  • passing build를 content accuracy proof로 과도하게 쓰지 않는가?
  • private log, path, hostname, account name, unpublished result를 생략하는가?