Skip to content

[E2E] 제품 대표 복합 요청 시나리오·데모 런북 완성 #10

Description

@hywznn

한 줄 목표

로그인부터 AiRun, 승인, Worker Link, 증빙·완료까지의 제품 대표 E2E 시나리오와 장애 복구를 자동 검증하고 demo runbook을 완성합니다.

이 문서의 Product E2E는 Server 업무 흐름 검증입니다. fowoco/knowledge의 Golden Case와 fowoco/ai의 모델 성능 평가는 별도 책임입니다.

제품 대표 시나리오

  1. HR login과 tenant context 확인
  2. 근로자·체류 만료일 등록
  3. POST /api/v1/ai-runs: “응웬반A 체류연장 준비하고 여권 사본도 요청해줘”
  4. 202 + aiRunId, 기술 상태 poll
  5. EXPIRY_RENEWAL, DOCUMENT_REQUEST 후보와 핵심값 확인
  6. candidate-decisions로 채택한 후보만 Task 생성
  7. READY_FOR_REVIEW 전 또는 승인 전 Worker Link 발급 실패 확인
  8. HR 승인 후 Worker Link 발급
  9. 근로자 확인·질문·문서 제출
  10. HR이 evidence와 외부 제출 여부를 기록하고 완료
  11. Task activities, Audit, AiRun version/trace 재구성

자동 테스트 범위

  • Testcontainers PostgreSQL + FakeAiRuntimeClient Product E2E
  • Remote AI Runtime contract smoke는 일반 CI와 분리
  • NEEDS_INFO, REVIEW_REQUIRED, invalid schema, requestId mismatch
  • tenant IDOR·role violation·승인 version 충돌
  • Link 만료·회전·폐기·rate limit·파일 제한
  • AI Runtime timeout/429/5xx와 durable retry 소진
  • 동일 Idempotency-Key와 candidate decision 재전송의 중복 방지
  • application restart·outbox handler 실패·중복 event
  • 개인정보·token·secret이 log/error/metric에 없는지 검사

실패 기대 결과

상황 기대 결과
AI Runtime timeout 제한된 durable retry 후 FAILED, 수동 입력 가능, 자동 발송 없음
잘못된 Runtime JSON 후보 저장 금지, 안전한 오류와 requestId
누락정보·낮은 신뢰도 SUCCEEDED + NEEDS_INFO/REVIEW_REQUIRED, 자동 승인 없음
Server restart 저장된 Run/Event 복구, 중복 Task 없음
중요값 수정 기존 승인 무효, 재승인 전 전달·완료 차단

Demo runbook

  • demo URL, test account 전달, health/readiness 확인
  • 입력 문장과 화면별 기대값
  • aiRunId/requestId/traceId 확인
  • AI Runtime 장애 시 수동 입력·retry·복구 순서
  • Link rotation, seed reset, test token 폐기
  • 화면·로그에 노출하면 안 되는 값

완료 조건

  • Fake Runtime Product E2E와 장애 시나리오가 반복 통과합니다.
  • 배포 환경에서 Remote Runtime smoke가 통과합니다.
  • 장애·중복·재시작에도 자동 승인/발송과 중복 Task가 없습니다.
  • 처음 참여한 팀원이 runbook만으로 demo와 복구를 재현합니다.

관계

Metadata

Metadata

Labels

area:ai-integrationServer ↔ AI Runtime 내부 계약·Client·검증·trace 연동 영역; Prompt·모델·Provider 구현은 ai 저장소 소유area:infraServer Dockerfile·DB 설정·CI hook·배포 가능성 영역; 통합 인프라 운영은 infra 저장소와 조율area:serverSpring Boot API·도메인·DB·tenant·Task Workflow 영역; Prompt·모델·Provider 구현 제외priority:P0MVP 진행을 막는 최우선 핵심 작업status:blocked선행 작업이나 외부 조건 때문에 현재 진행할 수 없는 작업type:tooling테스트·검증·CI·개발 편의 도구 작업

Type

No type

Projects

No projects

Relationships

None yet

Development

No branches or pull requests

Issue actions