Chapter 01. 애플리케이션 테스트 케이스 설계

1. 소프트웨어 테스트 필요성 (발예향)

• 오류 발견 관점
• 오류 예방 관점
• 품질 향상 관점

2. 소프트웨어 테스트 원리 (결완초집 살정오)

• 테스팅은 결함이 존재함을 밝히는 것
  • 결함이 없다는 것을 증명할 수는 없음
  • 결함을 줄이는 활동
• 완벽한 테스팅은 불가능
  • 무한경로, 무한입력으로 인한 테스트 어려움
• 개발 초기에 테스팅 시작
  • 조기 테스트 설계시 테스팅 결과를 단시간에 알 수 있고, 테스팅 기간 단축, 재작업을 줄여 개발 기간 단축 및 결함 예방
• 결함 집중
  • 적은 수의 모듈에서 대다수의 결함 발견
  • 소프트웨어 테스트에서 오류의 80%는 전체 모듈의 20%내에서 발견
  • 파레토 법칙(Pateto Principle)의 내용인 80 대 20 법칙 적용
• 살충제 패러독스
  • 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그를 찾기 못함
• 테스팅은 정황에 의존적
  • 소프트웨어의 성격에 맞게 테스트 실시
• 오류-부재의 궤변
  • 요구사항을 충족시키지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없음

3. 소프트웨어 테스트 프로세스

• 테스트 계획 -> 테스트 분석 및 디자인 -> 테스트 케이스 및 시나리오 작성 -> 테스트 수행 -> 테스트 결과 평과 및 리포팅

4. 소프트웨어 테스트 산출물

• 테스트 계획서
• 테스트 베이시스
  • 분석, 설계 단계의 논리적은 Case로 테스트 설계를 위한 기준이 되는 문서 (요구사항 명세서, 관련 기준 또는 표준 등)
• 테스트 케이스
• 테스트 슈트
  • 시나리오가 포함되지 않은 단순한 테스트 케이스들의 모음
• 테스트 시나리오
• 테스트 스크립트
  • 테스트 케이스의 실행 순서를 작성한 문서
  • 테스트 스텝, 테스트 절차서라고도 함
• 테스트 결과서

 

5. 테스트 기법

• 화이트 박스 테스트(White-Box Test)
  • 화이트 박스 테스트는 각 으용 프로그램의 내부 구조와 동작을 검사하는 소프트웨어 테스트
  • 내부 소스 코드의 동작을 개발자가 추적할 수 있기 때문에, 동작의 유효성뿐만 아니라 실행되는 과정을 확인할 수 있음
• 블랙박스 테스트(Black-Box Test)
  • 블랙박스 테스트는 프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트(기능 테스트)
  • 기능 및 동작 위주의 테스트를 진행하기 때문에 내부 구조나 작동 원리를 알지 못해도 가능

6. 화이트박스 테스트 유형 (구결조 조변다 기제데)

• 구문 커버리지 = 문장 커버리지 (Statement Coverage)
  • 구문 커버리지는 프로그램 내의 모든 명령문을 적어도 한번 수행하는 커버리지
  • 조건문 결과와 관계 없이 구문 실행 개수로 계산
• 결정 커버리지 = 선택 커버리지 (Decision Coverage) = 분기 커버리지 (Branch Coverage)
  • 결정 커버리지는 결정 포인트 내의 전체 조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 커버리지
  • 구문 커버리지를 포함함
• 조건 커버리지 (Condition Coverage)
  • 조건 커버리지는 결정 포인트 내의 각 개별 조건식이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 테스트 커버리지
  • 구문 커버리지를 포함함
• 조건/결정 커버리지 (Condition/Decision Coverage)
  • 조건/결정 커버리지는 전체 조건식 뿐만 아니라 개별 조건식도 참 한 번, 거짓 한 번의 결과가 되도록 수행하는 테스트 커버리지
• 변경 조건/결정 커버리지 (Modified Condition / Decision Coverage)
  • 변경 조건/결정 커버리지는 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향싱시킨 커버리지
• 다중 조건 커버리지 (Multiple Condition Coverage)
  • 다중 조건 커버리지는 결정 조건 내 모든 개별 조건의 모든 가능한 조합을 100% 보장하는 커버리지
• 기본 경로 커버리지 = 경로 커버리지 (Base Path Coverage)
  • 기본 경로 커버리지는 수행 가능한 모든 경로를 테스트 하는 기법
• 제어 흐름 테스트 (Control Flow Testing)
  • 제어 흐름 테스트는 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스팅하는 기법
• 데이터 흐름 테스트 (Data Flow Testing)
  • 데이터 흐름 테스트는 제어 흐름 그래프에 데이터 사용 현황을 추가한 그래프를 통해 테스트 하는 기법

7. 블랙박스 테스트 유형 (동경결상 유분페원비)

• 동등분할 테스트 = 동치 분할 테스트, 균등 분할 테스트, 동치 클래스 분해 테스트 (Equivalence Partitioning Test)
  • 동등 분할 테스트 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트하는 기법
• 경곗값 분석 테스트 = 한곗값 테스트 (Boundary Value Analysis Testing)
  • 경계값 분석 테스트는 등가 분할 수 경계값 부분에서 오류 발생 확률이 높기 때문에 경곗값을 포함하여 테스트 케이스를 설계하여 테스트 하는 기법
• 결정 테이블 테스트 (Decision Table Testing)
  • 결정 테이블 테스트는 요구사항의 논리와 발생 조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트하는 기법
• 상태 전이 테스트 (State Transition Testing)
  • 상태 전이 테스트는 테스트 대상/시스템이나 객체의 사앹를 구분하고, 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
• 유스케이스 테이스 (Usecase Test)
  • 유스케이스 테스트는 시스템이 실제사용되는 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스르 명세화하여 수행하는 테스트 기법
• 분류 트리  테스트 (Classification Tree Method Testing)
  • 분류 트리 테스트는 SW의 일부 또는 전체를 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
• 페어와이즈 테스트 (Pairwise Testing)
  • 페어와이즈 테스트는 테스트 데이터 값들 간에 최소한 한 번씩을 조합하는 방시깅며, 이는 커버해야 할 기능적 범위를 모든 조합에 비해 상대적으로 적은 양의 테스트 세트를 구성하기 위한 테스트 기법
• 원인-결과 그래프 테스트 (Cause-Effect Graphing Testing)
  • 원인-결과 그래프 테스트는 그래프를 활용하여 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여  효용성이 높은 테스트케이스를 선정하여 테스트하는 기법
• 비교 테스트 (Comparison Testing)
  • 비교 테스트는 여러 버전의 프로그램에 같은 입력값을 넣어서 동일한 결과 데이터가 나오는지 비교해보는 테스트 기법

8. 테스트 시각에 따른 분류

• 검증 (Verification)
  • 소프트웨어 개발 과정 테스트
  • 올바른 제품을 생산하고 있는지 검증
• 확인 (Validation)
  • 소프트웨어 결과를 테스트
  • 만들어진 제품이 제대로 동작하는지 확인

9. 테스트 목적에 따른 분류 (회안성 구화병)

• 회복 테스트 (Recovery Testing) :시스템에 고의로 실패를 유도하고, 시스템의 정상적 복귀 여부를  테스트하는 기법
• 안전 테스트 (Security Testing) : 불법적인 소프트웨어가 접근하여 시스템을 파괴하지 못하도록 소스 코드 내의 보안적인 결함을 미리 점검하는 테스트 기법
• 성능 테스트 (Performance Testing) : 사용자의 이벤트에 시스템이 응답하는 시간, 특정 시간 내에 처리하는 업무량, 사용자 요구에 시스템이 반응하는 속도 등을 측정하는 테스트 기법
• 구조 테스트 (Structure Testing) : 시스템의 내부 논리 경로, 소스 코드의 복잡도를 평가하는 테스트 기법
• 회귀 테스트 (Regression Testing) : 회귀 테스트는 오류를 제거하거나 수정한 시스템에서 오류 제거와 수정에 의해 새로이 유입된 오류가 없는지 확인하는 일종의 반복 테스트 기법
• 병행 테스트 (Parallel Testing) : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교하는 테스트 기법

10. 성능 테스트 유형 (부스스내)

• 부하 테스트 (Load Testing)
  • 시스템에 부하를 계속 증가시키면서 시스템의 임계점을 찾는 테스트
  • 부하 테스트를 통해 병목 지점을 찾아서 병목현상을 제거하는 과정 반복
• 스트레스 테스트 = 부하 테스트 (Stress Testing)
  • 시스템 처리 능력 이상의 부하, 즉 임계점 이상의 부하를 가하여 비정상적인 상황에서의 처리를 테스트
• 스파이크 테스트 (Spike Testing)
  • 짧은 시간에 사용자가 몰릴 때 시스템의 반응 측정 테스트
• 내구성 테스트 (Endurance Testing)
  • 오랜 시간 동안 시스템에 높은부하를 가하여 시스템 반응 테스트

11 테스트 종류에 따른 분류 (명구경)

• 명세 기반 테스트 (블랙박스 테스트  )
• 구조 기반 테스트 (화이트박스 테스트)
• 경험 기반 테스트 (블랙박스 테스트)

12. 리뷰의 유형

• 관리 리뷰 (Management Review)
  • 프로젝트 진행 상황에 대한 전반적인 검토를 바탕으로 범위, 일정 인력 등에 대한 통제 및 의사 결정을 지원하는 리뷰
• 기술 리뷰 (Technical Review)
  • 정의된 계획 및 명세를 준수하고 있는지에 대한검토를 수행하는 리뷰
  • 변경 사항이 적절하게 구현되었는지를 평가하고, 여러 대안을 추천하거나 대안을 검토
• 인스펙션 (Inspection) = 동료 검토 (Pee Review)
  • 소프트웨어 요구, 설계, 원시 코드 등의 저작자 외의 다른 전문가 또는 팀이 검사하여 문제를 식별하고 문제애 대한 올바른 해결을 찾아내는 형식적인 검토 기법
• 워크 스루 (Walk Throughs)
  • 검토자료를 회의 전에 배포해서 사전 검토한 후 짧은 시간 동안 회의를 진행하는 형태로 리뷰를 통해 문제 식별, 대안 조사, 개선 활동, 학습 기회를 제공하는 가장 비형식적인 검토 방법
• 감사 (Audit)
  • 소프트웨어 제품 및 프로세스가 규제, 표준, 가이드라인, 계획, 절차를 준수하고 있는지를 독립적으로 평가하는 기법
  • 감사는 소프트웨어 제품의 제공자, 소비자, 또는 FDA와 같은 제 3기관이 수행 가능

13. 테스트 커버리지 유형 (기라코)

• 기능 기반 커버리지
  • 테스트 대상 애플리케이션의 전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능의 수를 측정하는 방법
  • 100% 달성을 목표로 하며, 일반적으로 UI가 많은 시스템의 경우 화면 수를 모수로 사용
• 라인 커버리지
  • 애플리케이션 전체 소스 코드의 라인 수를 모수로 테스트 시나리오가 수행한 소스 코드의 라인 수를 측정하는 방법
  • 단위 테스트에서는 이 라인 커버리지를 척도로 삼음
• 코드 커버리지
  • 소프트웨어 테스트 충분성 지표 중 하나
  • 소스 코드의 구문, 조거느, 결정 등의 구조 코드 자체가 얼마나 테스트 되었는지를 측정하는 방법
  • 일반적으로 테스트 커버리지라고 하면 코드 커버리지를 말함

14. 테스트 커버리지 구성

• 구문 (문장, Statement)
• 결정 (Decision)
• 조건 (Condition)
• 결정 포인트 (Decision Point)

15. 경험기반테스트 유형 (탐오체특)

• 탐색적 테스트 (Exploratory Test)
  • 테스트 스크립트 또는 테스트 케이스를 문서로 작성하지 않고 경험에 바탕을 두고 탐색적으로 기능을 수행해 보면서 테스트하는 기법
  • 테스트 대상에 대한 이해, 테스트 케이스 설계, 테스트 실행을 병행하는 방식
• 오류 추정 (Error Guessing)
  • 개발자가 범할 수 있는 실수를 추정하고 이에 따른 결함이 검출되도록 테스트 케이스를 설계하여 테스트하는 기법
  • 동등분할이나 경곗값 분석 같은 명세 기반 테스트 방법과 함께 사용 가능
• 체크리스트 (Checklist)
  • 테스트하고 평가해야 할 내용과 경험을 분류하여 나열한 이후 하나씩 확인하는 테스트기법
  • 체계적 도출보다는 경험과 노하우를 정리하고 목록화하여 재사용 목적으로 활용
• 특성 테스트 (Characteristics Test)
  • 국제 표준인 ISO/IEC 9126 등의 품질 모델에 있는 품질 특성을 염두에 두고 이를 근간으로 경험적으로 테스트 케이스를 설계하고 테스트하는 기법

16. 테스트 오라클 종류 (참샘휴일)

• 참(True) 오라클
  • 모든 입력값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
• 샘플링(Sampling) 오라클
  • 특정한 몇 개의 입력값에 대해서만 기대하는 결과를 제공해 주는 오라클
• 휴리스틱(Heuristic) 오라클
  • 샘플링 오라클을 개선한 오라클로, 특정 입력값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱(추정)으로 처리하는 오라클
• 일관성 검사(Consistent) 오라클
  • 애플리케이션 변경이 있을 때, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클

17. 테스트 레벨 종류 (단통 시인)

종류	설명	기법
단위 테스트	사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트하는 단계	자료구조 테스트, 실행 경로 테스트, 오류 처리 테스트, 인터페이스 테스트
통합 테스트	다위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호작용을 검증하는 테스트 단계	빅뱅 테스트, 샌드위치 테스트, 상향식 테스트, 하향식 테스트
시스템 테스트	통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증하는 테스트 단계	기능/비기능 요구사항 테스트
인수 테스트	계약상의 요구사항이 만족되었는지 확인하기 위한 테스느 단계	계약 인수, 규정 인수, 사용자 인수, 운영상의 안수, 알파/베타 테스트