데이터 전환 / 데이터 검증 / 오류 데이터 측정 및 정제

데이터 전환

 

데이터 전환이란 기존 정보 시스템에 있는 데이터를 '추출(Extraction)'하고, '변환(Transformation)'한 후, 새로운 정보 시스템에 '적재(Loading)'하는 과정을 말합니다. 한 단어로 줄여서 ETL(Extraction, Transformation, Loading)이라고 합니다. 또는 데이터 이행, 데이터 이관이라고도 합니다.

 

 

 

데이터 전환 계획서란 데이터 전환을 하기 위한 계획을 기록하는 문서입니다.

 

 

 

 

 

---

데이터 검증

 

데이터 검증이란 데이터 전환이 정상적으로 수행됐는지 확인하는 과정입니다. 데이터 검증은 다음 두 가지 기준에 따라 분류할 수 있습니다.

 

검증 방법에 따른 분류
로그 검증	기본 항목 검증	응용 프로그램 검증	응용 데이터 검증	값 검증
추출, 전환, 적재 로그 검증	별도로 요청된 검증 항 검증	응용 프로그램을 통해 정합성을 검증	업무 규칙을 기준으로 정합성을 검증	숫자 항목, 데이터의 범위, 속성 변경을 검증

 

 

검증 단계에 따른 분류
추출	전환	DB 적재	DB 적재 후	전환 완료 후
원천 시스템 데이터에 대한 정확성 확인	매핑 정의서 오류 확인	SAM 파일 적재 과정에서의 오류 확인	적재 완료 후 정합성 확인	추가 검증 과정을 통한 정합성 확안
로그 검증			기본 항목 검증	응용 프로그램 검증 응용 데이터 검증

 

 

 

 

---

오류 데이터 측정 및 정제

 

오류 데이터 측정 및 정제의 절차는 아래와 같습니다.

 

데이터 품질 분석  →  오류 데이터 측정  →  오류 데이터 정제

 

 

 

 

오류 상태는 아래 6가지로 분류할 수 있습니다.

Open	Assigned	Fixed	Closed	Deferred	Classified
오류 보고	오류 분석을 위해 개발자에게 전달	오류 수정	수정한 오류를 테스트하여 오류가 발견되지 않음	오류 수정을 연기	보고된 오류를 확인한 결과 오류가 아니라고 확인됨

 

 

 

 

오류 데이터 측정 및 정제 관련 문서는 크게 2가지가 있습니다.

 

- 데이터 정제 요청서 : 데이터 정제와 관련된 전반적인 내용

- 데이터 정제 보고서 : 정제된 데이터가 정상적으로 정제됐는지 확인한 결과