데이터 웨어하우스를 먼저 지을 것이냐 데이터 마트부터 만들 것이냐를 두고 업계가 이십 년을 싸웠습니다. 시험은 그 싸움의 결론이 아니라 양쪽 용어를 묻습니다.
풀고 시작
문제 1. JSON, XML, 서버 로그처럼 스키마 정보가 데이터 안에 함께 들어 있는 데이터의 유형은?
구조를 설명하는 정보가 데이터 자체에 붙어 다니는 것이 반정형의 특징입니다. 정형은 구조가 데이터베이스 스키마에 따로 정의돼 있고, 비정형은 이미지나 동영상처럼 정해진 구조가 아예 없습니다.
데이터는 어디서 어떻게 들어오나
수집 방법은 데이터가 놓인 자리에 따라 갈립니다. 관계형 데이터베이스에 있으면 ETL이나 스쿱으로 퍼 오고, 남의 서비스에 있으면 API로 요청하며, 웹페이지에 있으면 크롤링으로 긁습니다. 서버가 계속 뱉는 로그는 플럼이나 척와 같은 수집기가 실어 나르고, 끊임없이 흐르는 이벤트는 카프카 같은 메시지 큐가 받아 냅니다. 파일 뭉치라면 여전히 FTP가 현역이고요.
여기서 놓치기 쉬운 것이 크롤링의 법적 지위입니다. 기술적으로 가능하다는 것과 해도 된다는 것은 다릅니다. 사이트의 이용약관과 robots.txt를 확인해야 하고, 개인정보가 섞이면 3강의 규칙이 그대로 적용됩니다. 수집 계획서에 출처와 근거를 적는 이유가 여기 있습니다.
세 가지 유형과 품질 기준
유형
구조
예
정형
스키마가 밖에 정의됨
관계형 데이터베이스 표, CSV
반정형
스키마가 데이터 안에 있음
JSON, XML, HTML, 서버 로그, 센서 데이터
비정형
정해진 구조 없음
텍스트 문서, 이미지, 동영상, 음성
모아 온 데이터는 그대로 쓰지 않고 품질을 검증합니다. 정형 데이터의 품질 기준은 다섯 단어로 외웁니다. 완전성(빠진 값이 없는가), 유일성(중복이 없는가), 유효성(허용된 범위 안인가), 일관성(다른 데이터와 어긋나지 않는가), 정확성(현실과 맞는가)입니다. 나이 칸에 200이 들어 있으면 유효성 위반이고, 같은 사람이 두 번 들어 있으면 유일성 위반이죠.
수집한 데이터의 형태를 분석에 맞게 바꾸는 일도 이 단계에 들어갑니다. 변환 기법은 다섯 갈래입니다. 잡음을 걷어 내는 평활화, 요약 단위로 묶는 집계, 구체적인 값을 상위 개념으로 올리는 일반화, 값의 범위를 맞추는 정규화, 기존 값에서 새 변수를 만드는 속성 생성입니다. 정규화와 속성 생성은 2과목 4강에서 계산까지 다룹니다.
창고냐 매장이냐, 아니면 호수냐
1990년대에 빌 인먼이 데이터 웨어하우스를 정의합니다. 네 가지 성질을 갖는다고 했죠. 업무가 아니라 주제 단위로 모으는 주제 지향성, 여기저기서 온 데이터를 하나의 형식으로 맞추는 통합성, 시점별 이력을 남기는 시계열성, 한번 들어오면 바뀌거나 지워지지 않는 비휘발성입니다.
그런데 랄프 킴볼이 반대편에서 다른 이야기를 합니다. 전사 창고를 다 짓고 나서 쓰려면 몇 년이 걸리니, 부서가 당장 쓸 데이터 마트부터 만들어 붙여 나가자는 것이죠. 하향식이냐 상향식이냐의 오래된 논쟁입니다. 시험용으로는 웨어하우스는 전사 통합 저장소, 마트는 특정 부서나 주제를 위한 부분 집합이라는 관계만 확실히 잡으시면 됩니다.
2010년대에 세 번째 그릇이 등장합니다. 데이터 레이크입니다. 웨어하우스가 미리 정한 형식으로 가공해서 넣는 곳이라면, 레이크는 원본 형태 그대로 일단 붓는 곳입니다. 무엇에 쓸지 나중에 정한다는 발상이라 1강에서 본 "사전 처리에서 사후 처리로"의 저장소 판본이죠. 자유롭게 붓는 대신 관리하지 않으면 아무도 못 찾는 늪이 된다는 것이 알려진 위험입니다.
이 차이는 순서 하나로 요약됩니다. ETL은 변환한 뒤 적재하고, ELT는 일단 적재한 뒤 변환합니다. 웨어하우스는 전자에, 레이크는 후자에 가깝습니다.
언제 담을 것인가
적재 방식은 크게 둘입니다. 하루 한 번처럼 한꺼번에 밀어 넣는 일괄 처리와, 들어오는 대로 흘려보내는 실시간 처리입니다. 실시간이 언제나 좋은 것은 아닙니다. 비용과 복잡도가 확 오르기 때문에, 의사결정 주기가 하루 단위라면 실시간 파이프라인은 낭비입니다. 필요한 신선도를 먼저 정하고 그에 맞는 방식을 고르는 것이 수집 계획의 실무입니다.
인출 문제
문제 1. 데이터 웨어하우스의 특징으로 옳지 않은 것은?
웨어하우스는 한번 적재된 데이터가 바뀌거나 사라지지 않는 비휘발성을 갖습니다. 이력을 시점별로 쌓아 두어야 과거와 현재를 비교할 수 있기 때문입니다. 나머지 셋은 정의에 포함되는 성질이 맞습니다.
문제 2. 데이터 레이크와 데이터 웨어하우스의 차이로 가장 적절한 것은?
순서가 다릅니다. 웨어하우스는 변환 후 적재이고 레이크는 적재 후 변환이라, 레이크가 비정형까지 그대로 받아들일 수 있습니다. 대신 관리 규칙이 없으면 무엇이 어디 있는지 알 수 없는 상태가 되기 쉽습니다.
문제 3. 나이 항목에 250이라는 값이 들어 있었습니다. 어긋난 품질 기준은?
허용된 값의 범위를 벗어났으므로 유효성 위반입니다. 완전성은 값이 비어 있는 경우, 유일성은 같은 대상이 중복 저장된 경우, 일관성은 다른 데이터와 서로 모순되는 경우에 해당합니다.
문제 4. 데이터 변환 기법 중 시군구 단위 주소를 시도 단위로 올려 표현하는 것은?
구체적인 값을 상위 개념으로 올리는 것이 일반화입니다. 평활화는 잡음을 제거해 값을 매끄럽게 만드는 것이고, 집계는 여러 건을 합이나 평균으로 묶는 것이며, 속성 생성은 기존 값에서 새로운 변수를 만들어 내는 것입니다.
더 풀기
출제기준의 세세항목을 따라 이 강의 범위에서 새로 낸 문제입니다. 모의고사도 여기에서 뽑습니다.
묶음 1
문제 1. 데이터 유형 가운데 스키마가 데이터 안에 함께 들어 있는 것은?
항목 이름과 값이 함께 실려 오는 JSON과 XML이 반정형입니다. 정형은 스키마가 밖에 정의되어 있고, 비정형은 정해진 구조가 없습니다.
문제 2. 다음 중 정형 데이터에 해당하는 것은?
행과 열이 정해진 표가 정형입니다. 음성, 이미지, 자유 문장은 비정형으로 분류합니다.
문제 3. 데이터 품질 기준 가운데 같은 사실이 서로 다른 시스템에서 어긋나지 않는 성질은?
시스템 사이에 값이 충돌하지 않는 것이 일관성입니다. 정확성은 사실과의 일치, 완전성은 빠짐없음, 적시성은 필요한 때에 사용 가능한가입니다.
문제 4. 필수 항목에 빈칸이 많은 데이터가 위반하는 품질 기준은?
있어야 할 값이 채워져 있는가를 보는 것이 완전성입니다. 유일성은 중복 없음, 적시성은 시점의 문제입니다.
문제 5. 같은 고객이 여러 건의 회원 정보로 중복 등록된 상태가 위반하는 품질 기준은?
하나여야 할 개체가 여러 벌 존재하면 유일성 위반입니다. 유효성은 값이 정해진 형식과 범위를 지키는가를 봅니다.
문제 6. 생년월일 칸에 1899년보다 앞선 값이나 미래 날짜가 들어 있을 때 어긋난 품질 기준은?
허용된 범위와 형식을 벗어난 값이므로 유효성 문제입니다. 값이 비어 있으면 완전성 문제가 됩니다.
문제 7. 데이터 프로파일링에 대한 설명으로 가장 알맞은 것은?
칼럼별 자료형, 최댓값과 최솟값, 결측 비율, 중복 비율 등을 살펴 품질을 진단하는 것이 프로파일링입니다.
문제 8. 메타데이터에 대한 설명으로 옳은 것은?
데이터를 설명하는 데이터가 메타데이터입니다. 요약 통계량은 데이터에서 계산한 값이라 성격이 다릅니다.
문제 9. 데이터 웨어하우스의 특징으로 보기 어려운 것은?
웨어하우스는 한번 적재된 데이터가 바뀌지 않는 비휘발성을 특징으로 합니다. 잦은 갱신과 삭제는 운영계 데이터베이스의 성질입니다.
문제 10. OLTP와 OLAP의 차이로 옳은 것은?
이름 그대로 OLTP는 트랜잭션 처리, OLAP는 분석 처리를 맡습니다. 요구되는 성능의 성격이 반대입니다.
문제 11. 스타 스키마에 대한 설명으로 옳은 것은?
조인이 단순해 조회가 빠른 것이 스타 스키마입니다. 차원을 정규화해 가지를 치면 스노우플레이크 스키마가 됩니다.
문제 12. 데이터 레이크와 데이터 웨어하우스의 차이로 옳은 것은?
읽을 때 구조를 정하는가, 쓸 때 구조를 정하는가의 차이로 이해하면 쉽습니다.
묶음 2
문제 1. ETL의 세 단계를 순서대로 옳게 나열한 것은?
원천에서 뽑아내고 형식을 맞춘 뒤 목적지에 싣는 순서입니다. 적재를 먼저 하고 나중에 변환하면 ELT입니다.
문제 2. 변경 데이터 포착 방식이 필요한 이유로 가장 알맞은 것은?
원천의 변경분만 골라 반영하는 것이 변경 데이터 포착입니다. 전체 재적재의 비용을 크게 줄입니다.
문제 3. 배치 적재가 실시간 적재보다 유리한 상황은?
지연이 허용되고 대량을 한꺼번에 처리해야 할 때 배치가 효율적입니다. 즉시성이 필요한 나머지 상황에는 스트리밍이 맞습니다.
문제 4. 데이터 수집 시 원천 시스템에 주는 부하를 줄이는 방법으로 보기 어려운 것은?
조회 빈도를 높이면 부하가 커집니다. 나머지 셋이 부하를 줄이는 실무 방법입니다.
문제 5. 로그 수집에서 시간 동기화가 중요한 이유로 가장 알맞은 것은?
여러 서버의 로그를 합칠 때 시각이 어긋나면 원인과 결과가 뒤집혀 보입니다. 그래서 시각 동기화를 필수로 둡니다.
문제 6. 데이터 수집 계획에서 우선 정의해야 할 항목으로 보기 어려운 것은?
은닉층 수는 모델링 단계의 결정입니다. 나머지는 수집 계획의 필수 항목입니다.
문제 7. 데이터 변환 과정에서 수행하는 작업으로 보기 어려운 것은?
학습률은 모델 훈련의 설정입니다. 나머지는 적재 전 변환 작업입니다.
문제 8. 파일 형식 가운데 칼럼 단위로 저장해 분석 질의에서 필요한 열만 읽을 수 있어 유리한 것은?
파케이 같은 칼럼 지향 형식은 필요한 칼럼만 읽고 압축률도 높아 분석에 적합합니다. 행 단위 형식은 전체를 읽어야 합니다.
문제 9. 데이터 압축을 적용할 때 고려해야 할 맞바꿈으로 옳은 것은?
저장 비용과 계산 비용 사이의 맞바꿈입니다. 무손실 압축이므로 정확도가 훼손되지는 않습니다.
문제 10. 데이터 수명 주기 관리에서 오래된 데이터를 저렴한 저장소로 옮기는 조치를 가리키는 말은?
접근 빈도가 낮아진 데이터를 값싼 저장소로 옮겨 보관하는 것이 아카이빙입니다. 파티셔닝과 인덱싱은 조회 성능을 위한 구조 설계입니다.
문제 11. 대용량 표를 기간이나 지역 같은 기준으로 잘라 저장하는 기법은?
물리적으로 조각을 나누어 필요한 조각만 읽게 하는 것이 파티셔닝입니다. 조회 범위가 좁아져 성능이 좋아집니다.