imhamburger 님의 블로그

데이터 파이프라인에서는 흐름 중단 문제 외에도 처리 계층에 직접적인 영향을 미치는 데이터 스큐(Data Skew) 문제가 발생할 수 있다. 균형이 맞지 않아 스큐된 데이터셋은 처리에 걸리는 시간을 증가시키거나 불완전한 데이터셋에 배치 파이프라인을 트리거하는 원인이 된다.1. 스큐 탐지기스큐 탐지기는 파이프라인이 두 번의 연속 실행에서 다른 크기의 데이터를 처리하는 상황을 제어하는 데 유효한 패턴이다. 예를 들어 파이프라인이 정상 작동했음에도 반쯤 비어 있는 불완전한 데이터셋을 처리해버리는 문제를 막아준다.해결책 3단계비교 윈도 식별: 파이프라인 실행에서 비교할 시간 기간을 결정한다. 매일 실행되는 배치 잡의 경우, 현재 처리 중인 데이터셋을 전날의 데이터셋과 비교할 수 있다.허용 임계치 설정: 비교할 데..

1. 스키마 마이그레이터문제 상황 기존 컨슈머(소비자)에게 장애나 불편을 주지 않으면서, 새로운 필드를 추가하거나 복잡한 속성들을 이해하기 쉽게 개선(스키마 변경)하고 싶다.해결책 스키마 진화를 안전하게 수행할 수 있도록 돕는 '스키마 마이그레이터 패턴'을 적용한다. 컨슈머와 전환 시간을 미리 합의한 뒤, 유예 기간 동안 이전 속성과 새로운 속성을 동시에 제공하는 방식이다. 마감일이 지나면 수정된 속성만 포함하는 새로운 버전의 스키마를 생성한다.주요 진화 시나리오 3가지이름 변경: 속성 이름이 잘못되었거나 난해할 때 새로운 이름의 필드를 생성하여 마이그레이션한다.유형 변경: 스키마를 단순화하거나 처리 효율을 높이기 위해 데이터의 형태를 변경한다.제거: 해당 속성을 사용하는 다운스트림 컨슈머가 100% 없..

데이터 품질을 높이기 위해 데이터셋 자체의 관련성을 보장하는 패턴(예: 감사-쓰기-감사-배포, AWAP)을 적용하곤 한다. 하지만 업스트림에서 데이터 흐름이 아예 차단되어 잡(Job)이 실행조차 되지 않는 상황이라면, 이러한 데이터 품질 해법만으로는 문제를 인지할 수 없다. 이러한 공백을 메우기 위해 시스템에 모니터링과 경고 기능을 추가하는 것이 '데이터 관찰 가능성 디자인 패턴'이다. 이 패턴은 탐지(Detection)와 추적(Tracking)이라는 두 가지 핵심 요소에 의존한다.1. 흐름 중단 탐지기가장 심각한 데이터 문제 중 하나는 '데이터셋 비가용성'이다. 데이터가 없으면 잡이 실행되지 않아 다운스트림에서 데이터를 사용할 수 없게 된다. 예를 들어, 스트리밍 잡이 데이터를 동기화하다가 어느 날 레..

1. 역정규화기역정규화기 패턴은 쿼리에서 조인(Join) 연산을 줄이거나 완전히 제거하여 데이터 접근 및 조회 성능을 최적화하는 스토리지 패턴이다.1. 문제 상황데이터 웨어하우스 스토리지 위에 관계형 데이터 모델을 구현하여 운영하였다.초기에는 데이터 볼륨이 적어 문제가 없었으나, 서비스가 크게 성장하면서 데이터 분석 부서로부터 쿼리 실행 시간이 너무 느리다는 불만이 발생하였다.분석 결과, 전체 쿼리의 80% 이상이 8개 이상의 테이블을 동시에 조인하고 있어 극심한 성능 저하와 비용 상승을 유발하고 있었다.2. 해결책조인된 테이블의 모든 값들을 단일 레코드로 평면화(Flattening)하여, 네트워크를 통한 데이터 교환 과정 자체를 없앤다.평면화의 두 가지 접근 방식일반적인 컬럼 방식: 조인 대상 테이블의..

패턴 #54: 메타데이터 강화기데이터를 쿼리 엔진에 적재하기 전에 관련 없는 데이터 파일이나 블록을 건너뛰어(Pruning) 조회 성능을 최적화하고 비용을 줄이는 패턴이다. 1. 문제 상황기존에 JSON 데이터셋을 이벤트 시간 기준으로 수평 파티셔닝하여 배치 작업 속도를 개선함.새로 고용된 데이터 분석가들이 동일하게 파티션된 데이터셋을 사용하지만, 실제로는 파티션 내에서도 극히 일부분(작은 부분집합)의 레코드만 다룸.사용량 기반 과금형 쿼리 서비스를 이용하는 환경에서, 쿼리가 항상 전체 파티션 데이터셋을 엔진에 적재한 뒤 필터링 로직을 적용함.이로 인해 쿼리 실행 지연과 클라우드 비용 증가 문제가 발생함.목적: 데이터셋을 쿼리 엔진에 적재하기 전에 필터링 로직을 먼저 적용할 수 있는 구조가 필요함. 2...

스토리지 계층의 레이아웃을 정의할 때 핵심은 데이터셋에 쉽게 접근할 수 있도록 나누는 최선의 방법을 찾는 것이다. 이를 위해 데이터 표현 접근 방식과 스토리지 최적화 원칙을 이해하고, 수평적 구성과 수직적 구성을 담당하는 두 가지 파티셔닝 패턴을 활용해야 한다.1. 스토리지 레이아웃 사전 고려사항 및 데이터 표현 방식스토리지 최적화를 위한 핵심 원칙불필요한 데이터 관련 작업을 피하기 위해 메타데이터 계층을 활용한다.비용이 많이 드는 작업은 한 번만 실행하고, 후속 독자(reader)들을 위해 이를 구체화한다.비용이 많이 드는 목록 작업을 피하여 데이터 준비 단계를 단순화한다.데이터 표현 접근 방식정규화기 접근 방식: 데이터 일관성을 선호한다.비정규화기 접근 방식: 더 나은 실행 시간을 위해 일관성을 절충..

데이터셋을 다른 파이프라인과 공유하면 그 가치를 크게 향상할 수 있다. 하지만 데이터셋에 개인 식별 정보(PII) 등의 민감 정보가 포함되어 있고 사용자가 제3자 공유에 동의하지 않았다면, 데이터 공유 전 특별한 준비 단계를 수행해야 한다.패턴 #46: 익명화기 (Anonymizer)1. 문제 정의조직에서 고객 행동 분석 및 커뮤니케이션 전략 최적화를 위해 외부 데이터 분석 회사와 계약을 체결했다.공유 데이터셋에 다수의 개인 식별 정보(PII) 속성이 포함되어 있으나, 일부 사용자가 제3자 공유에 동의하지 않은 상태이다.데이터 엔지니어링 팀은 공유 데이터셋이 개인정보 보호 규정을 완전히 준수하도록 처리 파이프라인을 구축해야 하는 임무를 맡았다.NOTE: 개인 식별 정보(PII)만이 아니다 PII가 가장 ..

패턴 #42: 제자리 덮어쓰기1. 개요 및 문제 정의개요: 수직 파티셔너 패턴은 시간과 컴퓨팅 자원이 충분할 때 유용하지만, 그렇지 못한 상황에서는 검증된 덮어쓰기 전략인 '제자리 덮어쓰기' 패턴이 대안이 된다.문제: 테라바이트 규모의 데이터가 시간 기반 수평 파티션에 저장된 레거시 시스템을 넘겨받았으나, 개인 데이터 관리 전략이 아직 정의되지 않은 상황이다. 이 프로젝트는 조직 내에서 널리 사용되고 있으며, 정부의 새로운 개인정보 보호 규정에 따라 사용자가 요청할 때 개인 데이터를 즉시 제거해야 하는 요구사항을 충족해야 한다.2. 해결책 및 구현 방식현재 아키텍처 리팩터링을 위한 자원이 부족하므로 제자리 덮어쓰기(In-Place Overwriter) 패턴을 적용한다. 구현은 데이터 스토리지 기술에 따라..

1. 독립된 시퀀서 (Isolated Sequencer)문제 상황 및 해결책원시 데이터를 정리해 데이터 시각화 팀에 제공해야 하지만, 조직이 분리되어 있어 두 프로세스를 단일 파이프라인으로 병합할 수 없는 환경에서 이 패턴이 활용된다.데이터 제공자와 컨슈머 관점에 따라 파이프라인을 물리적으로 나누어 독립적인 두 개의 파이프라인을 생성하고, 이를 효과적으로 결합하는 것이 핵심이다.이를 위해 의존성을 구현하는 두 가지 주요 트리거 전략을 사용할 수 있다.데이터 기반 전략 vs 작업 기반 전략데이터 기반 전략: 데이터 프로듀서가 데이터셋과 함께 '준비 마커(Marker)' 파일을 생성하면, 컨슈머는 이를 감지하여 작업을 시작한다. 두 파이프라인의 결합이 느슨하여 데이터 컨슈머 측이 더 많은 자유도를 가지며 ..

실시간 데이터 처리를 하다 보면 '세션(Session)' 단위로 데이터를 묶어서 분석해야 할 때가 많다.예를 들어, 한 사용자가 웹사이트에 들어와서 이탈하기 전까지 어떤 행동을 순서대로 했는지 분석하는 '유저 세션 분석'이 대표적이다.이를 효율적으로 해결하기 위한 디자인 패턴인 상태 저장 세션화 처리기(Stateful Sessionizer) 패턴에 대해 알아보자! 1. 상태 저장 세션화 처리기(Stateful Sessionizer)1-2. 배경: 기존 배치(Batch) 방식의 한계와 문제점기존의 배치 파이프라인이나 단순한 증분 세션화 방식은 데이터를 시간 기반(예: 1시간 단위 파티션)으로 나누어 처리한다. 하지만 이 방식은 다음과 같은 치명적인 문제가 존재한다.지연 시간(Latency) 문제: 비즈니스..