데이터가 흐르는 Flow 만들기

데이터가 흐르는 Flow 만들기 → 데이터 파이프라인

1. Data Source

• 서비스 로그 (Transaction)
• 어트리뷰션 (Attribution)
• 고객 특성 (Customer Characteristics)
• 이메일, 푸시 캠페인 (CRM)
• 행동 로그 (Event)
• ...

2. Data Warehouse

• 잘 모은다

3. Data Mart

• 분석하기 편한 형태로 가공한다

4. Data Use

• Data Analysis
• Dashboard
• 활용한다

데이터 파이프라인

• 데이터 파이프라인도 기획과 설계가 필요합니다.
• 데이터 엔지니어와 데이터 분석가의 긴밀한 협업이 필요!
  • 어떤 데이터가 필요한지
  • 그 데이터를 어떻게 수집할지
  • 배치와 스트리밍을 어떻게 활용할지 (실시간 처리가 필요한지?)
  • 분석하기 편한 형태로 만들려면 어떤 전처리를 해야 할지
  • 대시보드 등 데이터 사용자를 위한 Visualization은 어떻게 할지
  • 파이프라인 설계/구축을 위해 어느 정도의 리소스와 비용을 투자할지