SQL Pipe Syntax, 좋아 보였지만 우리 팀은 아직 쓰지 않기로 했습니다
최근 SQL 파이프 구문(pipe syntax)을 다시 살펴봤습니다. Google이 먼저 강하게 밀고 있고, BigQuery는 물론 Databricks도 지원하고 있습니다. 겉으로만 보면 꽤 매력적입니다. 특히 복잡한 SQL을 자주 읽고 고쳐야 하는 사람에게는 “왜 진작 이렇게 안...
최근 포스트
AI한테도 조인 시키실 건가요? 저는 와이드 테이블로 갑니다 (Star Schema vs. Wide Table)
데이터 웨어하우스 모델링 이야기를 하면 늘 스타 스키마 vs. 플랫 와이드 테이블 이야기가 나옵니다. 예전에는 이 질문에 꽤 정석적인 답이 있었습니다. 분석용이면 스타 스키마, 운영성이나 단순 조회면 와이드 테이블 정도로 정리하곤 했습니다.
Audit Log로 데이터 웨어하우스 가드레일 만들기
운영 데이터베이스를 GCP DataStream으로 ODS에 스트리밍하다 보면, “스트리밍만 잘 되면 끝”이라고 생각하기 쉽습니다. 하지만 실제 운영에서는 데이터 적재보다 적재 이후의 관리가 더 어렵습니다.
나는 메달리온이 싫습니다
요즘 데이터 플랫폼 이야기를 하면 거의 자동으로 따라오는 단어가 있습니다. 바로 Bronze, Silver, Gold로 이어지는 메달리온 아키텍처입니다. 여전히 많이 쓰이고, 특히 Databricks 생태계에서는 사실상 기본값처럼 취급되기도 합니다.
좋은 데이터 모델은 저장이 아니라 질문을 위해 존재합니다
데이터 모델링 이야기를 하다 보면 대화가 쉽게 구조 쪽으로 흘러갑니다. 정규화가 맞는가, 스타 스키마가 맞는가, 와이드 테이블이 맞는가, 레이크하우스가 좋은가 같은 질문들이 먼저 나옵니다. 물론 이런 논의는 중요합니다. 다만 실무에서는 모델이 실패하는 이유가 구조가 덜 예뻐서인 경...