postgres 2

Notion CaseStudy :: Postgres Sharding 리뷰

본 포스트는 Notion의"Herding elephants: Lessons learned from sharding Postgres at Notion"(2021.10.6),"The Great Re-shard: adding Postgres capacity (again) with zero downtime"(2023.7.17)포스트 리뷰이며, 개인적으로 새롭게 알게된 정보/사례를 정리하는 목적으로 작성 됐습니다. 샤딩이란 기본적으로 DB의 수평적 확장을 통해 데이터를 분산해놓는 방법을 의미합니다. Notion은 빠른 속도로 증가하는 데이터를 관리하기 위해 Postgres를 샤딩 하기로 결정합니다. 샤딩을 통해 데이터가 분산되면 데이터 관리가 어려워지기 때문에 문제를 직면하기 전에 미리 이를 행하는 것은 좋지 않..

Case-Study 2024.10.22

Notion CaseStudy :: 데이터 레이크 구축 및 확장 리뷰

본 포스트는 Notion의 "Building and scaling Notion’s data lake"(2024.7.1) 포스트 리뷰이며,개인적으로 새롭게 알게된 정보/사례를 정리하는 목적으로 작성 됐습니다. 2021년~2023년, Notion은 빅데이터를 관리하기 위한 방법으로 PostgreSQL의 수평적 Sharding과 Snowflake로의 ELT 파이프라인을 선택했습니다.구성된 Shard와 Instance 수는 아래의 표와 같습니다.Block RecordLogical ShardPhysical Instance200억15322000억(압축 시 수백 테라바이트)48096*Block은 Notion의 데이터 모델에서의 Block을 의미합니다. PostgreSQL에서 Snowflake로의 ELT 파이프라인은 ..

Case-Study 2024.10.12