cshiz's Data Archive

본 포스트는 Notion의 "The data model behind Notion's flexibility"(2021.5.18) 포스트 리뷰이며,개인적으로 새롭게 알게된 정보/사례를 정리하는 목적으로 작성 됐습니다.이번 포스트는 Notion의 데이터 모델에 대해 이야기합니다.Block ModelNotion은 다음 2가지 철학에 기반합니다.컴퓨터는 사람들에게 정보에 대한 권한을 부여함으로써 인간 문제 해결 능력을 증대시키는 도구이다.정보는 독립적 데이터의 조합이다. Notion은 정보가 어떠한 제약이나 컨테이너 없이 독립적으로 존재할 수 있는 프레임워크를 구축했으며, 대신 세부적인 수준에서 사용자의 손에 권한을 부여했습니다. 이 프레임워크는 블록 기반으로 구축되었습니다. 텍스트, 이미지, 목록, 데이터베이스..

Case-StudyNotion CaseStudy :: Postgres Sharding 리뷰Lazy Indexing과 관련해 마이그레이션 되는 테이블에 대해 인덱스를 생성을 데이터 복사 완료 후로 미루어 작업속도가 향상되었다고 하는데, 어떤 이유로 향상 되는지 궁금합니다2024. 10. 22. 14:26 데이터 복사 중에 인덱스를 생성하면 각 레코드 삽입 시마다 인덱스가 업데이트되어 디스크 입출력이 증가합니다. 인덱스 생성을 나중으로 미루면 이러한 불필요한 I/O를 줄일 수 있습니다. 개별 레코드의 인덱스 업데이트 반복 시 시간복잡도를 생각해보자면, B+ 트리와 같은 인덱스 구조에서는 각 레코드를 삽입할 때마다 인덱스가 업데이트됩니다. 이때 시간 복잡도는 O(log n)이며, n개의 레코드를 삽입하면 전체..

본 포스트는 Notion의"Herding elephants: Lessons learned from sharding Postgres at Notion"(2021.10.6),"The Great Re-shard: adding Postgres capacity (again) with zero downtime"(2023.7.17)포스트 리뷰이며, 개인적으로 새롭게 알게된 정보/사례를 정리하는 목적으로 작성 됐습니다. 샤딩이란 기본적으로 DB의 수평적 확장을 통해 데이터를 분산해놓는 방법을 의미합니다. Notion은 빠른 속도로 증가하는 데이터를 관리하기 위해 Postgres를 샤딩 하기로 결정합니다. 샤딩을 통해 데이터가 분산되면 데이터 관리가 어려워지기 때문에 문제를 직면하기 전에 미리 이를 행하는 것은 좋지 않..

본 포스트는 'django는 데이터를 어떻게 관리하나요?'라는 질문을 통해데이터 주체적 관점에서 django를 들여다보고자 하는 시리즈 입니다. 시리즈 목차1. django가 관리하는 데이터들 1-1. 내부 데이터 1-2. 외부 데이터 2. django가 데이터를 정의하는 방식 3. django의 데이터가 소통하는 방식 3-1. 내부와의 소통 방식 3-2. DB와의 소통 방식 3-3. 클라이언트와의 소통 방식 3-4. 개발자와의 소통 방식 번외. 건강한 데이터 관리를 위해1. django가 관리하는 데이터들본 시리즈는 django를 하나의 데이터 클러스터라는 관점에서 바라봅니다. 웹서비스에서 필요한 여러가지 데이터들을 한 데 모아 유기적으로 소통할 수 있게 하는 프레임워크 역할을 합니다.  이 관점에서 ..

데이터 관련 행사 리스트를 정리한 포스트 입니다.주기적으로 업데이트 됩니다. Title/URLDate창의인재 전시 ‘2024 제로원데이’2024.10.23 - 10.26[BIOVIA Solution Day] 데이터 완전성(DI) 지키기: 품질 관리/보증에서 데이터 관리 전략2024.10.292024 AIoT 컨퍼런스 - 온디바이스 AI시대, AIoT 최신 기술 트렌드 및 기업전략2024.10.30 - 11.1 Title/URL 기조연설 Ride the data wave: 데이터의 힘과 데이터 문화의 혁신