반응형

전체 글 59

일반 기업은 모르는 노션의 진짜 기술력: 데이터 처리 방식 완전 비교

노션(Notion)은 그저 예쁜 노트앱일까요?아니죠. 전 세계 수억 명이 동시에 문서를 수정하고 공유하는데도,렉 없이 부드럽게 동작하는 괴물급 아키텍처를 가진 플랫폼입니다.반면, 많은 일반 기업들은 여전히 단일 DB 중심의 구조에서트래픽이 조금만 몰려도 느려지거나 장애가 발생하곤 하죠.“둘 다 똑같이 데이터베이스 쓰는 거 아닌가?”“노션은 대체 뭐가 다르길래 이렇게 빠른 거지?”아마 대부분의 사람들이 한 번쯤 궁금해했을 질문일 거예요.많은 분들이 궁금해하는 ‘노션은 왜 로딩이 없을까?’라는 질문은 결국 데이터 처리 구조의 차이에서 시작됩니다. 노션의 아키텍처가 일반 기업의 데이터 처리 방식과 어떻게 다른지 이해하면, 왜 노션이 빠르고 안정적인 서비스인지 자연스럽게 알 수 있습니다.실시간 데이터 처리 방식..

Analysis 2025.12.12

노션 아키텍처 완전 해부: 전 세계 수억 명이 동시 작업 가능한 노션은 어떻게 구성되어있을까?

전 세계 어디에서든 동시에 문서를 열고, 누군가는 제목을 바꾸고, 누군가는 체크박스를 누르고, 또 누군가는 이미지를 옮기고 있어도… 노션은 거의 지연 없이 모든 변화를 실시간으로 반영합니다.수억 명이 사용하는 서비스에서 이런 일이 가능하다는 게 믿기세요?사실 노션 내부에서는 매초 수십만 개 이상의 “블록”이 생성·수정·삭제되며, 이 모든 움직임이 마치 거대한 오케스트라처럼 정확한 타이밍으로 조율되고 있습니다.그럼에도 노션은 ‘빠르고’, ‘끊기지 않고’, ‘무너지지 않습니다’.왜일까요?그 비밀은 우리가 평소에는 거의 생각하지도 않는 아키텍처 설계 방식에 숨어 있습니다.이번 글에서는노션의 블록 기반 데이터 구조,480→960개로 확장된 초거대 샤딩 구조,Kafka·Hudi·Snowflake로 구축된 실시간·..

Analysis 2025.12.11

QGIS GDAL footprint.exe 사용법 (작성중)

QGIS 툴로 footprint 배치로 돌리는 방법1. 영상 root 가서 cmd 열고 파일명 txt로 뽑기#로컬dir /s /b *.tif > list.txt# 네트워크Get-ChildItem -Path *8b_clip.tif > list.txt2.  .bat으로 저장Get-ChildItem -Filter *.tif | ForEach-Object { $name = $_.Name $geojson = [System.IO.Path]::ChangeExtension($name, '.geojson') $gdalPath = "C:\Program Files\QGIS 3.34.8\bin\gdal_footprint.exe" "$gdalPath -t_srs EPSG:5179 $name $geojson..

Computer 2024.10.24

Tensorflow Docker 환경 설정

참고 https://www.tensorflow.org/install/gpu?hl=ko GPU 지원  |  TensorFlowTensorFlow is back at Google I/O on May 14! Register now GPU 지원 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 참고: GPU 지원은 CUDA® 지원 카드가 있는 Ubuntu 및 Windows에www.tensorflow.orghttps://www.tensorflow.org/install/docker?hl=ko Docker  |  TensorFlowTensorFlow is back at Google I/O on May 14! Register now Docker 컬렉션을 사용해 정리하기 내 환경설정을 기준으..

Computer 2024.05.11

ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found

문제 YOLOv8 k-fold crossvalidation 을 진행하려던 중 발생 원인 확인 strings /usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX 출력 GLIBCXX_3.4 GLIBCXX_3.4.1 GLIBCXX_3.4.2 GLIBCXX_3.4.3 GLIBCXX_3.4.4 GLIBCXX_3.4.5 GLIBCXX_3.4.6 GLIBCXX_3.4.7 GLIBCXX_3.4.8 GLIBCXX_3.4.9 GLIBCXX_3.4.10 GLIBCXX_3.4.11 GLIBCXX_3.4.12 GLIBCXX_3.4.13 GLIBCXX_3.4.14 GLIBCXX_3.4.15 GLIBCXX_3.4.16 GLIBCXX_3.4.17 GLIBCXX_3.4.18 GLIBCX..

Computer 2024.04.22

딥러닝 학습 시 tmux 세션 중단 현상 해결

CUDA out of memory를 해결해서 GPU 메모리는 정리가 되었으나, 이번에는 오류 메세지도 없이 tmux 세션이 계속해서 중단되는 현상이 발생 디스크 메모리 확인 df -h df 명령어 disk free, 리눅스 서버 디스크 공간 확인 명령어 df [옵션] [경로] 띠용 loop가 뭔데 저렇게 많아 했는데, 메모리에는 문제가 없다고 한다. 삭제하면 응용프로그램 실행에 오류가 있을 수도 있다고 함. du 명령어 disk usage, 리눅스 서버 디스크 사용률 확인 du [옵션] [경로] du /home/nanopore/ultralytics/ | sort -n | tail -5 해당 경로를 기준으로 가장 많은 용량을 사용중인 폴더 확인 후 해당 파일 삭제 rm /home/NAME/* #해당 디렉토..

Computer 2024.04.17

CUDA out of memory 해결

1. 캐시 삭제 import torch, gc gc.collect() torch.cuda.empty_cache() 2. GPU process 강제종료 $ nvidia-smi process PID kill Python 프로세스가 종료되더라도 child process가 zombie 상태로 남아있는 것임. Zombie 상태의 Python 프로세스는 ps aux | grep python 명령어를 치면 Python 인 프로세스가 나온다. 이 프로세스 + Parent Process까지 Kill하면 GPU memory를 반환한다. sudo kill -15 PID 참고 Python 프로세스를 종료시켜도 GPU Memory를 반환하지 않고, nvidia-smi에 process ID가 나오지 않을 때 해 Pytorch의 ..

Computer 2024.04.16

Ubuntu18.04 에서 Ubuntu20.04 로 업데이트 하기

우분투 업데이트라니, 건들기 무섭지만 Ubuntu18.04로는 VScode 이용이 원활하지 않아서 결국 업데이트 하기로 함. 1. optimize the package list on Ubuntu sudo apt update sudo apt upgrade sudo apt autoremove --purge sudo reboot apt가 패키지 매니저 역할 update는 배포판의 패키지 목록을 업데이트하고 업그레이드 가능한 패키지 목록을 제공 upgrade로 해당 패키지 목록들 업그레이드 autoremove로 배포판에서 모든 불필요한 패키지를 제거하고 -purge 옵션을 사용하여 모든 구성 파일도 제거 2. Install update-manager-core sudo apt install update-manag..

Computer 2024.04.08
반응형