갈아먹는 엔지니어링 시리즈 (22) 썸네일형 리스트형 갈아먹는 5G [3] Mobile Edge Computing 백서 후반부 들어가며 지난 포스팅에서 MEC의 개념, 필요성, 특징, 적용 분야에 대해서 다뤄보았습니다. 이번 포스팅에서는 이러한 MEC가 어떻게 운영될 수 있고, 어떤 아키텍쳐를 기반으로 하는지를 들여다보겠습니다. 모바일 네트워크 구조 본격적으로 MEC의 아키텍쳐를 설명하기에 앞서 간략하게 모바일 네트워크의 구성에 대해서 복습하고 넘어가겠습니다. 관련 내용은 다음의 출처[1]를 참고하였습니다. 위 그림은 대표적인 2G 모바일 네트워크인 GSM의 망구조입니다. 추후에 등장하는 네트워크 망들과 구조적인 차이점은 있지만, 이를 기반으로 주요 용어들을 짚고 넘어가겠습니다. MS(Mobile Station): 모바일 단말기를 지칭합니다. BTS(Base Tranceiver Station): 기지국을 의미합니다. 모바일 기기.. 갈아먹는 5G [2] Mobile Edge Computing 백서 전반부 들어가며 5G 관련 공부를 하면서 mobile edge computing라는 기술 분야를 접하게 되었습니다. 간단히 말해 기지국 근처에 소규모 데이터 센터를 설치하고, 여기에 미리 컨텐츠를 옮겨 놓거나 제어 명령을 내림으로써 5G의 핵심 기술인 초저지연을 가능하게 해주는 것입니다. 위키 피디아를 살펴보니 재미있게도 MEC이라는 기술 분야에 대한 white paper(백서)[1]라는게 있었고, 훑어보게 되었습니다. 발행 기관: ETSI(3G, 4G, 5G 등 기술 표준을 제정하는 표준화 기관) 발행 연도: 2014 원문 주소: https://portal.etsi.org/Portals/0/TBpages/MEC/Docs/Mobile-edge_Computing_-_Introductory_Technical_Whi.. 갈아먹는 5G [1] 5G 이동통신 비즈니스 리뷰 들어가며 정말 오래간만에 블로그에 글을 남겨봅니다. 요즘에는 궁금했던 분야의 책들을 많이 보고 있는데요, 특히 5G와 이동 통신 네트워크에 대한 공부를 하고 있습니다. 그 중에 일부를 기록 삼아 포스팅들로 남겨보려 합니다. 첫 포스팅은 가볍게 '5G 이동통신 비즈니스' 서평으로 시작해보려 합니다. 평소에 4G 만으로도 유투브 빵빵하게 잘나와서 5G는 도대체 어디에 쓰이는 걸까? 하는 궁금증이 있었습니다. 그 궁금증을 시원하게 풀어준 고마운 책입니다. 그럼 시작하겠습니다! 5G 이동통신 비즈니스 책 소개 2020년 4월에 출간된 책이라 굉장히 따끈따근한 내용들이 많이 담겨있는 책입니다. 일본인 저자가 썼기에 일본 이동 통신사 이야기들이 많이 나오긴 하지만, 전세계 많은 이동 통신사와 기업들이 현재 5G를 .. 갈아먹는 BigData[2] HDFS(하둡 분산 파일 시스템) 지난 글 갈아먹는 BigData [1] MapReduce 이해하기 들어가며 지난 포스팅에서 빅 데이터의 분산 저장 및 분산 처리의 시작을 연 MapReduce에 대해서 자세히 살펴보았습니다. 하둡은 이를 구현하여 오픈 소스화 시킨 프로젝트입니다. 하둡을 기반으로 이를 더 잘 활용하기 위한 각종 오픈 소스들이 등장하기 시작했으며 이를 hadoop ecosystem이라고 부릅니다. 이를 간단히 다이어그램으로 표현하면 아래와 같습니다. 보기만 해도 살짝 현기증이 나죠?ㅎㅎ 수많은 에코 시스템들이 하둡 클러스터 위에 얹혀지지만 가장 아래에 기반을 이루는 것은 HDFS, 하둡 파일 시스템입니다. 이는 대용량의 파일을 수천대의 컴퓨터를 묶어 구성한 클러스터에 안정적으로 저장해주는 storage 역할을 수행하며 하둡.. 갈아먹는 BigData [1] MapReduce 이해하기 들어가며 빅 쿼리에 대한 포스팅을 작성하면서 맵 리듀스나 스파크 등 빅 데이터 분산 처리 기술들에 대한 지식이 부족함을 느꼈습니다. 이전에 잠깐 공부해보았던 기술들이지만 찬찬히 페이퍼를 읽어보고 개념들을 다시 정리해보려 합니다. 가장 먼저 리뷰해 볼 것은 분산 처리와 빅 데이터의 포문을 연 구글의 맵 리듀스 논문입니다. 맵 리듀스를 구현하여 오픈 소스화 시킨게 하둡이고, 많은 기업들에서 지난 십수년간 많은 사랑을 받아왔습니다. 맵 리듀스 역시 단점이 있어서 현재는 스파크나 빅 쿼리 등에 자리를 많이 내주었지만 여전히 대용량 데이터의 배치 처리에서 많이 사용된다고 합니다. 또한 맵 리듀스의 한계점을 극복하는 방향으로 빅데이터 분석 기술이 발전하였다고 하니 충분히 살펴볼 가치가 있습니다. 영향력: 맵 리듀스.. 갈아먹는 BigQuery[4] 빅쿼리 아키텍쳐 지난 글 갈아먹는 BigQuery [1] 빅쿼리 소개 갈아먹는 BigQuery [2] 빅쿼리 스키마 및 데이터 모델 갈아먹는 BigQuery [3] 빅쿼리 SQL 분산 실행 갈아먹는 BigData [1] MapReduce 이해하기 들어가며 지난 포스팅들에서 빅 쿼리가 무엇이고 어떠한 특징이 있는지 살펴보았습니다. 그리고 로우 레벨의 관점에서 어떻게 데이터를 저장하고 SQL 쿼리를 분산처리 하는지 살펴보았습니다. 이번에는 빅 쿼리의 아키텍쳐에 대해서 좀 더 자세히 알아보겠습니다. BigQuery Architecture 빅 쿼리는 크게 네 가지 구성 요소로 이루어져 있습니다.[1] Dremel(Compute): 방대한 분산 노드들에서 SQL 쿼리를 실행 Colossus(Storage): 데이터를 저장하고 실.. 갈아먹는 BigQuery[3] 빅쿼리 SQL 분산 실행 지난 글 갈아먹는 BigQuery [1] 빅쿼리 소개 갈아먹는 BigQuery [2] 빅쿼리 스키마 및 데이터 모델 갈아먹는 BigData [1] MapReduce 이해하기 들어가며 지난 시간에 BigQuery의 큰 특징 중 하나인 Columnar Storage에 대해서 알아보았습니다. 이번에는 또 다른 특징인 트리 기반의 쿼리 분산 실행에 대해서 알아보겠습니다. 컬럼 기반으로 저장된 데이터에 대해서 어떻게 SQL문을 적용하는 지에 대한 세부적인 내용 보다는 어떻게 방대한 양의 서버들에 SQL 쿼리를 분산시키고 이를 수합하는 지에 초점을 맞추어 진행하겠습니다. (지난 포스팅과 마찬가지로 빅 쿼리의 전신인 Dremel의 논문에 기반합니다.) Tree Architecture Dremel은 입력 쿼리가 들어오.. 갈아먹는 BigQuery [2] 빅쿼리 스키마 및 데이터 모델 지난 글 갈아먹는 BigQuery [1] 빅쿼리 소개 들어가며 지난 시간에 빅 쿼리에 대한 간략한 소개와 빅 쿼리의 전신인 Dremel에 대해서 알아보았습니다. 그리고 Dremel의 가장 큰 특징은 Columnar Storage와 Tree Architecture를 살펴봤습니다. 이번에는 빅 쿼리의 재미있는 특징 중에 하나인 Array와 Struct를 소개하면서 빅 쿼리가 지향하는 스키마 설계 방식을 다뤄보겠습니다. 또한 이를 Columnar Storage 상에서 구현하기 위한 Dremel의 데이터 모델을 자세히 알아보겠습니다. Big Query 스키마 BigQuery는 RDBMS 처럼 일정한 스키마를 가진 테이블을 생성하고, 정형화 된 데이터(structured data)를 저장합니다. 그렇기 때문에 r.. 이전 1 2 3 다음
