mapreduce (2) 썸네일형 리스트형 🛢️ 갈아먹는 빅데이터 BigQuery 갈아먹는 BigQuery [1] 빅쿼리 소개 갈아먹는 BigQuery [2] 빅쿼리 스키마 및 데이터 모델 갈아먹는 BigQuery[3] 빅쿼리 SQL 분산 실행 갈아먹는 BigQuery[4] 빅쿼리 아키텍쳐 Hadoop 에코 시스텝 갈아먹는 BigData [1] MapReduce 이해하기 갈아먹는 BigData[2] HDFS(하둡 분산 파일 시스템) 갈아먹는 BigData [1] MapReduce 이해하기 들어가며 빅 쿼리에 대한 포스팅을 작성하면서 맵 리듀스나 스파크 등 빅 데이터 분산 처리 기술들에 대한 지식이 부족함을 느꼈습니다. 이전에 잠깐 공부해보았던 기술들이지만 찬찬히 페이퍼를 읽어보고 개념들을 다시 정리해보려 합니다. 가장 먼저 리뷰해 볼 것은 분산 처리와 빅 데이터의 포문을 연 구글의 맵 리듀스 논문입니다. 맵 리듀스를 구현하여 오픈 소스화 시킨게 하둡이고, 많은 기업들에서 지난 십수년간 많은 사랑을 받아왔습니다. 맵 리듀스 역시 단점이 있어서 현재는 스파크나 빅 쿼리 등에 자리를 많이 내주었지만 여전히 대용량 데이터의 배치 처리에서 많이 사용된다고 합니다. 또한 맵 리듀스의 한계점을 극복하는 방향으로 빅데이터 분석 기술이 발전하였다고 하니 충분히 살펴볼 가치가 있습니다. 영향력: 맵 리듀스.. 이전 1 다음
