하둡
위키백과 ― 우리 모두의 백과사전.
하둡(Hadoop)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자유 자바 소프트웨어 프레임워크이다. 원래 너치의 분산처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다[1]. 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)과 맵리듀스를 구현한 것이다.[2].
목차 |
[편집] 하둡 분산 파일 시스템
하둡 분산 파일 시스템은 다음과 같은 시스템에서 잘 동작하는 것을 목표로 하고 있다[3].
[편집] 하드웨어 오동작
하드웨어의 수가 많아지면 그 중에 일부 하드웨어가 오동작하는 것은 예외 상황이 아니라 항상 발생하는 일이다. 따라서 이런 상황에서 빨리 자동으로 복구하는 것은 HDFS의 중요한 목표다.
[편집] 스트리밍 자료 접근
범용 파일 시스템과 달리 반응 속도보다는 시간당 처리량에 최적화되어 있다.
[편집] 큰 자료 집합
한 파일이 기가바이트나 테라바이트 정도의 크기를 갖는 것을 목적으로 설계되었다. 자료 대역폭 총량이 높고, 하나의 클러스터에 수 백개의 노드를 둘 수 있다. 하나의 인스턴스에서 수천만여 파일을 지원한다.
[편집] 간단한 결합 모델
한번 쓰고 여러번 읽는 모델에 적합한 구조이다. 파일이 한번 작성되고 닫히면 바뀔 필요가 없는 경우를 위한 것이다. 이렇게 함으로써 처리량을 극대화할 수 있다.
[편집] 자료를 옮기는 것보다 계산을 옮기는 것이 비용이 적게 든다
자료를 많이 옮기면 대역폭이 많이 들기 때문에 네트워크 혼잡으로 인하여 전체 처리량이 감소한다. 가까운 곳에 있는 자료를 처리하게 계산 작업을 옮기면 전체적인 처리량이 더 높아진다.
[편집] 다른 종류의 하드웨어와 소프트웨어 플랫폼과의 호환성
서로 다른 하드웨어와 소프트웨어 플랫폼들을 묶어 놓아도 잘 동작한다.
[편집] 네임노드와 데이터노드
HDFS는 master/slave 구조를 가진다. HDFS 클러스터는 하나의 네임노드와, 파일 시스템을 관리하고 클라이언트의 접근을 통제하는 마스터 서버로 구성된다. 게다가 클러스터의 각 노드에는 데이터노드가 하나씩 존재하고, 이 데이터 노드는 실행될 때 마다 노드에 추가되는 스토리지를 관리한다. HDFS는 네임스페이스를 공개하여서 유저 데이터가 파일에 저장되는것을 허락한다. 내부적으로 하나의 파일은 하나 이상의 블락으로 나누어져 있고, 이 블락들은 데이터노드들에 저장되어져 있다. 네임노드는 파일과 디렉토리의 open, close, rename등, 파일시스템의 네임스페이스의 여러 기능을 수행한다. 또한, 데이터 노드와 블락들의 맵핑을 결정한다. 데이터 노드는 파일시스템의 클라이언트가 요구하는 read, write 기능들을 담당한다. 또한 데이터 노드는 네임노드에서의 생성, 삭제, 복제 등와 같은 기능도 수행한다.
네임노드와 데이터노드는 GNU/Linux OS를 기반으로 하는 상용머신에서 실행하기 위해 디자인된 소프트웨어의 일부이다. HDFS는 Java 언어를 사용하므로 Java가 동작하는 어떤 머신에서나 네임노드나 데이터노드 소프트웨어를 실행할 수 있다.
[편집] 참고자료
- ↑ (영어)"Hadoop is a Lucene sub-project that contains the distributed computing platform that was formerly a part of Nutch. This includes the Hadoop Distributed Filesystem (HDFS) and an implementation of map/reduce." About Hadoop
- ↑ (영어)"Hadoop is a framework for running applications on large clusters of commodity hardware. The Hadoop framework transparently provides applications both reliability and data motion. Hadoop implements a computational paradigm named map/reduce, where the application is divided into many small fragments of work, each of which may be executed or reexecuted on any node in the cluster. In addition, it provides a distributed file system that stores data on the compute nodes, providing very high aggregate bandwidth across the cluster. Both map/reduce and the distributed file system are designed so that node failures are automatically handled by the framework." About Hadoop
- ↑ (영어)Apache Software Foundation, The Hadoop Distributed File System: Architecture and Design, 2007, 2007-10-28 내용 참고
[편집] 바깥고리
- (영어)하둡 아파치 루씬 홈페이지
- (영어)하둡 아파치 루씬 프로젝트 페이지
