Hadoop 은 무엇을 하고 있습니까?

는 대용량 데이터 저장 및 계산을 제공하며 Java 언어 기반이 필요합니다.

Hadoop 은 HDFS (Hadoop Distributed File System) 를 구현했습니다. 내결함성이 뛰어나고 저렴한 (low-cost) 하드웨어에 배치하도록 설계되었습니다. 또한 대용량 데이터 세트 (large data set) 가 있는 애플리케이션에 적합한 애플리케이션 데이터에 대한 높은 처리량을 제공합니다.

특징

1, 스냅샷은 특정 시간에 데이터 복제본을 저장할 수 있도록 지원하며, 스냅샷은 유효하지 않은 클러스터를 이전의 일반 시점으로 롤백할 수 있습니다. HDFS 는 이미 메타데이터 스냅샷을 지원합니다.

2, HDFS 는 대용량 파일을 지원하도록 설계되었습니다. HDFS 에서 실행되는 프로그램도 큰 데이터 세트를 처리하는 데 사용됩니다. 이러한 프로그램은 데이터를 한 번만 작성하고, 데이터 요청을 한 번 이상 읽으며, 이러한 읽기 작업은 스트리밍 속도를 충족해야 합니다.

HDFS 는 파일에 대한 한 번의 쓰기 다중 읽기 작업을 지원합니다. HDFS 의 일반적인 블록 크기는 64MB 이며, HDFS 파일은 64MB 크기의 여러 블록으로 나눌 수 있으며, 필요한 경우 각 블록을 서로 다른 데이터 노드에 배포할 수 있습니다.

3, 단계 상태: 클라이언트가 파일을 만드는 요청은 이름 노드로 즉시 전달되지 않습니다. 실제로 처음에 HDFS 클라이언트는 파일 데이터를 로컬 임시 파일에 캐시했습니다.