빅데이터의 핵심기술은 무엇인가요?

빅데이터 기술의 시스템은 데이터 수집, 데이터 전처리, 분산 저장, 데이터베이스, 데이터 웨어하우스, 기계 학습, 병렬 컴퓨팅, 시각화 등을 포함하는 규모가 크고 복잡합니다.

1. 데이터 수집 및 전처리: FlumeNG 실시간 로그 수집 시스템은 데이터 수집을 위해 로그 시스템에서 다양한 데이터 전송자를 사용자 정의하는 것을 지원합니다. Zookeeper는 데이터 동기화 서비스를 제공하는 분산형 오픈 소스 분산 애플리케이션 조정 서비스입니다.

2. 데이터 스토리지: Hadoop은 오프라인 및 대규모 데이터 분석을 위해 설계되었으며 핵심 스토리지 엔진으로 데이터 스토리지에 널리 사용되었습니다. HBase는 분산형 열 기반 오픈 소스 데이터베이스로, HDFS를 캡슐화한 것으로 간주할 수 있습니다. 이는 본질적으로 데이터 저장소이자 NoSQL 데이터베이스입니다.

3. 데이터 정리: Hadoop의 쿼리 엔진인 MapReduce는 대규모 데이터 세트의 병렬 컴퓨팅에 사용됩니다.

4. 데이터 쿼리 분석: Hive의 핵심 작업은 SQL 문을 MR 프로그램으로 변환하는 것입니다. 이는 구조화된 데이터를 데이터베이스 테이블에 매핑하고 HQL(HiveSQL) 쿼리 기능을 제공할 수 있습니다. Spark는 대화형 쿼리를 제공할 수 있을 뿐만 아니라 반복적인 워크로드도 최적화할 수 있는 인메모리 분산 데이터 세트를 지원합니다.

5. 데이터 시각화: 일부 BI 플랫폼과 연결하여 분석된 데이터를 시각화하고 이를 의사결정 서비스에 활용합니다.