기존 데이터베이스 시스템을 사용하여 공간 데이터를 관리하는 단점은 무엇입니까?

대부분의 전통적인 데이터 웨어하우스는 Hadoop 을 기반으로 합니다. 이러한 전통적인 창고 재고 기술은 거의 무제한에 가까운 수평 확장성을 가져왔지만, 전통적인 창고 재고 기술의 비효율적인 결함도 야기했습니다. 비효율적인 것은 주로 다음과 같은 방면에 나타난다.

비효율적인 배포: Hive/HBase/Kylin 을 배포하기 전에 Hadoop 클러스터를 배포해야 합니다. 이러한 구축 효율성은 기존 데이터베이스에 비해 매우 비효율적입니다.

비효율적인 운영 유지 관리: Hive/HBase/Kylin 은 Hadoop 를 기반으로 하며, Hadoop 생태계는 매우 심각한 단일 장애 지점을 초래할 수 있습니다. 즉, Hadoop 시스템의 모든 구성 요소로 인해 전체 시스템을 사용할 수 없게 될 수 있습니다. 전통적인 창고를 사용하는 것은 운영 및 유지 보수에 대한 요구가 매우 높다.

비효율적인 컴퓨팅: 주로 Hive 와 Kylin 에 반영됩니다. 이 두 데이터 웨어하우스에는 자체 스토리지 엔진과 컴퓨팅 엔진이 없으므로 Hive 와 Kylin 은 데이터 자체가 아닌 힙에 의존하여 복잡한 쿼리를 수행할 수 있습니다. 대용량 데이터의 후기에는 빠른 데이터 조회를 위해 특별히 설계된 일부 데이터 저장소 형식이 표준이 되어 이러한 현상이 바뀌었습니다. HBase 의 최적화 핵심은 HBase 가 데이터 자체의 쿼리 속도를 최적화할 수 있도록 재설계된 스토리지 엔진입니다.

02, 높은 지연 시간

Hadoop 기반 창고 엔진은 비효율적일 뿐만 아니라 지연 시간이 긴 과제에 직면해 있습니다. 높은 지연은 주로 다음과 같은 측면에 반영됩니다.

높은 쿼리 지연 시간: Hive 는 데이터 웨어하우스로서 HDFS 의 성능 병목 현상으로 제한됩니다. Hive 의 쿼리 속도가 느리고 지연 시간이 짧은 장면을 지원하기가 어려우며 실시간 계산 장면에 적용할 수 없습니다.

높은 쓰기 지연 시간: HDFS 의 제한과 마찬가지로 Hive 의 데이터 쓰기 지연 시간도 높습니다. 즉, 데이터가 Hive 에 실시간으로 쓸 수 없으므로 실시간 분석 시나리오를 지원할 수 없습니다.

03, 높은 비용

기존의 포인트 창고 엔진도 고비용의 도전을 불러일으키는데, 주로 다음과 같은 방면에서 나타난다.

높은 배포 비용: Hadoop 의 컴퓨팅 논리가 힙 컴퓨팅 리소스를 통해 복잡한 쿼리를 상각하는 데 걸리는 시간으로 인해 최적의 성능을 얻으려면 클러스터의 노드 수가 일정 규모에 도달하도록 요구해야 합니다. 그렇지 않으면 컴퓨팅 효율성이 낮기 때문에 독립 실행기가 성능 병목 현상이 되기 쉽습니다. 이로 인해 Hive 와 같은 Hadoop 기반 창고 배포 비용이 많이 들었습니다.

높은 운영 및 유지 보수 비용: 클러스터 서버가 일정 규모에 도달하면 운영 및 유지 보수 비용이 두 배로 증가합니다. 또한 Hadoop 에 구성 요소가 너무 많아 구성 요소 중 하나라도 실패하면 전체 서비스를 사용할 수 없게 될 수 있으므로 운영 팀은 모든 구성 요소에 대한 운영 인력을 포함해야 합니다. 그렇지 않으면 운영 팀이 작업을 제대로 수행하지 못할 수 있습니다. 이것은 또한 운영 및 유지 보수 팀의 인건비를 크게 증가시킵니다.

높은 스토리지 비용: 클러스터에서 서버 장애로 인한 사용 불가능을 방지하기 위해 Hadoop 의 HDFS 는 기본적으로 3 개의 복제 정책을 사용하여 데이터를 저장합니다. 즉, 데이터는 3 개의 복제본으로 저장됩니다. 이로 인해 스토리지 비용이 크게 증가할 수 있습니다. 차세대 Hadoop 는 복제본 수를 줄이기 위해 EC 삭제 코드 기술을 채택하고 있지만 제한된 사용 시나리오는 콜드 데이터 저장소에만 적용되며 자주 쿼리해야 하는 핫 데이터에는 적용되지 않습니다.

높은 의사 결정 비용: 기존의 대규모 데이터 배포 비용이 높기 때문에 기업은 의사 결정 시 상대적으로 큰 의사 결정 비용에 직면해 있습니다. 한편으로는 초기 투자가 너무 커서 단기간에 효과를 볼 수 없고, 장기 효과가 어떻게 될지는 말하기 어렵다. 한편, 기업들이 창고를 몇 개 짓기로 결심한다 해도 비싼 인프라와 전문 기술자의 부족은 건설 주기가 길어져 예측할 수 없는 변수가 많아 결국 기업의 결정에 영향을 미칠 수 있다.