클라우드 컴퓨팅 IT 인프라 05-하이퍼컨버지드 기술에 대한 이론 연구 이야기

사실 하이퍼컨버전스는 클라우드 컴퓨팅 IT 인프라에 배치할 때 완전히 적합하지 않습니다. 분산 스토리지라고 말하면서도 하드웨어 서버이자 스토리지이기도 하고, 하드웨어라고 말하지만 분산 스토리지 소프트웨어와는 분리될 수 없습니다.

전통적인 IT 인프라 아키텍처는 주로 네트워크, 컴퓨팅, 스토리지의 세 가지 계층으로 나뉩니다. 그러나 클라우드 컴퓨팅과 분산 스토리지 기술의 발전, x86 서버의 표준화로 컴퓨팅과 스토리지 노드를 통합한 아키텍처, 즉 하이퍼컨버지드 아키텍처가 점차 등장하고 있다. 하이퍼컨버전스는 3계층 IT 인프라 아키텍처를 2개 계층으로 축소합니다.

2019년 11월 하이퍼컨버지드 제품에 대한 Gartner Magic Quadrant에서 Leaders Quadrant에는 Nutanix, DELL, VMware, CISCO, HPE 등 5개 회사가 있습니다. (DELL vxRail 올인원 머신에 사용되는 분산 스토리지 소프트웨어도 VMware의 VSAN이며, VMware는 VSAN을 위한 순수 소프트웨어 솔루션을 제공합니다.)

Nutanix는 당연히 하이퍼 컨버지드 리더 중 리더가 될 수 있습니다. 시장에서 충분히 검증되었고 시장에서 인정받았습니다. 그리고 공개정보(뉴타닉스 바이블)가 상대적으로 완전하기 때문에 뉴타닉스를 통해 하이퍼컨버전스를 엿볼 수 있다.

여기로 옮기지는 않겠습니다. 검색엔진에 “Nutanix Bible” 또는 “Nutanix-Bible”을 직접 검색하시면 해당 공식문서를 찾으실 수 있습니다.

NUTANIX Bible에서 인용 - "Nutanix 솔루션은 스토리지와 컴퓨팅 리소스를 통합하는 솔루션입니다. 솔루션은 2U 공간에 2개 또는 4개의 노드를 제공하는 통합 소프트웨어 및 하드웨어 플랫폼입니다.

각 노드는 Nutanix 핵심 소프트웨어를 실행하는 하이퍼바이저(ESXi, KVM, Hyper-V 지원) 및 Nutanix 컨트롤러 가상 머신(CVM)을 실행하여 머신에 해당하는 모든 가상 머신 및 가상 머신을 제공합니다. /p>

Intel VT-d(VM 직접 경로) 기술 덕분에 SCSI 제어(SSD 및 HDD 장치 관리)가 VMware vSphere를 실행하는 Nutanix 장치에 직접 전달됩니다. ”

개인 요약: 위 공식 문서에 따르면 2U 공간에 2~4개의 Nutanix 노드를 설치할 수 있으므로(각 노드는 1개의 물리적 서버에 해당) 장비 설치 밀도가 매우 높습니다. 각 노드에는 가상화 소프트웨어가 설치되며 가상화 계층 위에서 Nutanix 제어 가상 머신(CVM)을 실행합니다. 이 가상 머신은 주로 서로 다른 Nutanix 노드 간의 제어 평면 통신을 담당합니다. 단일 노드에는 SSD 하드 디스크와 HDD 하드 디스크가 장착되어 디스크 어레이 대신 스토리지로 사용됩니다. 각 노드에는 독립적인 CPU와 메모리가 있으며 컴퓨팅 노드로 사용됩니다.

1. 인프라

3개의 Nutanix 노드를 예로 들어 보겠습니다. 각 노드는 하이퍼바이저와 함께 설치되고 게스트 가상 머신은 하이퍼바이저에서 실행되며 각 노드에는 Nutanix가 있습니다. 컨트롤러 VM은 SSD 2개와 HDD 4개로 구성되며 SCSI 컨트롤러를 통해 읽고 씁니다.

2. 데이터 보호

Nuntanix는 Raid, LVM 및 기타 방법을 사용하여 데이터를 보호하는 기존 디스크 어레이와 다릅니다. 대신 일반 분산 스토리지처럼 복사본을 생성합니다. 데이터를 보호하기 위해 다른 Nutanix 노드에 복사합니다. Nutanix는 복사본 수를 RF(일반적으로 RF는 2~3)라고 합니다.

고객 가상 머신이 "위 그림의 1a) 프로세스 참조" 데이터를 쓸 때 해당 데이터는 먼저 로컬 Nutanix 노드의 SSD 하드 디스크로 분할된 OpLog 논리 영역(즉, Cache의 역할)을 수행한 후 "1b)" 프로세스를 실행합니다. 로컬 노드의 CVM은 로컬 SSD의 OpLog에서 다른 노드의 SSD의 OpLog로 데이터를 복사합니다. 복사본 수는 RF에 따라 다릅니다. 다른 노드의 CVM은 데이터 쓰기가 완료되었다고 판단하면 "1c" 프로세스를 실행하고 쓰기가 완료되었다는 응답을 보낸다. 데이터 보호는 데이터 복사본을 통해 달성됩니다.

데이터는 특정 규칙에 따라 SSD의 OpLog에서 SSD와 HDD의 Extent Store 영역에 비동기적으로 기록됩니다.

3. 스토리지 계층화

Nutanix 데이터 쓰기는 로컬 디스크 쓰기를 주요 쓰기 원칙(핵심 원칙)으로 기반으로 합니다.

고객 가상 머신이 데이터를 쓸 때 로컬 SSD에 쓰는 것이 우선적으로 적용됩니다(SSD의 사용 용량이 임계값에 도달하지 않은 경우). 로컬 SSD가 가득 찬 경우 가장 낮은 데이터가 사용됩니다. 로컬 SSD가 기록됩니다. 클러스터에 있는 다른 노드의 SSD로 마이그레이션하여 로컬 SSD의 공간을 확보하고 데이터를 씁니다. 로컬 디스크 배치의 원칙은 저장된 데이터에 액세스하는 가상 머신의 속도를 최대화하여 로컬 가상 머신이 노드 전체에 저장된 데이터에 액세스할 필요가 없도록 하는 것입니다. (이것이 Virtual SAN과 다른 분산 파일 시스템 간의 가장 큰 원칙적 차이점이어야 합니다.)

전체 클러스터의 SSD 사용 용량이 임계값(일반적으로 75%)에 도달하면 각 노드가 SSD 데이터로 마이그레이션됩니다. 노드의 HDD 하드 디스크.

SSD에서 HDD로 데이터를 마이그레이션할 때 모든 데이터를 HDD로 마이그레이션하는 것이 아니라 핫 액세스와 콜드 액세스를 기준으로 데이터를 정렬하고 액세스가 적은 콜드 데이터를 먼저 HDD로 마이그레이션합니다.

SSD 용량 활용도가 95%에 도달하면 콜드 데이터의 20%가 HDD로 마이그레이션되고, SSD 용량이 80%에 도달하면 콜드 데이터의 15%가 HDD로 마이그레이션됩니다. 기본.

4. 데이터 읽기 및 마이그레이션

Nutanix Bible Quote-" I/O 데이터 뉴타닉스 하이퍼컨버지드 플랫폼의 강력한 성능은 지역성이 핵심이다. 모든 읽기 및 쓰기 I/O 요청은 VM이 위치한 노드의 로컬 CVM에서 처리되므로 기본적으로 가상 머신에서는 발생하지 않는다. 하나의 노드에 있고 액세스해야 하는 스토리지 데이터가 다른 물리적 노드에 있는 경우 VM 데이터는 로컬 CVM과 관리하는 로컬 디스크에 의해 제공됩니다. ="text-장식: 없음; border-bottom: 1px dashed grey;">VM이 한 노드에서 다른 노드로 마이그레이션될 때(또는 HA 전환이 발생할 때) 이 VM의 데이터는 로컬 노드에서 복사됩니다. 이전 노드의 CVM에 저장된 이전 데이터를 읽을 때 I/O 요청은 로컬 CVM을 통해 원격 CVM으로 전달됩니다. I/O 요청이 다른 노드에 있는 것으로 감지되면 데이터는 자동으로 백그라운드에서 로컬 노드로 이동되어 모든 읽기 I/O가 로컬로 제공되고 데이터는 읽을 때만 재배치됩니다. 따라서 재배치가 필요하지 않습니다. ”

개인 요약: 일반적으로 가상 머신은 로컬 노드의 하드 디스크에 데이터가 없으면 읽고 씁니다. 데이터가 있으면 다른 노드에서 먼저 복사됩니다. 가상 머신이 다른 노드에 직접 액세스하는 대신 로컬 노드 하드 디스크로 이동하여 로컬 가상 머신에 대한 액세스를 제공합니다. 즉, 로컬 배치의 핵심 아이디어를 구현하는 것입니다.

5. 뉴타닉스 솔루션의 장점과 단점

뉴타닉스 솔루션의 장점:

1) 가상 머신 접속 속도를 보장하는 로컬 디스크 배치 전략 스토리지에: 가상 머신 쓰기 들어오는 데이터는 모두 이 물리적 노드의 디스크에 있으므로 노드 간 스토리지 액세스를 방지하고 액세스 속도를 보장하며 네트워크 압력을 줄입니다.

2) SSD 디스크를 데이터 캐시로 사용하여 IO 성능을 크게 향상시킵니다.

임의 읽기 및 쓰기 관점에서 위 표의 데이터를 참조하세요. SSD는 SATA보다 성능이 약 1000배 향상되었습니다. Nutanix의 로컬 디스크 배치 전략과 결합하여 가상 머신 데이터를 쓸 때 두 개의 로컬 SSD 하드 디스크만 데이터 쓰기를 위한 데이터 캐시로 사용됩니다.

하지만 단일 SSD 하드 드라이브의 IO가 기존 어레이의 SATA보다 1,000배 높기 때문에 IO 성능이 크게 향상됩니다. (유사한 IO 성능을 제공하기 위해 Raid에서 2,000개 이상의 SATA 하드 디스크를 사용하는 것과 같습니다.)

3) 높은 IO 성능을 보장하려면 항상 SSD에 먼저 쓰십시오.

HDD는 데이터 쓰기에 참여하지 않습니다. 로컬 SSD 용량이 가득 차더라도 콜드 데이터는 다른 곳으로 마이그레이션됩니다. 그런 다음 SSD는 높은 IO를 보장하기 위해 읽기 및 쓰기에 사용됩니다. SSD 콜드 데이터를 HDD로 비동기식으로 마이그레이션합니다.

4) 핫 및 콜드 계층형 데이터 스토리지

콜드 데이터는 HDD에 저장되고 핫 데이터는 SSD에 유지되어 핫 데이터에 대한 높은 IO 읽기를 보장합니다.

5) 장비 밀도가 높아 컴퓨터실 랙 공간 절약

2U는 스토리지와 컴퓨팅을 포함해 4개의 노드로 구성할 수 있어 이전 랙/블레이드 서버보다 효율적입니다. 그리고 디스크 어레이를 사용하면 많은 공간이 절약됩니다.

뉴타닉스 솔루션의 단점:

1) 로컬 디스크 배치 및 SSD 캐싱 솔루션은 높은 IO를 보장하지만, 하드디스크의 대역폭은 보장되지 않습니다.

기존 디스크 어레이에서는 여러 SATA/SAS 하드 디스크가 Raid 그룹에 추가됩니다. 데이터가 기록되면 파일이 여러 블록으로 분할되어 동일한 Raid의 각 하드 디스크에 배포됩니다. 그룹은 동시에 이 파일의 블록을 읽고 씁니다. 여러 하드 디스크의 병렬 읽기 및 쓰기를 통해 IO 및 대역폭 성능이 향상됩니다.

Nutanix의 솔루션에서는 단일 파일의 읽기 및 쓰기가 로컬 디스크 배치 전략을 따르므로 병렬 읽기 및 쓰기를 위해 파일이 더 이상 여러 하드 디스크로 분할되지 않고 SSD 하드 디스크만 로컬 노드는 이 파일에 쓸 것입니다.

SSD 하드 드라이브의 IO 및 대역폭은 SATA/SAS의 수백 또는 수천 배이지만 SATA/SAS 하드 드라이브에 비해 SSD의 대역폭은 2~3배 더 빠르지만 기존 하드 드라이브는 Raid 방식, 여러 하드 디스크가 병렬로 읽고 씁니다. IO는 SSD만큼 좋지 않지만 대역폭은 단일/2개의 SSD의 대역폭보다 훨씬 높습니다.

따라서 Nutanix의 솔루션은 IO 요구 사항이 높은 비즈니스 유형에 적합하지만 읽기 및 쓰기 원칙으로 인해 IO가 낮고 대역폭이 높은 비즈니스 유형에는 적합하지 않습니다.

3) 업계 경쟁사 비교:

VMWARE EVO RAIL 소프트웨어 패키지: VMware는 하드웨어 제품에 관여하지 않지만 EVO: RAIL 소프트웨어 번들은 자격을 갖춘 EVO: RAIL 파트너에게 제공됩니다. . 대신 파트너는 EVO: RAIL 소프트웨어가 통합된 하드웨어를 판매하고 고객에게 모든 하드웨어 및 소프트웨어 지원을 제공합니다.

EVO:RAIL의 핵심은 실제로 VSphere 가상화 소프트웨어 + VSAN 소프트웨어의 패키징입니다.

하지만 VSAN과 뉴타닉스의 가장 큰 차이점은 뉴타닉스의 현지 배치 전략을 완전히 따를 필요는 없다는 점이다. 여러 노드에 걸쳐 있는 하드 디스크에 로컬 가상 머신의 데이터를 읽고 쓰도록 스트라이프 계수를 설정할 수 있습니다. 기본 스트라이프 계수는 1이고 최대값은 12로 설정할 수 있습니다. 즉, 하나의 가상 머신의 데이터 쓰기입니다. 12노드 SSD 하드 디스크를 사용하여 동시에 읽고 쓸 수 있습니다.

이러한 방식으로 Virtual SAN은 높은 대역폭 요구 사항과 낮은 IO 요구 사항을 가진 비즈니스 유형에 적합하지 않은 Nutanix 솔루션의 단점을 어느 정도 보완할 수 있습니다.

그러나 물리적 노드에 걸친 이러한 종류의 액세스 트래픽은 가상 머신 수가 많을 때 확실히 네트워크에 부담을 주고 네트워크 대역폭이 또 다른 병목 현상이 될 수 있습니다.

둘째, Virtual SAN은 Nutanix와 같은 하이퍼바이저에서 제어 가상 머신 CVM을 실행할 필요 없이 하이퍼바이저 계층에 통합될 수 있습니다.

셋째, Nutanix는 KVM, Hyper-V, ESXI 및 기타 하이퍼바이저를 지원하는 반면 VSAN은 자체 ESXI만 지원합니다.

추가 예정 사항: Virtual SAN의 실제 배포 테스트는 아직 진행되지 않았고, 원리에 대해서만 연구하고 있으므로 Virtual SAN에 관한 부분은 후속 플랫폼 온라인 테스트가 완료된 후 추가될 예정입니다.