SmartECM과 dHCI
dHCI와 분산형 스토리지
분산형 스토리지(Disaggregated Storage)는 현대 데이터 센터 설계에서 가장 중요한 변화 중 하나로, "서버 본체 안에 갇혀 있던 저장 장치를 네트워크 밖으로 꺼내 별도의 자원 풀(Pool)로 만드는 것"을 의미한다.
기존 방식에서는 서버를 살 때 그 안에 디스크를 몇 개 넣을지 결정해야 했지만, 분산형 구조에서는 필요할 때마다 네트워크를 통해 스토리지를 자유롭게 할당 받아 사용한다.
1. 분산형 스토리지가 해결하려는 문제
전통적인 서버 구조(DAS/HCI)에는 '리소스 고립(Stranded Resources)'이라는 고질적인 문제가 있다.
상황: 어떤 서버는 계산(CPU)은 엄청 많이 쓰는데 용량(Disk)은 남고, 어떤 서버는 용량은 부족한데 CPU는 놀고 있는 경우(*작위 적인 설정으로 보임)
결과: 자원이 서버 안에 묶여 있어 남는 자원을 다른 서버가 빌려 쓸 수 없으므로 비용 낭비가 발생
해결: 스토리지를 서버에서 떼어내어(Disaggregate) 거대한 "공용 저장소 창고"를 만들고, 각 서버가 필요한 만큼만 네트워크로 연결해 쓰는 것이 분산형 스토리지의 핵심
2. 분산형 스토리지를 가능하게 하는 기술
단순히 외장 스토리지를 쓰는 것(전통적 SAN)과 무엇이 다를까요? 분산형 스토리지는 "로컬 디스크와 똑같은 속도"를 내는 것이 핵심이며, 이를 위해 다음 기술이 사용됩니다.
NVMe-oF (NVMe over Fabrics): 네트워크를 통해 스토리지에 접근할 때 발생하는 지연 시간을 거의 제로(0)에 가깝게 줄여준다.
JBOF / EBOF (Just a Bunch of Flash / Ethernet Bunch of Flash): CPU가 없는 순수 플래시 드라이브 묶음. 서버가 이 상자에 직접 고속으로 연결된다.
컴포저블 인프라(Composable Infrastructure): 소프트웨어가 필요에 따라 "이 서버에 SSD 5개를 붙여줘"라고 명령하면 즉시 논리적으로 연결되는 지능형 인프라이다.
3. 주요 특징 및 장점
특징 | 상세 내용 |
자원의 최적화 | CPU와 스토리지의 비율을 1:1이 아닌, 업무 성격에 맞게 1:100 또는 100:1로 자유롭게 구성 가능 |
비용 효율성 | 스토리지만 부족할 때 서버를 또 살 필요가 없어 하드웨어 및 소프트웨어 라이선스 비용 절감 |
성능 극대화 | 초고성능 NVMe SSD 자원을 여러 서버가 공유하여 데이터 병목 현상 제거 |
운영 유연성 | 특정 서버에 장애가 발생해도 데이터는 외부 스토리지 풀에 있으므로 다른 서버로 즉시 연결 가능 |
4. dHCI와의 관계
dHCI는 이 '분산형 스토리지' 개념을 기업용 패키지로 만든 솔루션이다.
분산형 스토리지: 기술적인 개념 (서버와 저장소의 분리)
dHCI: 상품화된 솔루션 (분산형 구조를 HCI처럼 쉽게 관리하게 만든 것)
5. 적용 사례
AI 및 머신러닝: 거대한 학습 데이터를 여러 대의 GPU 서버가 동시에 고속으로 읽어야 할 때.
클라우드 서비스(CSP): 수천 명의 고객에게 각각 다른 용량과 성능의 스토리지를 실시간으로 할당해야 할 때.
대규모 DB 환경: 데이터 증가 속도가 컴퓨팅 파워 증가 속도보다 훨씬 빠를 때.
dHCI와 NVMe-oF의 결합
성능과 유연성을 극대화하는 최선의 아키텍처
dHCI와 NVMe-oF(NVMe over Fabrics)는 현대 데이터 센터의 성능과 유연성을 극대화하기 위한 '환상의 궁합'으로 평가받는다.
dHCI가 하드웨어 구조를 분리(Disaggregated)하여 유연성을 제공한다면, NVMe-oF는 그 분리된 자원들 사이의 통신 속도를 로컬 자원 수준으로 끌어올리는 '고속 연결 통로' 역할을 한다.
1. dHCI에서 NVMe-oF가 필요한 이유
전통적인 dHCI는 서버와 스토리지가 네트워크(iSCSI 등)로 연결되어 있어, 물리적으로 떨어져 있다는 한계 때문에 미세한 지연 시간(Latency)이 발생할 수 있었다.
NVMe-oF는 NVMe 프로토콜을 네트워크(Ethernet, Fibre Channel 등) 위에서 구현하여, 서버가 외장 스토리지를 마치 자신의 본체에 꽂힌 로컬 SSD처럼 인식하게 만든다.
2. 기술적 시너지 효과
① 극강의 저지연(Low Latency)과 병렬 처리
기존(iSCSI): 데이터 전송 시 CPU가 개입하여 패킷을 캡슐화하고 해제하는 과정에서 병목 현상이 발생했다.
NVMe-oF: 수만 개의 큐(Queue)를 병렬로 처리하며, RDMA(Remote Direct Memory Access) 기술 등을 사용해 CPU 개입을 최소화한다. 이를 통해 지연 시간을 200µs 이하로 낮출 수 있다.
② 서버 자원 효율화 (CPU Offload)
dHCI의 목적 중 하나는 서버 자원을 100% VM 구동에 쓰는 것입니다. NVMe-oF(특히 NVMe/TCP나 RoCE 방식)를 사용하면 네트워크 카드가 통신 처리를 대신 수행해주므로, 서버 CPU는 스토리지 관리 업무에서 완전히 해방됩니다.
③ 병목 없는 독립적 확장
스토리지만 계속 늘려도 NVMe-oF의 거대한 대역폭 덕분에 네트워크가 병목 지점이 되지 않다. 따라서 성능 저하 없이 무한한 확장성을 확보할 수 있다.
3. 어떤 방식을 선택해야 할까요?
NVMe/FC (Fibre Channel)
기존에 SAN 스위치 인프라를 이미 갖추고 있고, 가장 높은 안정성을 원하는 경우.
NVMe/TCP
특수 장비 도입 비용을 아끼고 싶고, 일반 10G/25G/100G 이더넷 환경에서 고성능을 내고 싶은 경우.
NVMe/RDMA (RoCE)
지연 시간에 극도로 민감한 초고성능 HPC나 실시간 금융 거래 시스템인 경우.
결론적으로, dHCI와 NVMe-oF의 결합은 "인프라는 유연하게 관리하면서, 성능은 로컬 서버 이상으로 뽑아내고 싶다"는 요구를 해결하는 최선의 아키텍처이다.