슈퍼컴퓨팅 분야에서 엑사스케일 컴퓨팅의 중요성

브랜든 드래거(Brandon Draeger, HPE 컴퓨팅 사업부)
브랜든 드래거(Brandon Draeger, HPE 컴퓨팅 사업부)

현재 전세계가 함께 직면해 있는 문제로 인해 우리는 하루아침에 디지털이 최우선인 세상으로 탈바꿈하고 있다.

새로운 일상 속의 공공보건, 지속가능성, 그리고 비즈니스 모델에 대한 새로운 방안 모색을 위해 혁신과 발견 그리고 인사이트의 힘이 그 어느 때보다 더욱 중요하다.

기존의 방식은 더이상 적용되지 않으며 이제는 우리가 마주한 문제들을 해결하기 위해 이전과는 완전히 다른 접근방식을 모색해야만 한다.

오랫동안 슈퍼컴퓨팅은 역사적인 문제 해결에 아주 유용한 툴이 돼 왔다. 이어 오늘날에도 전세계의 연구자들은 코로나19에 대응하기 위해 힘을 모으고 있으며 이 모멘텀을 기회로 삼아 슈퍼컴퓨팅은 더욱 진화해 엑사스케일 시대가 바라는 새로운 요구를 받아들여야만 한다.

이에 HPE는 신규 HPE 크레이 슈퍼컴퓨팅(HPE Cray supercomputing) 라인을 통해 40년 이상 슈퍼컴퓨팅을 선도한 역사이래 최고의 제품을 소개하려 한다.

이번 신규 솔루션은 슈퍼컴퓨팅의 새로운 챕터의 시작을 알리며 고객이 엑사스케일 시대 컴퓨팅의 모든 가능성을 경험할 수 있도록 지원할 것이다.

 

엑사스케일 시대로의 진입

엑사스케일 시대는 대형 정부 연구소들만이 구매할 수 있는 소수의 시스템에 한정돼 있지 않다. 엑사스케일 시대는 빠르게 증가하는 데이터 속에서 가장 핵심 인사이트와 가치를 추출하기 위해 필요한 새로운 컴퓨팅 기술을 다루고 있다.

이러한 기술들은 슈퍼컴퓨팅 인프라를 진화시킬 뿐만 아니라 학계 및 상용 데이터센터 내의 혁신과 디지털 트랜스포메이션에 힘을 실어줄 것이다.

정확히 엑사스케일 시대에 필요한 새로운 인사이트를 갖기 위해 필요한 기술들은 다음과 같다.

먼저, 복잡하고 새로운 워크로드를 지원할 수 있는 신속하고도 인텔리전트한 인터커넥트가 필요하다. 우리는 데이터가 구현되는 방식에 더 넓은 범위의 애널리틱스 방식을 적용하게 되는데 이는 한 워크플로우에서 실시간으로 HPC, 애널리틱스, AI 워크로드를 다양하게 결합해 활용하는 것을 의미하다.

이런 워크로드의 결합은 집중적인 컴퓨팅이 요구됨에 따라 오늘날의 최신 기술과 호환 가능할 뿐만 아니라 향후 더 많은 프로세서 및 액셀러레이터 아키텍처를 지원할 수 있는 유연한 인프라가 필수적이다.

또 빠른 속도의 개별 컴퓨터 노드와 함께 다양한 규모에서 안정적으로 다양한 워크로드를 지원할 수 있는 기능 역시 매우 중요하다.

이렇듯 새롭게 결합된 HPC, 애널리틱스, AI 워크로드를 베어메탈 환경에서 통합된 워크플로우로 실행하거나 기존의 슈퍼컴퓨팅 소프트웨어에서 컨테이너화된 워크로드로 지원하는 것은 쉽지 않다. 이를 위해서는 관리자와 개발자가 차세대 애플리케이션을 개발할 수 있도록 클라우드형 경험을 제공하는 새로운 유연한 소프트웨어 인프라가 필수적이다.

마지막으로 제일 중요한 핵심은 바로 데이터라고 할 수 있다. 수없이 다양한 데이터 종류와 액세스 패턴이 넘쳐나는 이 시대에 정확한 시간과 정확한 장소에 데이터를 전달할 수 있는 새로운 데이터 플로우가 필요하다. 즉, 거대 스케일에서도 비용 효율적인 성능을 자랑하는 새로운 HPC 스토리지가 필요하게 될 것이다.

이것이 바로 엑사스케일 시대 하드웨와 소프트웨어 인프라가 제공해야하는 기능이며 HPE는 HPE 크레이 슈퍼컴퓨팅 라인을 통해 해당 기능을 최초로 제공할 수 있게 됐다. 해당 제품군은 세계 최초 3대 엑사스케일 시스템을 운영하는 HPE의 뛰어난 HPC 핵심 기술과 크레이 샤스타(Shsata) 아키텍처를 결합함으로써 탄생할 수 있었다.

(사진=HPE)
(사진=HPE)

 

HPE 크레이 슈퍼컴퓨터(HPE Cray Supercomputer)

HPE 크레이 슈퍼컴퓨터는 우리가 IT 시장에 선보이는 최초의 시스템이다. HPE 크레이 슈퍼컴퓨터의 더욱 업그레이드된 하드웨어와 소프트웨어를 통해 코어 카운트가 증가하거나 컴퓨팅 노드가 급증할 때 그리고 AI 결합 시 워크플로우가 증가될 때 나타나는 병목현상, 처리능력 및 업무 수행 관련 이슈를 해결할 수 있다.

관리 툴셋과 네이티브 이더넷 호환성(Native Ethernet Compatibility)을 바탕으로 클라우드형 애플리케이션 및 컨버지드 HPC의 더욱 향상된 생산성과 워크로드를 느끼실 수 있다. 또한 데이터센터 스토리지와 리소스에 직접 연결돼 오늘날 AI 애플리케이션에게 필요한 I/O 대역폭도 제공한다.

HPE 크레이 슈퍼컴퓨터는 슈퍼컴퓨팅 환경에서 서비스형(as-a-Service)으로 제공됨으로써 컨버지드 워크로드를 더욱 간편하게 실행해 슈퍼컴퓨팅과 클라우드, 그리고 데이터센터를 서로 연결해주고 있다.

HPE 크레이 슈퍼컴퓨터는 다중의 프로세서 아키텍처와 액셀러레이터 옵션을 지원하며 추가적으로 향후 차세대 블레이드 및 서버와 호환될 수 있도록 설계됐다. HPE 크레이 슈퍼컴퓨터는 ‘HPE 크레이 엑스 수냉식(Liquid-cooled) 인프라’와 ‘HPE 크레이 공랭식(Air-cooled) 인프라’, 2가지 구성으로 이용 가능하다.

 

HPE 크레이 엑스 수냉식(Liquid-cooled) 인프라

대규모 시스템을 위한 고사양의 성능, 집적도 및 효율성을 원하는 고객을 위해서 HPE 크레이 엑스 슈퍼컴퓨터는 수냉식 캐비닛으로 구성돼 컴팩트한 블레이드 환경 내 모든 부품을 수냉식으로 냉각한다.

HPE가 자체 디자인한 캐비닛 아키텍처는 획기적으로 최고의 CPU와 GPU 전력량(500W 이상)을 지원하며 인터커넥트 케이블링을 없애고 공랭식 랙 인프라와 비교시 운영 비용을 총 50% 이상을 절약한다. 실제로 수냉식 시스템의 수명주기 대비 설치 비용은 기존의 랙 기반 시스템보다 최대 33%가 더 저렴했다. 또 전자케이블 대비 더 비용이 높은 광 인터커넥트 케이블(Optical Interconnect Cable)의 사용을 최소화해 더욱 컴팩트한 시스템 아키텍처를 구성했다.

 

HPE 크레이 공랭식(Air-cooled) 인프라

공랭식 HPE 크레이 슈퍼컴퓨팅 솔루션은 HPE 슬링샷(HPE Slingshot) 인터커넥트와 HPE 크레이 소프트웨어 스택과 결합된 HPE Apollo 컴퓨터 노드를 기반으로 하고 있다. 기능적으로 수냉식과 공랭식 솔루션의 프로세서는 모두 동일한 인터커넥트와 소프트웨어를 지원하고 있다.

 

데이터 트래픽과 혼잡도 처리‧더욱 용이한 관리 위한

인터커넥트 기술 활용

“미래의 슈퍼컴퓨팅은 어떠한 모습일 것인가?”

HPE 크레이 슈퍼컴퓨터 디자인은 아주 간단하고도 기본적인 질문에서 시작됐다.

질문에 대한 답변을 고객에게서 모색한 끝에 우리는 오늘날 더욱 더 많은 HPC 사용자들이 시뮬레이션, 애널리틱스, 그리고 AI와 같이 다양한 워크플로우를 결합해 한 시스템에서 동시다발적으로 실행하길 원한다는 것을 확인했다.

여러 시스템으로 다양한 워크로드를 수행하는 시대는 빠르게 저물어 감에 따라 이제 우리는 더욱 유연하고 다차원적인 아키텍처를 구성하는 것으로 신속히 목표를 재수립했다.

동시에 HPE 크레이 슈퍼컴퓨터의 성능을 더 다양한 HPC 사용자들이 누릴 수 있도록 HPE는 표준 HPC 환경에 부합하고 기존의 데이터센터의 장비와도 호환되는 시스템을 디자인하고자 했다.

대규모 차세대 시스템은 중추적인 역할을 할 수 있는 빠른 속도와 계획적으로 설계된 슈퍼컴퓨팅 인터커넥트를 사용하면서 기존과 신규 시스템을 서로 연결시켜줄 수 있어야 한다.

이러한 기능을 갖추고 있는 제품이 바로 ‘HPE 슬링샷 인터커넥트(HPE Slingshot interconnect)’다.

HPE 슬링샷은 64개 포트를 활용해 200Gb/s 속도로 운영할 수 있는 상당히 높은 대역폭을 제공하며 데이터 기반 HPC와 AI 워크로드를 겨냥한 신규 기능을 갖추고 있다.

HPE 슬링샷 내 높은 기수(Radix)의 64포트 스위치는 드래곤플라이(Drangonfly) 토폴로지와 결합해 모든 엔드포인트 사이에서 최대 3개의 스위치 간 홉으로 25만개 이상의 호스트 포트로 확장 가능하다.

또 대규모 설치 시의 지연성을 더욱 향상시켰을 뿐만 아니라 로우-다이아미터(Low-diameter) 네트워크를 통해 네트워크 장비, 케이블, 전원 및 냉각 시스템 비용을 더욱 감소시켜 주었다. 이에 더해 어댑티브 라우팅 알고리즘을 더욱 활성화해 애플리케이션 성능을 높였다.

 

신규 HPE 크레이 소프트웨어 스택

더욱 발전된 슈퍼컴퓨팅 소프트웨어 인프라에 대한 니즈를 확인한 후 HPE는 HPE 크레이 소프트웨어 스택을 디자인 및 개발했다.

HPE 크레이 소프트웨어 스택은 말그대로 수십년간 쌓아온 슈퍼컴퓨팅 전문성을 바탕으로 용이한 관리기능과 함께 더욱 향상된 신뢰성, 가용성, 회복력 및 호환운용 가능성을 제공할 수 있도록 설계됐다. 클라우드나 노트북을 활용한 개발부터 슈퍼컴퓨팅 상에서의 활용까지 HPE 크레이 소프트웨어 스택을 통해 애플리케이션을 다양하게 확장해 보자.

 

크레이 클러스터 스토어 스토리지 솔루션

(Cray ClusterStor storage solution)

엑사스케일 시대는 HPC, 애널리틱스 그리고 AI 워크로드를 한데 모아 활용하며 현재 HPC 스토리지의 수준을 넘어가는 기술을 요구하고 있다.

전통적인 모델링과 시뮬레이션은 통상적으로 대규모 데이터세트에 연속적으로 접근하는 I/O 패턴을 보유하고 있는 반면 AI/머신러닝은 단일 추론에서 머신러닝(ML) 모델 트레이닝에 이르기까지 다양한 범위를 아우르며 일괄적인 액세스와 무작위 I/O 액세스 모두를 보유하고 있다.

결과적으로 성능과 예산 부분을 고려했을 때 현재의 HPC 스토리지 인프라만을 고수하는 것은 큰 도움이 되지 않을 것이다.

이에 크레이 클러스터 스토어 E1000(Cray ClusterStor E1000)은 확장 가능하고 비용 효율적이면서 새로운 유형의 데이터 플로우를 지원할 수 있도록 계획적으로 공학 설계됐다. 즉, 전통적인 HPC 스토리지 시스템과 최신 올플래시 엔터프라이즈 파일 스토리지 시스템의 정수를 결합한 완벽한 시스템이라고 할 수 있다.

크레이 클러스터스토어 E1000은 HPE의 새로운 서비스와 유연한 구매모델과 함께 결합돼 HPC 스토리지 사용자들의 옵션을 한 층 더 넓혀주고 있다.

 

엑사스케일 시대로의 진입

세상을 한 걸음 더 앞서 보는 선지자들이 우리에게 던지는 질문과 문제들은 현재 우리가 갖고 있는 가능성의 한계에 도전하는 새로운 발견의 원동력이 되기도 한다. 이 믿음을 바탕으로 수십년간 HPE와 크레이는 업계 전문가들과 협력해 최상의 독창적인 슈퍼컴퓨팅 성능을 제공해 그들이 그려왔던 미래를 실현하는 일을 지원해 왔다.

이러한 여정 속에서 HPE 크레이 슈퍼컴퓨터와 그 기반 기술은 우리가 컴퓨팅의 엑사스케일 시대에 진입하며 탐험해야 할 다음 단계다.

HPE 포트폴리오에 새롭게 추가된 솔루션을 바탕으로 우리는 모든 규모의 데이터센터에 슈퍼컴퓨터를 제공할 수 있게 됐다. 그리고 오늘날 현재 직면한 문제들을 해결하기 위해 어느 때 보다 더 최고의 슈퍼컴퓨팅 툴에 대한 요구가 더욱 높아지고 있으며, 이를 위해 HPE는 항상 지원할 준비가 돼 있다.

관련기사

저작권자 © 애플경제 무단전재 및 재배포 금지