AI H/W에서 간과해선 안될 네트워킹

AI H/W에서 간과해선 안될 네트워킹 - 메리츠證

입력 2025-01-07 09:09
장태민 기자

댓글: 0

[뉴스콤 장태민 기자] 메리츠증권은 7일 "AI H/W에서 네트워킹을 간과해선 안 될 것"이라고 밝혔다.

황수욱 연구원은 "어제는 엔비디아가 11월 7일 이후 약 2달만에 신고가를 경신했다"면서 이같이 밝혓다.

특히 S&P500 YTD 수익률 상위 10종목에는 엔비디아와 테슬라를 포함한 가운데 전력 인프라(CEG, GEV, VST), 반도체 및 반도체 장비업체가 자리했다.

1월 3일 마이크로소프트가 AI 데이터센터 투자를 공격적으로 늘리겠다는 계획을 발표한 이후 AI 인프라 기업들의 주가가 강세를 지속 중이다.

황 연구원은 "올해는 AI 인프라에서 AI usage로 포트폴리오의 무게중심 이동 타이밍이 중요하다"면서 "작년 말에 이미 무게추가 넘어갔나 싶었으나 마이크로소프트의 투자 발표로 그 타이밍이 지연되고 있는 것으로 해석됐다"고 밝혔다.

그는 "AI 인프라 투자 규모 눈높이가 높아진다면, 네트워크 산업에 대한 눈높이도 함께 높아져야 할 것"이라며 "AI가 힘을 발휘하려면 강력한 네트워크가 필요하다"고 밝혔다.

10만개의 프로세서를 단일 AI 컴퓨팅 작업에 투입하려면 프로세서만큼 발전된 네트워크 기술 필요하기 때문이라고 밝혔다.

방대한 양의 AI 학습 연산을 하기 위해서는 한 단위의 작업도 수천 개의 프로세서에 워크로드를 분산해 몇 주 동안 진행해야 한다는 것이다.

Nvidia의 네트워킹 책임자 Gilad Shainer는 AI 기본 컴퓨팅 요소는 프로세서가 아니라 데이터센터이며, 데이터센터에 지출되는 수십억달러 중 점점 더 많은 부분이 수천개의 프로세서를 단일 컴퓨터에 통합하는 네트워크 칩, 레이저, 스위치 공급업체에 전달될 것이라고 밝혔다.

네트워크는 데이터센터 행동방식을 결정하기 때문에 가장 중요한 요소라는 것이다. 엔비디아도 네트워킹 인프라를 자체적으로 공급하지만, AVGO, CSCO, ANET, MRVL도 공급한다.

황 연구원은 "브로드컴 CEO Hock Tan은 네트워크 칩은 현재 전체 데이터센터 지출의 5~10%에 불과하지만 AI 시스템 규모가 50만개~100만개 프로세서 규모가 되면 데이터센터 예산 중 15~20%가 될 것이라고 했다"고 지적했다.

그는 "AI 데이터센터에는 두 개의 네트워크가 존재한다. 먼저 프론트엔드 네트워크는 사용자와 데이터센터를 연결한다. 그리고 백엔드 네트워크는 AI 프로세서와 메모리를 다른 모든 프로세서와 연결하는 네트워크. 브로드컴의 코어 스위칭 책임자인 Ram Velaga는 소형 프로세서로 만들어진 슈퍼컴퓨터들이 직접 연결된 것처럼 서로 대화해야한다고 설명하는 중"이라고 밝혔다.

이더넷 진영의 발전으로 클러스터가 수십 만대의 프로세서로 확장됨에 따라 이더넷이 인피니밴드보다 더 나은 성능을 발휘할 것이라고 밝혔다.

그는 "이미 마이크로소프트를 제외한 모든 대기업이 이더넷으로 전환했는데, 마이크로소프트조차도 2025년 여름까지 이더넷으로 전환할 것이라고 한다"면서 "이더넷 백엔드 네트워크는 브로드컴 칩을 사용해 스위치를 구축하는 아리스타 네트웍스에게 큰 기회를 제공한다"고 밝혔다.

황 연구원은 "5개의 대형 하이퍼스케일러 운영자 중 3개는 백엔드 네트워크에서 아리스타 이더넷 스위치를 사용 중이며, 나머지 2개 기업은 테스트 중"이라며 "Cisco는 자체 스위칭 칩을 제작하지만, 다른 이더넷 스위치에 사용되는 칩의 80%는 브로드컴에서 생산되며, 나머지는 주로 마벨에서 공급된다"고 밝혔다.

그는 "네트워크의 다른 중요한 부분은 컴퓨팅 노드와 케이블 간 연결"이라며 "프로세서 수가 증가함에 따라 연결 속도가 더 빨라질 것"이라고 밝혔다.

예를들어 백만 대의 프로세서는 천만 개의 인터커넥트가 필요하는 것이다. 이런 연결은 구리 대신 광섬유로 이루어질 것이라고 밝혔다.

그는 "Velaga에 따르면 네트워크 속도가 빨라질수록 구리 도달 범위는 줄어들기 때문에 확장하는 클러스터는 랙을 광학 장치와 연결해야 하며, 10만 개의 프로세서를 넘어서면 구리와 아무것도 연결할 수 없으며, 광섬유와 연결해야한다"면서 "엔비디아, 브로드컴, 마벨은 광학 인터페이스 제품을 판매 중이며 마벨은 800G 인터커넥트 분야에서 강력한 선두를 달리고 있다"고 덧붙였다.