AI Knowledge Hub하드웨어 · 성능
HBM
컴퓨터가 AI 계산을 빠르게 하려고 쓰는 특수한 메모리입니다.
일반 메모리보다 데이터를 훨씬 빠르게 옮길 수 있는 고대역폭 메모리입니다. AI 연산은 데이터를 메모리에서 읽어 계산기로 옮기는 과정이 반복되는데, 이 구간이 병목이 됩니다. 대역폭이 크면 그 병목이 줄어 계산기가 쉬지 않고 돌아갑니다.
왜 중요한가자주 보이는 '그래픽카드 메모리가 부족합니다' 오류의 진짜 원인이 대역폭인 경우가 많습니다. 어떤 그래픽카드를 고를지 판단할 때 용량만 보고 넘어가지 않도록, 메모리 종류까지 함께 보게 해 줍니다.
예시GPU 옆에 붙어 있는 납작한 칩이 HBM입니다.