메타, 자체 개발 AI 가속기 ‘MTIAv2’ 공개…“성능 3배 이상 향상”

메타(Meta)는 11일, 자체 개발한 AI 추론 가속기 MTIA(Meta Training and Inference Accelerator)의 차세대 버전인 ‘MTIAv2’에 대한 정보를 공개했다. 메타의 랭킹 및 추천 광고 모델에 사용될 것으로 알려진 이 가속기는 주요 모델에서 이전 세대 대비 3배의 성능 향상을 제공한다.

메타는 지난 해 자체 개발한 AI 추론 가속기 ‘MTIA’의 v1 버전을 공개한 바 있다. ‘MTIA’는 메타의 AI 워크로드, 특히 딥러닝 추천 모델을 위해 설계된 가속기다. 새로 선보인 ‘2세대’는 1세대 대비 새로운 공정과 함께 컴퓨팅 성능과 메모리 대역폭이 두 배 이상 향상된 것이 특징이다.

‘MTIAv2’는 8x8 그리드의 PE(Processing Elements)로 구성되며, 이전 세대 대비 3.5배 높아진 밀집(dense) 컴퓨트 성능과 7배 높아진 희소(sparse) 컴퓨트 성능을 제공한다. 

또한 로컬 PE 메모리는 384KB로 3배, 온칩 메모리 크기는 256MB로 두 배 늘어났으며, 대역폭은 2.7TB/s로 3.5배 넓어졌고, LPDDR5 메모리 용량도 이전 세대 대비 두 배인 128GB를 갖췄다. 

이와 함께, 개선된 NoC(Network on Chip) 아키텍처는 두 배의 대역폭과 PE간 낮은 지연 시간을 제공한다. TSMC의 5nm 공정으로 제작되며 열설계전력(TDP)은 이전 세대의 25W 대비 크게 오른 90W다. 

메타는 이 ‘MTIAv2’가 주요 4개 모델에서 이전 세대 대비 3배의 성능을 제공할 수 있으며, 플랫폼 기반에서는 두 배 많은 디바이스와 강력한 2소켓 중앙처리장치(CPU) 구성으로 이전 세대 대비 모델 서빙 처리량은 6배, 전력 효율은 1.5배 높아졌다고 밝혔다. 

한편, 메타는 이 ‘MTIAv2’를 위한 랙 기반 시스템도 함께 소개했다. 이 시스템은 2개의 가속기를 장착한 보드를 12개 장착한 섀시 3개로 구성돼, 총 72개 가속기를 제공한다. 

권용만 기자 yongman.kwon@chosunbiz.com