오픈AI의 첫 ASIC '할라페뇨'··· '엔비디아를 꺾는 게 아닌 필요한 칩 만들었다'

[IT동아 남시현 기자]

“그냥 만들면 돼요. 칩 같은 거요 (You Can Just Build Things … Chips)”

지난 8월 23일부터 25일 사이 미국 캘리포니아 주 스탠퍼드 대학에서 진행된 마이크로프로세서 및 집적회로 반도체 콘퍼런스 ‘핫칩스 2026(Hotchips 2026)’의 한 세션 제목이다. 해당 행사에서 메타는 ‘메타의 맞춤형 AI 실리콘: 추천부터 생성형 AI까지 두 역할을 모두 맡는 맞춤형 AI 실리콘’을 발표했고 Arm은 ‘Arm AGI :초당 테라바이트 전송 시대를 위한 확장 가능한 일관성과 메모리 대역폭을 위한 분산형 칩렛 기반 서버 SoC’ 같은 제목을 사용했다. 진지하고 엄숙한 학회에서 이런 ‘칩 같은 이것저것’을 만든다고 한 회사, 바로 오픈AI다.

오픈AI는 지난 6월 브로드컴과 함께 대형언어모델(LLM) 추론에 최적화된 전용 반도체 ‘할라페뇨(Jalapeño)’를 공개했으며 향후 AI 추론 작업에 도입하겠다고 밝혔다. 다만 당시 구체적인 제품 성능과 벤치마크 성능, 단가와 도입 규모, 전력 효율성 등은 공개하지 않았으며 사진 한 장을 놓고 HBM 모듈이 배치된 칩렛 구조에 216~288GB 정도의 메모리가 적용될 것이라는 추측 정도만 나왔다. 그런데 오픈AI가 두 달 만에 핫칩스 2026에서 구체적인 제품 성능을 공개했다.

할라페뇨 주문형 반도체(ASIC), 9개월 만에 테이프아웃?

오픈AI는 지난 6월 할라페뇨를 공개하며 초기 설계부터 제조 테이프아웃까지 단 9개월 만에 공동 개발되었다고 밝혔다. 일반적으로 스타트업에서 AI 반도체를 설계할 때에는 아키텍처 및 IP 선정에만 수개월이 소요되며 사전 설계와 검증, 테이프아웃까지 18개월 이상 소요된다. 반면 오픈AI는 자사 AI로 설계 및 최적화해 기간을 단축시켰다는 설명이다. 물론 업계에서는 2023년 11월에 구글에서 TPU 아키텍처를 개발해 온 ‘리처드 호’를 하드웨어 담당 부사장으로 역임한 이후 사전 작업을 진행해 왔다고 알려진 터라 오픈AI가 말하는 9개월은 논리 회로를 설계한 이후 테이프아웃까지의 구현·검증 기간일 것이라 예측됐다.

이에 오픈AI는 발표 시작부터 정확한 타임라인을 밝혔다. 우선 2024년 10월에 아키텍처 콘셉트를 시작했고, 2025년 2월부터 하드웨어의 데이터 흐름과 논리 동작을 기술하는 초기 RTL(Register Transfer Level) 구현에 들어갔다. 논리 설계 완료는 5개월 뒤인 2025년 7월에 끝냈고, 11월에 칩 설계를 파운드리로 넘기는 테이프아웃을 진행했다. 이후 2026년 5월에 첫 반도체가 완성됐으며 2026년 5월에 할라페뇨에서 오픈AI 코덱스가 동작했다. 따라서 내부 설계에서 테이프아웃까지는 9개월이 맞고, 첫 실리콘 등장까지는 19개월이다.

설계 사양 정의를 포함하면 아키텍처 콘셉트를 잡은 2024년 10월부터 13개월, 리처드 호의 영입 시기는 20개월 이상이다. 오픈AI는 이 시기를 할라페뇨의 공식 개발 기간에 포함하진 않았으나 일반적인 세간의 인식을 종합적으로 고려하면 9개월보다는 훨씬 더 오랜 기간이 소요됐다고 볼 수 있다.

엔비디아에 앞서는 게 아닌 특정 추론, 지연시간, 에너지 절감이 핵심

오픈AI는 할라페뇨를 통해 ▲저지연과 경제성을 동시에 달성 ▲저지연뿐만 아니라 대역폭이 중요한 추론 작업에서도 효율이 높음 ▲HBM의 성능을 최대한 살릴 수 있는 설계 세 가지를 달성했다고 밝힌다. 핵심은 HBM의 성능 상한선을 아키텍처로 해결했다는 데 있다. AI 추론의 핵심 병목은 HBM 대역폭을 추가해서 해결하는 게 아니라 이미 존재하는 HBM 대역폭을 실제 연산에 직접 대입해 추론 성능을 극대화했다는 설명이다.

예를 들어 할라페뇨 하나당 대역폭은 초당 15.4테라바이트(TB)며 128개를 연결하면 초당 1페타바이트(PB)를 넘는다. 1조 개 매개변수를 4비트로 읽어 들일 때 필요한 메모리가 0.5TB니 이론상 가중치 전체를 초당 2000회씩 읽을 수 있다. 그런데 HBM에서 데이터가 나와도 처리장치까지 가는 여러 절차 중 하나라도 늦어지면 처리 장치는 데이터를 기다리면서 병목이 생긴다. 오픈AI는 모든 코어가 공유 메모리와 네트워크를 활용하는 구조가 아닌 자주 쓰는 데이터를 특정 코어에 두고 필요한 통신만 공용 경로로 보내는 설계로 저지연 환경을 만들었다.

스펙은 저정밀 행렬 연산 MXFP4 기준 13.4페타플롭스며, 핵심은 GB200 GPU의 초당 8TB의 대역폭의 두 배인 초당 15.4TB의 216GiB(기비바이트) HBM4 메모리다. HBM4의 높은 대역폭에 64개의 코어·HBM 슬라이스로 구성된 설계로 병목을 크게 줄여 AI 추론 효율을 끌어올린 것이 이번 발표의 핵심이다.

할라페뇨의 내부 구조는 64개의 코어 슬라이스와 이에 대응하는 64개의 HBM 슬라이스가 배치돼 있다. 각 코어 슬라이스는 HBM 영역에 저지연·고대역폭 경로로 접근하도록 설계됐다. 일반적인 AI 가속기는 공유 메모리 상에 저장된 데이터를 코어가 불러오면서 여러 절차를 거치는데 할라페뇨는 자주 사용하는 가중치와 연산 데이터를 최적 경로의 슬라이스에서 처리해 연산 장치가 대기하는 시간을 줄인다. 이때 코어 간에 반복적으로 발생하는 통신은 고대역폭, 저지연 네트워크를 활용하고 범용 통신은 범용 네트워크 온 칩으로 보내 처리한다. 데이터 처리 구조를 계층화해 최대한 병목을 줄여보자는 것이 할라페뇨 설계의 핵심이다.

또한 대규모로 칩을 연결할 때에도 통신 특성에 따라 네트워크를 계층화했다. 128개 ASIC으로 구성되는 로컬 시스템은 장치당 초당 600GB, 최대 2048개가 연결되는 대형 시스템으로는 장치당 초당 200GB로 연결되도록 구성됐다. 모든 칩을 동일하게 높은 대역폭으로 구성하기보다는 자주 통신하는 장치끼리는 고속으로 묶고, 더 넓은 통신에는 낮은 대역폭을 배정해 전력 소비와 네트워크 비용을 줄였다. 덕분에 ASIC당 열설계전력(TDP)은 700W 수준으로 GB200의 1200W 및 GB300의 1400W의 절반 수준에 불과하다.

실제 성능 검증, 최대 전력 효율에 초점 맞춰져

앞서 여러 매체를 통해 할라페뇨가 엔비디아 블랙웰 GB200을 능가했다는 얘기가 나왔는데 이는 최대 성능이 아닌 추론 시 전력 효율 등 일부 조건에 한해서다. 실제 발표에서도 gpt-oss 120B를 구동할 때 전력당 최대 처리량(mixed tokens/s/kW, kW당 혼합 토큰 처리량)이 1.9배, 토큰 간 생성 시간이 2.7배 앞선다고 명시했다. 딥시크 R1 670B와 키미 K2.5 1T 모델에서도 와트당 최대 성능이 1.5배에서 1.7배였는데 이 결과만으로 블랙웰의 전반적인 성능을 넘어섰다고 평가할 순 없다. 할라페뇨 자체가 저지연 LLM 추론에 맞춰진 ASIC이라서다.

오픈AI는 할라페뇨의 성능을 평가하기 위해 민간 반도체 분석 업체인 세미애널리시스의 공개 AI 추론 벤치마크인 ‘인퍼런스X’를 활용했다. 입력 길이는 8000토큰, 출력 길이는 1000토큰으로 설정한 뒤 gpt-oss 120B와 딥시크 R1 670B, 키미 K2.5 1T 모델 세 개를 활용했다. 전력 효율은 칩의 열설계 전력을 기준으로 할라페뇨는 700W, 엔비디아 GB200은 1200W, GB300은 1400W로 구성했다.

gpt-oss 120B는 사용자 한 명에게 초당 몇 개의 토큰을 출력하는지를 나타내는 디코드 속도와 전력당 전체 처리량을 함께 비교했다. 할라페뇨는 최대 초당 1459토큰, 토큰 간 생성 간격(TBT) 0.69ms를 기록했고, GB200은 최대 초당 535토큰, TBT 1.87ms로 할라페뇨가 사용자당 토큰 생성속도에서 약 2.7배 낮았다. 각 가속기가 가장 높은 전력 효율을 내는 운용점에서 최대 혼합 토큰 처리량은 할라페뇨가 kW당 최대 8만 5448토큰, GB200은 4만 4960토큰으로 최고 전력 효율이 약 1.9배라고 볼 수 있다.

딥시크 R1 670B MXFP4 추론은 할라페뇨와 GB300이 비교됐다. 이때 할라페뇨가 가장 높은 전력 효율을 내는 구간에서의 최대 혼합 토큰 처리량은 1만 9641토큰, GB300은 1만 1781로 1.7배 차이 났다. 이때 최소 TBT는 각각 1.43ms와 5.90ms로 약 4.1배 차이를 보였다. 매개변수 1조 개의 키미 K2.5 MXFP4에서 할라페뇨의 최대 혼합 토큰 처리량은 1만 8195토큰, GB300은 1만 1862토큰으로 약 1.5배 높았다. 사용자당 최대 출력 속도는 할라페뇨가 초당 694토큰, GB300은 182토큰이었다.

결과를 정리하자면 할라페뇨가 엔비디아 GPU의 전반적인 성능을 넘어섰다기보다는 오픈AI가 필요로 하는 LLM 추론 시 ‘저지연 추론에서 전력 효율이 높다’라고 보는 게 맞다. 오픈AI는 할라페뇨를 설계할 때 칩당 최고 성능보다는 HBM 병목을 줄여 요청 지연시간을 줄이고 에너지 효율을 극대화하는 것을 핵심 지표로 설정했고, 이를 기준으로 봤을 때 범용 GPU보다 AI 추론 작업에서 유리했다고 볼 수 있다.

오픈AI, 2세대 반도체 테이프아웃 직전··· 전반적 완성도 높일 듯

오픈AI는 할라페뇨를 엔비디아 인프라의 대체제보다는 GPT, 코덱스 등 자사 AI 모델을 더 값싸고 저렴하게 운용하기 위한 구조로 설계했다. 발표에서도 ‘오픈AI의 추론 작업에 최적화된 형태로 설계했음’을 강조한다. 또한 할라페뇨는 연산과 메모리, 네트워크를 모두 갖춘 구조를 통해 KV캐시를 가능한 로컬 메모리에 유지한 채 추론 단계에 따라 필요한 자원만 활성화한다. 사용자 입장에서는 체감 성능이 좋아지고, 오픈AI 입장에서는 필요한 실리콘만 켜고 불필요한 블록은 비활성화해 전력 소모를 줄이겠다는 것이다.

아울러 할라페뇨는 이제 막 처음 설계된 칩이다. 오픈AI는 1세대임에도 최적의 반도체를 직접 설계해 냈고, AI를 칩 설계 과정에 과감히 활용했다. 오픈AI는 하드웨어 합성 도구인 XLS와 내부 AI 모델을 결합해 설계 후보를 생성하고 검증한 뒤 전력 효율과 성능의 최적 지점을 계속 측정해 최적화했다. 그 결과 사람이 최적화한 조건에 비해 숫자를 곱하고 더하는 핵심 연산 회로의 전력, 성능, 면적 효율을 최대 56% 개선했고, 행렬 및 병렬 연산 장치 면적도 각각 10%, 8% 줄였다고 밝혔다.

오픈AI는 올해 안에 할라페뇨를 컴퓨팅 인프라에 배치할 예정이며, 2세대는 테이프아웃에 근접한 상황이다. 3세대 칩도 벌써 계획 단계에 들어섰다. 반도체 칩 설계를 시작하고 완성하는 데 9개월이 걸렸다면 2세대와 3세대 칩도 예상보다 빠르게 등장할 예정이다.

IT동아 남시현 기자 (sh@itdonga.com)