경량화와 가속을 통해 AI의 잠재력을 끌어올리는 기업, 스퀴즈비츠에 대해 자세히 다뤄보고자, 이들이 참여했던 논문에 대해 리뷰해 보았습니다.
스퀴즈비츠는 어떤 팀인가
최근 AI 모델들이 날이 갈수록 좋아지고 있습니다. 이와 함께 한편으로는, 그만큼 더 비싸지고 있기도 하죠. 모델이 커질수록 더 많은 메모리와 연산이 필요하고, 사용자가 늘수록 추론 비용은 눈덩이처럼 불어납니다. AI 회사들이 좋은 제품을 만들고도 수익성 앞에서 고전하는 이유가 여기에 있습니다.
스퀴즈비츠는 이름 그대로, 무겁고 비싼 AI 모델을 더 작고 빠르고 싸게 돌리는 기술을 다룹니다. 처음 이 팀을 만났을 때, 창업자 3인방은 졸업을 앞둔 대학원생들로 Pico AI라는 이름으로 창업을 준비하고 있었던 예비 창업자들 이었습니다. 아직 법인설립 전이었지만, 이 팀이야 말로 AI를 현실에서 실질적으로 사용 가능하게 만들 수 있는 팀이라는 생각이 들었습니다.
이제는 M&A와 함께 리벨리온의 일원이 된 이들이 어떤 기술들을 개발하고 있었는지, 스퀴즈비츠가 참여한 공개 논문 4편을 비전공자 눈높이로 풀어보았습니다.
논문 ① OWQ
(Outlier-Aware Weight Quantization, AAAI 2024)
Changhun Lee¹*, Jungyu Jin²*, Taesu Kim³, Hyungjun Kim³, Eunhyeok Park²
¹POSTECH Dept. of Convergence IT Engineering · ²POSTECH Graduate School of AI · ³SqueezeBits Inc. (*equal contribution)
날이 갈수록 커지는 거대 언어 모델(LLM), 그 규모가 워낙 거대하기 때문에 제대로 돌리려면 서버급 GPU가 필요할 정도입니다.
이렇게 막대한 메모리 및 연산 요구량은 학습뿐만 아니라 추론에 있어서도 LLM의 활용에 장애물이 되고 있습니다. 그래서 많은 팀이 양자화(Quantization)*로 모델을 가볍게 만들고자 합니다.
*양자화(Quantization)
AI 모델은 내부에 수십억 개의 숫자들을 담고 있습니다. 이 숫자들은 아주 정밀하게, 예를 들어 16비트처럼 꽤 넉넉한 공간을 써서 저장됩니다. 정밀할수록 품질을 지키기 쉽지만, 메모리도 많이 쓰고 계산도 느립니다.
양자화는 이 숫자들을 더 적은 비트로 표현하는 기술입니다. 비유하자면 1,600만 가지 색으로 표현된 사진을 256가지 색으로 줄이는 것과 비슷합니다.
다만 파일은 훨씬 가벼워지지만, 잘못 줄이면 그림이 어색해집니다. 따라서 양자화는 얼마나 크기를 줄이면서도 원본 품질을 지킬 수 있느냐가 중요하다고 볼 수 있습니다.
그런데 문제는 생각보다 단순하지 않았습니다. 양자화를 통해 파라미터를 낮은 비트로 압축하면 원하는 결과를 얻기도 하지만, 오히려 심각한 성능 저하가 발생하는 경우도 생겨났습니다.
이 논문에서는 그 성능 저하의 핵심 원인을 '활성화 이상치(Activation Outlier)'에서 찾았습니다. LLM은 내부의 중간 계산값(intermediate activations)에서 다른 값들보다 현저히 큰 소수의 이상치가 나타나는 특유의 특징이 있는데, 가중치 양자화(weight quantization)만 적용할 때에도 활성화 이상치의 존재가 여전히 가중치 양자화의 민감도에 영향을 미친다는 것입니다.
논문에서 제안한 ‘약한 열(Weak Column)’ 개념. 입력 채널을 출력 오차에 대한 영향력 순으로 정렬해 보면, 전체 오차의 큰 부분이 오른쪽 끝 소수의 채널(=약한 열)에서 발생함을 볼 수 있다. 여기서 출력 오차란 양자화 이전의 출력값과 양자화 이후 출력값의 제곱 오차의 합을 의미.
논문에서는 이에 대한 상세한 분석을 진행했습니다. 수식으로 접근해보면 가중치 양자화를 할 때, 아래와 같은 목적 함수를 설정하게 됩니다.
출력 오차 를 양자화 이전의 출력값()과 양자화 이후의 출력값()의 제곱 오차 합으로 정의하고, 이를 최소화 하면서 압축비가 보다 작은 새로운(양자화된) 가중치 를 찾아내도록 합니다.
그런데 이 오차를 약간의 근사 표현을 하자면 다음과 같이 표현할 수 있습니다.
그런데 여기서 헤시안 이므로, 활성화 이상치를 거친 값과 대응되는 열의 가중치는 조금만 흔들려도 출력 오차가 크게 증폭되는 것입니다.
OWQ는 이 헤시안 기반 민감도로 열을 정렬해 소수의 "weak column"을 골라냅니다.
그리고 이들을 다루는 해법으로 직관적인 방법을 제시합니다. 모든 가중치를 동일한 수준으로 양자화 하지 말고, 약한 열만 원래 정밀도(fp16)로 남겨두는 것입니다. 이것이 본 논문의 제목이기도 한 OWQ(Outlier-aware Weight Quantization)입니다.
'약한 열'과 OWQ, 그리고 각 목적별 파인튜닝을 위한 약한 열 튜닝(WCT) 기법 개요.
OWQ는 먼저 헤시안 기반 민감도로 '약한 열'을 선별한뒤, 약한 열만 fp16으로 보존하고 다른 가중치는 양자화를 진행한다.
한편 WCT는 OWQ를 진행한 뒤, 약한 열 만을 각 목적에 맞게 파인튜닝을 진행하는 방식이다.
또한 본 논문에서는 OWQ를 기반으로 한 파인튜닝 방법인 ‘약한 열 튜닝(Weak Column Tuning, WCT)’도 함께 제안 합니다.
OWQ를 거치면 약한 열을 식별하고 이를 고정밀도로 유지하는데, 앞서 살펴보았듯 약한 열은 작은 변화에도 출력에 상당한 영향을 미칩니다. 그런데 OWQ 과정에서 약한 열은 고정밀도(fp16)로 유지된 상태이므로 값을 자유롭게 수정할 수 있습니다.
즉 OWQ를 거친 뒤 약한 열 만을 파인튜닝하고, 나머지 저정밀도 가중치는 그대로 유지해 경량화 되어있으면서도 특정 목적에 최적화된 튜닝을 진행할 수 있는 것입니다.
이렇게 민감도 인식 혼합정밀도(mixed-precision) 방식은 양자화 오차를 현저히 줄이며, 여러 실험을 통해 3.1비트 OWQ 모델이 비교대상인 4비트 OPTQ 모델과 대등한 성능을 보임을 확인했다고 합니다.
논문 ② Temporal Dynamic Quantization
(Temporal Dynamic Quantization for Diffusion Models, NeurIPS 2023)
Junhyuk So¹*, Jungwon Lee²*, Daehyun Ahn³, Hyungjun Kim³, Eunhyeok Park¹,²
¹POSTECH Dept. of Computer Science and Engineering · ²POSTECH Graduate School of AI · ³SqueezeBits Inc. (*equal contribution)
텍스트를 넣으면 그럴듯한 이미지를 그려주는 생성 AI의 상당수는 확산 모델(Diffusion Model)이라는 구조를 기반으로 합니다. 확산 모델은 노이즈로 가득한 이미지에서 노이즈를 조금씩 걷어내는 과정을 수십~수백 번 반복해 최종 이미지를 만들어 냅니다.
확산 모델의 순방향·역방향 과정. 순방향은 이미지에 가우시안 노이즈를 점진적으로 더하고, 역방향은 노이즈를 점진적으로 제거해 이미지를 생성한다. (TDQ 논문 발췌)
문제는 비용입니다. 모델 크기가 수 기가바이트에 이르고, 이미지 한 장을 만드는 데도 같은 모델을 수백 번 반복해 돌려야 합니다. 그래서 대부분의 서비스는 비싼 고성능 서버에서 돌아가고, 스마트폰 같은 모바일 기기에서 직접 실행하기는 사실상 어려웠습니다.
이럴 때 흔히 양자화를 경량화 방법으로 고려하고는 합니다. 그런데 확산 모델에 기존 양자화 기법을 적용하면 비교적 넉넉한 8비트에서도 품질이 눈에 띄게 떨어졌습니다. 활성화 비트를 더 낮추면 이미지가 흐릿해지고 아예 알아볼 수 없게 되기도 했습니다.
이 논문은 그 원인을 '시간 단계(time step)에 따라 활성화 분포가 크게 변하는 확산 모델 고유의 특성'에서 찾았습니다. 노이즈 제거를 반복하는 동안, 각 단계마다 레이어를 통과하는 값의 범위가 계속 달라지는 것이죠.
시간 단계에 따른 확산 모델 활성화 분포의 변화. 활성화의 최댓값·최솟값이 시간 단계에 따라 크게 달라진다.
기존 양자화 기법은 값을 몇 칸으로 나눌지 정하는 양자화 구간(interval)을 하나의 고정값(정적 양자화)으로 둡니다. 그런데 구간을 작게 잡으면 범위를 벗어난 큰 값이 잘려 나가는 절단 오차가 커지고, 크게 잡으면 촘촘한 표현이 불가능해 반올림 오차가 커집니다. 분포가 계속 바뀌는 확산 모델에서는 어느 쪽으로 정해도 특정 시간 단계에서 큰 오차가 생길 수밖에 없습니다.
입력값의 통계를 실시간으로 계산해 구간을 바꾸는 '동적 양자화'도 대안이 될 수 있습니다. 하지만 추론할 때마다 통계를 구하는 추가 연산이 들어가기 때문에, 오히려 속도 이득을 깎아 먹는다는 한계가 있었습니다.
본 논문은 이에 대한 해법으로 TDQ(Temporal Dynamic Quantization, 시간적 동적 양자화)를 제안합니다.
핵심 아이디어는 입력값이 아니라 '지금이 몇 번째 시간 단계인지'라는 정보로 양자화 구간을 정하는 것입니다. 실제로 측정해 보니 레이어의 62.1%가 시간 단계와 뚜렷한 상관관계를 보였습니다. 입력 이미지가 달라도 같은 시간대에는 분포가 비슷하게 움직인다는 뜻입니다.
TDQ는 시간 단계 정보를 입력받아 최적의 양자화 구간을 출력하는 작은 신경망(MLP)을 각 양자화 연산에 붙입니다. 학습이 끝나면 각 시간 단계의 구간을 미리 계산해 표로 저장해 두고, 실제 추론에서는 이 값을 꺼내 쓰기만 하면 됩니다. 이를 통해 추론 시 추가 연산 오버헤드가 전혀 없고, 기존 가속 프레임워크도 수정 없이 그대로 쓸 수 있게 하는 것이죠. 또한 사후 학습 양자화(PTQ)와 양자화 인식 학습(QAT)에 모두 적용할 수 있습니다.
실험 결과 TDQ는 기존 정적 양자화 기법들을 일관되게 능가했습니다.(CIFAR-10(DDIM)과 LSUN Churches(LDM) 이미지 생성) 특히 비트가 낮을수록 격차가 커졌습니다. 또한 추론 단계 수를 100에서 10으로 줄여도 성능이 안정적으로 유지되어, 빠른 샘플링 기법과도 잘 맞는 견고한 양자화 방법임을 보여주었다고 합니다.
논문 ③ GraLoRA
(GraLoRA: Granular Low-Rank Adaptation, NeurIPS 2025 스포트라이트)
Yeonjoon Jung¹,²*, Daehyun Ahn¹, Hyungjun Kim¹, Taesu Kim¹, Eunhyeok Park²†
¹SqueezeBits · ²POSTECH (*equal contribution, †corresponding author)
거대 모델을 우리 회사 업무나 특정 도메인에 맞게 다시 가르치는 것을 파인튜닝이라고 합니다.
그런데 모델 전체를 처음부터 다시 훈련하는 것은 비용과 시간 투입이 너무 크기 때문에, 보통 **LoRA(Low-Rank Adaptation)**라는 기법이 인기를 얻고 있습니다. 사전 학습된 거대한 가중치 행렬 본체는 그대로 두고, 학습 가능한 저랭크 보조치만 덧붙여 가르치는 방식입니다.
LoRA의 워크플로우 설명. 분해된 행렬 A와 B만 갱신하는 전략을 통해 단순함을 확보한다.
단순함, 효과성 등 LoRA의 여러 이점에도 불구하고, 여전히 한계도 있었습니다. 규모(Rank)가 커지다보면 어느순간 성능이 정체되거나 오히려 나빠지는 것이죠.
이 논문에서는 그 원인을 ’소수의 이상치(Outlier)가 LoRA에서의 가중치 업데이트시 그래디언트에 불균형하게 영향을 미치기 때문’으로 분석했습니다. LoRA 특유의 구조가, 입력치 중 일부에 Outlier가 존재할 경우 전체 그래디언트 업데이트에 영향을 끼칠 수 있는 것이죠.
입력값에 Outlier 채널이 존재할 경우 완전 파인튜닝(FFT) 대비 LoRA의 결과 비교. 음영처리된 부분은 Outlier 입력 채널이 업데이트된 그래디언트에 미친 영향을 표현한다. FFT는 국소적 영역에 영향을 받는 반면에, LoRA는 불특정 영역에 영향을 미친다.
그리고 이러한 LoRA의 구조적 특성이, 그래디언트를 입력 공간 전체에 본질적으로 민감하게 만들고, 랭크가 커질수록 좋지 않은 결과를 만들어 내는 것입니다.
본 논문에서는 이에 대한 해법으로, GraLoRA(Granular Low-Rank Adaptation)을 제안합니다.
이름 그대로 잘게 나누는 것인데요, 거대한 가중치 행렬을 여러 개의 작은 구획으로 쪼개어 LoRA의 구조적 한계를 극복하는 것입니다. 더 나은 결과를 얻을 수 있는 반면, 연산/저장에 대한 비용은 상대적으로 적게 감당해도 됩니다.
LoRA와 GraLoRA의 워크플로우 비교.
GraLoRA는 코드 생성, 상식 추론, 수학적 추론, 일반 언어 이해, 이미지 생성 벤치마크에 대한 실험 결과, LoRA를 비롯한 여타 기준 모델들을 일관되게 능가하며 HumanEval+의 Pass@1에서 최대 +8.5%p의 절대 성능 향상을 달성했다고 합니다. 또한 모델 크기와 rank 설정에 관계없이 유지되어, GraLoRA가 확장 가능하고 견고한 PEFT 솔루션임을 볼 수 있었다고 합니다.
논문 ④ Debunking the CUDA Myth
(Debunking the CUDA Myth Towards GPU-based AI Systems, ISCA 2025)
Yunjae Lee†§, Juntaek Lim†§, Jehyeon Bang†, Eunyeong Cho†, Huijong Jeong‡, Taesu Kim‡, Hyungjun Kim‡, Joonhyung Lee*, Jinseop Im†, Ranggi Hwang†, SeJung Kwon*, Dongsoo Lee*, Minsoo Rhu†⋄
†KAIST · *NAVER Cloud · ‡SqueezeBits (§co-first authors, ⋄corresponding author) · ISCA 2025
오늘날 AI 모델을 학습하고 서비스하는 인프라는 사실상 NVIDIA GPU가 표준입니다. 그 힘의 원천으로 흔히 꼽히는 것이 CUDA인데요, 개발자가 GPU를 쉽게 다룰 수 있게 해주는 프로그래밍 환경과 그 위에 쌓인 방대한 라이브러리 생태계가 NVIDIA의 해자로 평가받아 왔습니다.
물론 AI 연산에 특화된 NPU(Neural Processing Unit)를 대안으로 생각할 수도 있습니다. 하지만 아직은 Google, Amazon과 같은 소수 빅테크 내부에서의 성공적 Use case가 있는 정도고, 대부분의 AI 서비스는 여전히 NVIDIA GPU 위에서 돌아가고 있죠.
이 논문은 '시중에서 살 수 있는 NPU가 정말 GPU의 대안이 될 수 있을까?'라는 질문에 답하기 위해, Intel의 Gaudi-2 NPU를 NVIDIA의 A100 GPU와 정면으로 비교했습니다. 두 칩은 같은 TSMC 7nm 공정에서 만들어지고 같은 HBM2E 메모리를 쓰기에 비교 대상으로 선정되었습니다.
Intel Gaudi NPU의 구조. 행렬 곱셈을 담당하는 MME와 프로그래밍 가능한 벡터 연산 코어인 TPC로 구성된다.
연구팀은 연산, 메모리, 통신 같은 기본 동작을 하나씩 떼어 측정했습니다. 행렬 곱셈(GEMM)에서는 Gaudi-2가 A100을 일관되게 앞섰는데요, 단순히 스펙이 높아서만은 아니었습니다. Gaudi의 행렬 연산 엔진(MME)은 입력 행렬의 모양에 맞춰 연산 유닛 배치를 실시간으로 바꿀 수 있습니다. 그래서 가늘고 긴 형태의 행렬에서도 유휴 상태의 연산 유닛을 줄일 수 있는 것이죠.
일반적인 고정형 시스톨릭 어레이(a)와 재구성 가능한 Gaudi MME(b)의 비교. Gaudi는 행렬 형태에 맞춰 구조를 바꿔 유휴 상태의 연산 유닛을 줄인다.
반면 약점도 뚜렷했습니다. Gaudi는 메모리를 최소 256바이트 단위로 읽기 때문에, 그보다 작은 데이터를 무작위로 읽어오는 작업에서는 메모리 대역폭을 크게 낭비했습니다. 또한 NVIDIA 서버처럼 모든 칩을 잇는 네트워크 스위치가 없어서, 통신에 참여하는 칩 수가 적을수록 통신 성능이 뚝 떨어졌습니다.
실제 서비스 수준에서도 이 특성이 그대로 드러납니다. 행렬 곱셈이 대부분인 LLM 서빙에서는 Gaudi-2가 A100보다 평균 약 50% 높은 에너지 효율을 보였습니다. 반면 작은 데이터 조회가 많은 추천 시스템(RecSys)에서는 오히려 에너지 효율이 28% 낮았습니다.
그렇다면 프로그래밍은 얼마나 쉬울까요? 논문의 진짜 질문은 여기에 있습니다. 기존에 공개된 Gaudi용 소프트웨어를 그대로 썼을 때, 추천 시스템의 핵심 연산인 임베딩 조회에서는 GPU에 최적화된 버전(FBGEMM) 대비 37%, LLM 서빙 엔진인 vLLM의 핵심 연산(PagedAttention)에서는 고작 6% 수준의 처리 성능밖에 내지 못했습니다.
그래서 연구팀은 소프트웨어를 직접 손봤습니다. 저수준 언어(TPC-C)로는 여러 테이블 조회를 하나로 묶어 처리하는 커널을 새로 작성했습니다. vLLM은 PyTorch 수준에서 불필요한 0 패딩(zero-padding)을 걷어내고, 그래프 컴파일러가 연산을 효율적으로 파이프라이닝할 수 있도록 구조를 바꿨습니다. 그 결과 최적화된 Gaudi-2는 전체 서비스 기준으로 추천 시스템에서 A100 성능의 80%, LLM에서는 101%까지 따라잡았습니다.
논문의 결론은 이렇습니다. NVIDIA의 진짜 강점은 CUDA라는 언어 자체가 아니라, 그 위에 쌓인 풍부한 소프트웨어 생태계라는 겁니다. 연구팀은 소프트웨어를 직접 손보아 Gaudi-2의 성능을 향상 시킬수 있음을 보였고, 칩 제조사가 그 아래의 백엔드만 잘 받쳐준다면 CUDA 자체는 생각만큼 강력한 해자가 아닐 수 있다는 것이죠. 다만 연구팀은 지나친 낙관을 경계했습니다. 행렬 연산 엔진을 직접 제어할 수 없는 블랙박스형 SDK와 부족한 문서화는 Gaudi가 앞으로 넘어야 할 과제라고 덧붙였습니다.
네 편의 논문이 가리키는 곳
모델을 더 적은 비트로 줄이고(OWQ, TDQ), 효율적인 파인튜닝 방법을 찾아내고(GraLoRA), 이러한 모델들이 NVIDIA GPU가 아닌 칩 위에서도 좋은 성능을 낼 수 있는지(Debunking the CUDA Myth). 스퀴즈비츠는 AI가 실제로 돌아가는 폭 넓은 과정들을 커버하고 있습니다.
그 중에서도 마지막 논문을 곱씹어 보면 리벨리온과의 만남이 우연보다는 자연스러운 수순에 가깝다고 생각합니다. 새롭게 펼쳐진 무대에서 스퀴즈비츠 멤버들이 다음 장면으로 어떤 일들을 만들어 낼지, 계속 지켜보려 합니다.
Share article