온디바이스 LLM — 스마트폰에서 돌아가는 AI, 클라우드를 대체할까

온디바이스 LLM은 인터넷 연결이나 외부 서버 없이 스마트폰·노트북 같은 기기 자체에서 돌아가는 언어 모델을 말한다. 몇 년 전만 해도 거대 언어 모델은 데이터센터의 값비싼 가속기 여러 장을 묶어야 겨우 돌아가는 물건이었는데, 지금은 손안의 기기에서 문장을 요약하고 번역하고 대화하는 축소판 모델이 실제로 작동한다.

나는 이 변화가 흥미로운 이유가 단순히 '기기에서도 된다'는 사실 자체보다, 그것이 가능해진 방식에 있다고 본다. 하드웨어가 좋아진 것만으로는 설명이 안 된다. 모델을 작고 가볍게 만드는 기술이 그만큼 빠르게 발전했기 때문이다.

거대한 모델이 어떻게 폰 안에 들어갔나

핵심은 모델을 줄이는 기술이다. 대표적인 게 양자화(quantization)다. 원래 모델의 수많은 가중치는 높은 정밀도의 숫자로 저장되는데, 이걸 더 낮은 정밀도로 압축하면 용량과 메모리 요구량이 크게 줄어든다. 정밀도를 낮추면 품질이 조금 손상될 수 있지만, 최근 기법들은 그 손실을 사람이 거의 못 느낄 만큼 억제하는 데까지 왔다.

또 하나는 지식 증류(distillation)다. 크고 똑똑한 모델을 선생으로 삼아, 그 행동을 흉내 내는 작은 학생 모델을 훈련시키는 방식이다. 작은 모델이 처음부터 혼자 배우는 것보다 훨씬 효율적으로 능력을 물려받는다. 여기에 앞서 이야기한 NPU 같은 전용 가속기가 더해지면서, 예전 같으면 상상도 못 할 규모의 모델이 배터리 위에서 돌아가게 됐다.

그래도 '작다'는 건 분명한 제약이다

다만 나는 여기서 균형 잡힌 시선이 필요하다고 생각한다. 기기에서 도는 모델은 데이터센터의 거대 모델보다 확실히 작고, 그만큼 복잡한 추론이나 방대한 지식이 필요한 작업에서는 한계가 뚜렷하다. 폰에 들어가는 모델에게 최신 논문 수준의 분석을 기대하긴 어렵다. 대신 요약, 번역, 문장 다듬기, 간단한 질의응답처럼 자주 쓰이지만 무겁지 않은 일에는 충분히 쓸 만하다.

왜 이 방식이 매력적인가

온디바이스 실행의 장점은 세 갈래로 정리된다. 첫째는 프라이버시다. 내가 쓴 메모, 나눈 대화, 찍은 사진이 외부 서버를 거치지 않고 기기 안에서 처리된다. 둘째는 지연이다. 네트워크를 왕복하지 않으니 반응이 즉각적이고, 신호가 약한 곳이나 비행기 안에서도 작동한다. 셋째는 비용이다. 클라우드 추론은 쓸수록 서버 비용이 쌓이지만, 기기에서 도는 처리는 추가 요금이 없다.

• 상시성 — 네트워크 상태와 무관하게 언제든 같은 속도로 반응한다.
• 데이터 주권 — 민감한 정보가 기기를 벗어나지 않아, 규제가 까다로운 분야에서 특히 유리하다.
• 운영 비용 — 서비스 제공자 입장에서도 사용량 폭증에 따른 서버 비용 부담이 줄어든다.

결국은 나눠 쓰는 쪽으로 간다

내 예상으로는 미래가 둘 중 하나를 고르는 문제가 아니다. 실제 제품은 대부분 하이브리드로 수렴하고 있다. 자주 쓰고 가벼운 일, 개인정보가 걸린 일은 기기 안 모델이 즉시 처리하고, 정말 복잡하고 방대한 지식이 필요한 요청만 클라우드로 넘긴다. 사용자는 어느 쪽이 처리했는지 굳이 알 필요도 없다. 그저 빠르고 자연스럽게 답이 오면 된다.

이 구도가 흥미로운 건, AI의 무게중심 일부가 다시 개인의 기기로 돌아온다는 점이다. 지난 십여 년간 컴퓨팅은 클라우드로 빨려 들어갔는데, AI 시대에 들어 프라이버시와 즉시성이라는 가치가 다시 로컬 처리의 손을 들어주고 있다. 나는 이 되돌이 흐름이 앞으로 몇 년의 모바일 경험을 가장 크게 바꿀 변수 중 하나라고 본다.

한 가지 덧붙이자면, 온디바이스 LLM의 성패는 결국 눈에 띄지 않는 데서 갈릴 것이다. 사용자가 'AI를 쓴다'고 의식하는 순간보다, 자판을 치는 사이에 문장이 자연스럽게 다듬어지고 알림이 알아서 정리되는 것처럼 배경에 스며드는 경험이 늘어난다. 무거운 모델을 자랑하는 경쟁이 아니라, 작은 모델을 얼마나 매끄럽게 일상에 녹여내느냐가 진짜 실력이 되는 셈이다.

자주 묻는 질문

온디바이스 LLM은 클라우드 AI만큼 똑똑한가요?

작업에 따라 다릅니다. 요약·번역·문장 다듬기처럼 자주 쓰는 가벼운 일에는 충분히 쓸 만하지만, 방대한 지식이나 복잡한 추론이 필요한 작업에서는 데이터센터급 거대 모델을 따라가기 어렵습니다. 그래서 두 방식을 상황에 맞게 나눠 쓰는 하이브리드 구조가 일반적입니다.

인터넷 없이도 정말 작동하나요?

네, 그것이 온디바이스 방식의 핵심 장점입니다. 모델과 연산이 모두 기기 안에 있으니 비행기 모드나 신호가 약한 곳에서도 동일하게 동작합니다. 다만 최신 정보를 실시간으로 반영하는 검색 같은 기능은 인터넷이 필요합니다.

배터리를 많이 소모하지 않나요?

연산은 전력을 쓰지만, NPU 같은 전용 가속기가 이 작업을 효율적으로 처리하도록 설계돼 부담이 크게 줄었습니다. 다만 장시간 무거운 생성 작업을 반복하면 발열과 배터리 소모가 늘 수 있어, 대체로 짧고 빈번한 작업에 최적화돼 있습니다.

양자화를 하면 답변 품질이 떨어지나요?

이론적으로는 정밀도를 낮추면 손실이 생길 수 있지만, 최근 기법들은 그 손실을 사람이 거의 느끼지 못할 수준까지 억제합니다. 일상적인 용도에서는 압축된 모델과 원본의 차이를 체감하기 어려운 경우가 많습니다.