Apple Foundation Models — on-device 4B로 만든 사이드로드 챗봇

핵심 요약

iOS 19의 Foundation Model API로 사이드로드 챗봇 제작. iPhone 16 Pro 기준 4B on-device 모델, 평균 응답 280ms, 토큰 비용 0. 한국어 품질은 영어의 78% 수준, 코딩·요약은 실용. 사후 정리.

1. API 핵심

import FoundationModels

let session = LanguageModelSession(
  instructions: "You are a Korean coding assistant."
)
let response = try await session.respond(to: "Swift에서 actor란?")
print(response.content)

Tool calling, streaming, structured output 모두 지원. JSON 스키마 강제 가능.

2. 모델 사양

• 파라미터: ~4B (Apple Intelligence 코어)
• 양자화: 2-bit/4-bit mixed
• 컨텍스트: 8K 토큰
• Neural Engine 18-core 풀가동

3. 한국어 품질

4. 사이드로드 챗봇 — 1주 제작

SwiftUI ChatView + 대화 영속화 SwiftData + Tool calling으로 메모/검색 기능. App Store 정책상 LLM 결과 표시는 disclaimer 의무.

5. 함정

• iPhone 15 Pro 미만 — API 호출 시 에러, 디바이스 체크 분기 필수
• 배터리 — 연속 100 토큰/초 생성 시 배터리 1%/분, UI에 경고
• 프롬프트 인젝션 — 시스템에서 차단하나 시나리오 테스트 필요
• 클라우드 폴백 — Private Cloud Compute로 자동 전환되나 명시적 설정 권장