스마트폰, 웨어러블, 심지어 라즈베리 파이 같은 소형 기기에서도 대규모 언어 모델(LLM)을 직접 구동할 수 있는 시대가 왔다. Google이 오픈소스로 공개한 LiteRT-LM은 엣지 디바이스에서 LLM을 고성능으로 실행하기 위한 프로덕션 레디 추론 프레임워크다. TensorFlow Lite의 정통을 이어받아 완전히 새로운 아키텍처로 진화한 이 프레임워크는 이미 Chrome, Pixel Watch 등 Google 제품에 실제 탑재되어 검증된 기술이다. 엣지 디바이스에서 직접 구동되는 온디바이스 AILiteRT-LM이란 무엇인가?LiteRT-LM은 Google AI Edge 팀이 개발한 오픈소스 LLM 추론 프레임워크로, 엣지 디바이스에서 생성형 AI를 실행하기 위해 특화된 오케스트레이션 계층이다...