발표 소개
리벨리온 NPU에서는 어떤 LLM을 실행할 수 있고, 실제 서비스로 연결하려면 무엇이 필요할까요? 리벨리온의 하드웨어와 소프트웨어 구성을 살펴보고, vLLM을 활용해 모델을 실행하고 서비스하는 과정을 예제와 함께 소개합니다. 지원하는 모델과 주요 기능을 알아보고, 개발자가 NPU 기반의 LLM 서비스를 시작할 때 필요한 준비사항과 고려할 점을 공유합니다.
- 리벨리온
- NPU
- LLM
- vLLM
- AI추론
- 모델서빙
연사 소개
김태수
스퀴즈비츠 CTO
김태수 CTO는 AI 추론 최적화를 연구하는 스퀴즈비츠(SqueezeBits)의 공동 창업자이자 CTO이다. POSTECH에서 TinyML 환경의 효율적인 신경망 연산을 주제로 박사학위를 취득했으며, 전용 가속기 기반의 신경망 추론과 AI 워크로드를 위한 서빙 프레임워크 최적화에 주력하고 있다.