발표 소개
PyTorch로 작성한 텐서 연산은 어떤 과정을 거쳐 GPU에서 실행될까요? 모두의연구소 Tensor2Silicon Lab에서 함께 탐구한 내용을 바탕으로, 연산 그래프와 중간 표현(IR), ML 컴파일러, 런타임, GPU 커널로 이어지는 실행 흐름을 살펴봅니다. ‘같은 연산인데 왜 실행 속도가 다를까?’라는 질문에서 출발해, Roofline 모델로 연산과 메모리 병목을 이해하고 Tiling과 커널 결합이 데이터 이동을 줄이는 원리를 알아봅니다. Vector Add와 Softmax의 Triton 예제로 개념을 코드와 연결하며, AI 모델에는 익숙하지만 컴파일러와 하드웨어는 낯선 개발자에게 모델 실행과 성능을 이해하는 첫걸음을 제시합니다.
- ML컴파일러
- PyTorch
- Triton
- GPU커널
- AI가속기
- Roofline
- Tiling
- Tensor2Silicon
공동연사 소개
송무복
모두의연구소 tensor2silicon LAB 랩원
1인 독립 개발자이며 Hugging Face 커뮤니티에서 활동하고 있습니다. LLM 알고리즘부터 하드웨어까지 지식을 알리고 공유하는 활동을 하고 있습니다.
박준
주식회사 문리버 / CTO
주식회사 문리버 CTO. ‘PyTorch 코드 한 줄이 GPU에서 실제로 어떻게 돌아갈까'가 궁금해 모두의연구소 Tensor2Silicon Lab에서 ML 컴파일러와 GPU 커널을 함께 공부하고 있다. Triton으로 matmul과 FlashAttention을 직접 구현해보며 알게 된 것들을 블로그(currybab.bearblog.dev)에 꾸준히 기록 중이다.