목적

저희는 Python으로 짜여진 AI 모델을

• **Triton,** CUDA kernel, CUDA Graph와 같은 kernel level optimization
• TorchInductor, TVM과 같은 IR과 graph compiler와 을 통한 computational graph 최적화
• **FlashAttention, Ring Attention** 같은 하드웨어를 고려한 모델 디자인

과 같은 방식으로 Memory bandwidth cost와 overhead를 줄이는 방법을 연구하고자 합니다.

OpenAI를 포함한 많은 기업은 논문에선 생략해 둔 수많은 low-level optimization으로 성능을 개선하고 있기 때문에, 이러한 기술이 더욱 희소하고 언급되고 있지 않은 것 같습니다. 이러한 기술에 가치를 알고 함께 공부하고자 하는 분들을 모으고자 스터디원을 모집합니다!

일정

평소엔 Slack으로 소통하며, 주 1회 정기 모임을 온라인으로 가지려고 합니다. 정기 모임은 2명 이상의 멤버가 발표를 하고, 한 주간 각자 공부한 내용을 나누는 형태로 진행할 계획입니다.

1. Basics (2024.04 ~ 2024.06)

https://horace.io/brrr_intro.html

개인 실습

• https://github.com/cuda-mode의 Lecture를 보고 각자 실습
• 발표에 언급하지 않은 다른 함수, 모델을 최적화 프로파일링 실습