목적

저희는 Python으로 짜여진 AI 모델을

• **Triton,** CUDA kernel, CUDA Graph와 같은 kernel level optimization (e.g. Triformer)
  • https://github.com/sgl-project/sglang/blob/54dd3ea12277f782823c8067ed723279136c40bb/python/sglang/srt/layers/attention/triton_ops/prefill_attention.py
  • https://github.com/HazyResearch/ThunderKittens
  • https://github.com/facebookresearch/generative-recommenders/blob/1e7822477b2d87ff083247d597659ee0d58f0006/generative_recommenders/ops/triton/triton_ragged_hstu_attention.py
  • https://www.together.ai/blog/flashattention-3
• Quantization (fp8 , int8 , fp4 ) 커널 최적화
  • https://github.com/NVIDIA/TransformerEngine
  • https://github.com/microsoft/BitBLAS
  • https://github.com/pytorch/ao
• Multi-GPU, multi-node에 최적화된 라지 스케일 모델 학습 / 추론
  • https://github.com/xdit-project/xDiT
  • https://github.com/chengzeyi/ParaAttention
• 효율적인 Attention 디자인
  • https://github.com/thu-ml/SageAttention
  • https://github.com/genmoai/mochi
  • https://github.com/jax-ml/jax/blob/main/jax/experimental/pallas/ops/tpu/splash_attention/splash_attention_kernel.py
• 알고리즘 개선을 통한 최적화
  • https://github.com/thu-nics/DiTFastAttn
  • https://arxiv.org/abs/2404.16710

등 Memory bandwidth cost와 overhead를 줄이는 방법을 연구하고자 합니다.

2023년 부터 시작되어 55명이 넘는 분들이 참여했으며, GPU 클라우드 서비스인 DataCrunch로부터 A100, H100를 지원받아 실질적인 성과를 낸 연구와 프로젝트를 진행해 왔습니다.

OpenAI를 포함한 많은 기업은 논문에선 생략해 둔 수많은 low-level optimization으로 성능을 개선하고 있기 때문에, 이러한 기술이 더욱 희소하고 언급되고 있지 않은 것 같습니다. 이러한 기술에 가치를 알고 함께 공부하고자 하는 분들을 모으고자 스터디원을 모집합니다!

지원 방법

3기 스터디는 다음과 같이 진행되며

1. 기간: 2025.02.05 ~ 2025.06.25 (약 5개월)