블로그 글 추가: 2026-07-10-towards-free-normalization-fusing-normalization-into-gemm-and-attention-kernels, 비용 없는 정규화를 향해: 정규화를 GEMM과 어텐션 커널에 융합하기

[9bow]

번역 글 소개

• 원문: https://pytorch.org/blog/towards-free-normalization-fusing-normalization-into-gemm-and-attention-kernels/
• 저자: Jacky (Junqing) Zhou, Hongtao Yu, Jackie (Jiaqi) Xu, Menglu Yu, Ethan Che, Han Xu, Darren Liu, Peng Chen (Dev Infra), Daohang Shi, Max Leung (Meta)
• 카테고리: pytorch.org, translation

비용 없는 정규화를 향해: 정규화를 GEMM과 어텐션 커널에 융합하기 번역 글을 추가합니다.

LayerNorm/RMSNorm 같은 정규화 연산은 텐서 코어를 쓰지 못하는 메모리 바운드 연산이라, Meta의 Kunlun 아키텍처에서는 전체 학습 지연 시간의 약 20%를 차지합니다. 이 글은 정규화를 GEMM·어텐션 커널에 융합해 이 비용을 숨기는 세 가지 기법 — 수학적 트릭으로 사전 정규화를 사실상 에필로그로 바꾸는 Lazy Pre-Norm, CTA 클러스터와 분산 공유 메모리로 타일링 불일치를 푸는 Multi-CTA Norm(순전파·역전파에서 서로 다른 선형 계층과 융합하는 융합 재편성 포함), 그리고 GDPA 어텐션 주변의 정규화 2개와 잔차 연결까지 통째로 융합하는 FlashNormAttention — 을 소개합니다.

TLX와 Helion 두 커널 DSL로 구현해 NVIDIA B200에서 벤치마크했으며, GEMM 융합으로 정규화 커널 지연 시간의 최대 90%를 숨기고 FlashNormAttention으로 최대 35%의 커널 속도 향상을 달성한 결과를 다룹니다.

[github-actions]

PR Preview

빌드가 완료되었습니다! 아래 링크에서 변경사항을 확인할 수 있습니다.

미리보기: https://pytorchkr-pr-preview-106.surge.sh

이 미리보기는 PR이 업데이트될 때마다 자동으로 갱신됩니다.