대규모 언어 모델 학습을 위한 FP8 정밀도 확장

Core Concepts

대규모 언어 모델 학습을 위해 FP8 정밀도를 성공적으로 확장하고, 이를 통해 발생하는 안정성 문제를 해결하였다.

Abstract

이 논문은 대규모 언어 모델 학습을 위해 FP8 정밀도를 성공적으로 확장하고, 이를 통해 발생하는 안정성 문제를 해결하는 내용을 다룹니다.

주요 내용은 다음과 같습니다:

1. 기존 연구에서 관찰되지 않았던 FP8 학습의 안정성 문제를 2조 토큰 규모의 대규모 데이터셋에서 발견했습니다. 이는 SwiGLU 활성화 함수에 의한 이상치 증폭 현상 때문인 것으로 분석되었습니다.

2. 이 문제를 해결하기 위해 Smooth-SwiGLU라는 새로운 활성화 함수를 제안했습니다. 이 방법은 FP8 정밀도에서도 안정적인 학습을 가능하게 합니다.

3. 또한 Adam 최적화기의 두 모멘트를 모두 FP8 정밀도로 양자화하는 기법을 처음으로 제시했습니다. 이를 통해 메모리 사용량을 크게 줄일 수 있습니다.

4. 이러한 혁신을 통해 7B 파라미터 모델을 Intel Gaudi2 가속기 256대를 사용하여 FP8 정밀도로 성공적으로 학습할 수 있었습니다. 이는 BF16 기준선과 동등한 성능을 보이면서도 최대 34%의 처리량 향상을 달성했습니다.

Stats

2조 토큰 규모의 데이터셋을 사용하여 대규모 언어 모델을 학습했다.
FP8 정밀도로 학습한 모델이 BF16 기준선과 동등한 성능을 보였다.
FP8 정밀도 학습 시 최대 34%의 처리량 향상을 달성했다.
Adam 최적화기의 두 모멘트를 모두 FP8 정밀도로 양자화하여 메모리 사용량을 약 30% 줄였다.

Quotes

"대규모 언어 모델 학습을 위해 FP8 정밀도를 성공적으로 확장하고, 이를 통해 발생하는 안정성 문제를 해결했다."
"Smooth-SwiGLU라는 새로운 활성화 함수를 제안하여 FP8 정밀도에서도 안정적인 학습을 가능하게 했다."
"Adam 최적화기의 두 모멘트를 모두 FP8 정밀도로 양자화하여 메모리 사용량을 크게 줄였다."

Key Insights Distilled From

Scaling FP8 training to trillion-token LLMs

by Maxim Fishma... at arxiv.org 09-20-2024

https://arxiv.org/pdf/2409.12517.pdf

Deeper Inquiries

FP8 정밀도 학습의 안정성 문제를 해결하기 위한 다른 접근 방식은 무엇이 있을까?

FP8 정밀도 학습의 안정성 문제를 해결하기 위한 다른 접근 방식으로는 여러 가지가 있다. 첫째, 적응형 스케일링 기법을 도입할 수 있다. 이는 각 레이어의 입력 분포에 따라 동적으로 스케일링 팩터를 조정하여, FP8의 제한된 동적 범위를 보다 효과적으로 활용할 수 있도록 한다. 둘째, 정규화 기법을 강화하는 방법이 있다. 예를 들어, 배치 정규화(Batch Normalization)나 레이어 정규화(Layer Normalization)를 통해 각 레이어의 출력 분포를 안정화시켜, FP8 훈련 중 발생할 수 있는 극단적인 값의 영향을 줄일 수 있다. 셋째, 다양한 활성화 함수를 실험하여 SwiGLU 외에도 FP8 훈련에 적합한 다른 활성화 함수를 찾아내는 것이 중요하다. 예를 들어, ReLU나 GELU와 같은 다른 활성화 함수는 FP8 훈련에서 더 나은 안정성을 제공할 수 있다. 마지막으로, 훈련 초기 단계에서의 정밀도 조정을 통해, 초기 훈련 단계에서는 FP16 또는 BF16과 같은 더 높은 정밀도를 사용하고, 훈련이 진행됨에 따라 FP8로 전환하는 방법도 고려할 수 있다.

SwiGLU 활성화 함수 외에 FP8 정밀도 학습에 영향을 미칠 수 있는 다른 신경망 구조 요소는 무엇이 있을까?

SwiGLU 활성화 함수 외에도 FP8 정밀도 학습에 영향을 미칠 수 있는 여러 신경망 구조 요소가 있다. 첫째, 가중치 초기화 방법이 있다. 가중치 초기화가 잘못되면 훈련 초기 단계에서의 출력 분포가 불안정해져 FP8의 한계를 초과할 수 있다. 둘째, 네트워크의 깊이와 너비가 중요한 요소로 작용할 수 있다. 깊은 네트워크는 더 많은 파라미터를 포함하고 있어, FP8의 제한된 동적 범위에서 더 많은 불안정성을 초래할 수 있다. 셋째, 정규화 기법의 선택도 중요하다. L2 정규화와 같은 기법은 가중치의 크기를 조절하여 훈련의 안정성을 높일 수 있다. 넷째, 모델의 아키텍처 자체, 예를 들어 Transformer의 레이어 구성이나 주의 메커니즘의 설계가 FP8 훈련의 성능에 영향을 미칠 수 있다. 이러한 요소들은 모두 FP8 정밀도 학습의 안정성과 성능에 중요한 역할을 한다.

대규모 언어 모델 학습에서 FP8 정밀도 외에 다른 저감 정밀도 기법들의 활용 가능성은 어떨까?

대규모 언어 모델 학습에서 FP8 정밀도 외에도 다양한 저감 정밀도 기법들이 활용될 수 있다. 첫째, FP16 및 BF16과 같은 다른 저감 정밀도 포맷은 이미 널리 사용되고 있으며, 이들은 FP8보다 더 넓은 동적 범위를 제공하여 안정성을 높일 수 있다. 둘째, 하이브리드 정밀도 훈련 기법이 있다. 이는 특정 레이어나 파라미터에 대해 서로 다른 정밀도를 적용하여, 메모리 사용량을 줄이면서도 훈련의 안정성을 유지하는 방법이다. 셋째, 양자화 기법을 통해 모델의 파라미터를 저감 정밀도로 변환하여 메모리와 계산 효율성을 높일 수 있다. 예를 들어, INT8 양자화는 FP8보다 더 낮은 정밀도를 제공하지만, 특정 작업에서 성능 저하를 최소화하면서도 메모리 사용량을 크게 줄일 수 있다. 마지막으로, 지연 스케일링과 같은 기법을 통해 훈련 중 동적으로 스케일링 팩터를 조정하여, 저감 정밀도 훈련의 안정성을 높일 수 있다. 이러한 다양한 저감 정밀도 기법들은 대규모 언어 모델의 훈련 효율성을 높이는 데 중요한 역할을 할 수 있다.