양자화

모델의 숫자 정밀도를 낮춰 크기를 줄이는 기법입니다.

가중치를 16비트 대신 4비트 같은 낮은 정밀도로 저장해 메모리와 연산량을 줄입니다. 정확도 손실이 작아 로컬 실행에 많이 쓰입니다.