반응형
residual connection
-
[머신러닝] 잔차 연결(residual connection) 이란?인공지능/머신러닝 2025. 2. 26. 08:51
잔차 연결은 인공지능 모델, 특히 트랜스포머 같은 깊은 신경망에서 학습을 더 잘 되게 하고 성능을 높이는 데 중요한 역할을 하는 기술이에요. 기본 아이디어는 입력 데이터를 변환하는 과정에서 원래 입력을 그대로 더해주는 "지름길"을 만들어주는 겁니다. 이렇게 하면 모델이 복잡한 변환을 배우면서도 원래 정보를 잃지 않고 유지할 수 있어요.일반적으로 신경망은 층을 거칠 때마다 데이터를 변환합니다. 예를 들어, 입력이 "고양이"라는 단어의 정보일 때, 첫 번째 층에서 그 의미를 조금 바꾸고, 두 번째 층에서 또 바꾸는 식으로 진행되죠. 하지만 층이 많아질수록 이 변환 과정이 너무 과하게 쌓여서 원래 정보가 흐려지거나, 학습이 어려워질 수 있어요. 이걸 "기울기 소실"이나 "정보 손실" 문제라고 하죠. 잔차 연결..