반응형
어텐션
-
[머신러닝] LLM에서 트랜스포머(Transformer)에 대해서 쉽게 말로 설명하면?인공지능/머신러닝 2025. 2. 26. 08:45
트랜스포머는 문장이나 단어 시퀀스를 처리하는 인공지능 구조로, 특히 언어를 이해하고 생성하는 데 강력한 도구예요. 이건 과거의 방식처럼 단어를 하나씩 순서대로 읽는 대신, 문장 전체를 한꺼번에 보고 단어들 사이의 관계를 파악하는 데 초점을 맞춥니다. 핵심 아이디어는 "내가 지금 보는 단어가 문맥에서 다른 단어들과 어떻게 연결되는지"를 빠르고 효율적으로 알아내는 겁니다.트랜스포머의 중심에는 어텐션(Attention)이라는 개념이 있어요. 어텐션은 쉽게 말하면, 문장에서 중요한 부분에 더 집중하고 덜 중요한 부분은 덜 신경 쓰는 능력이에요. 예를 들어, "고양이가 나무 위에 있다"라는 문장에서 "고양이"와 "나무"가 서로 깊게 연결돼 있다는 걸 알아내고, "위에" 같은 단어는 그 연결을 보조하는 역할을 한다..