임베딩(Embedding) 모델의 이해

• 1. 컴퓨터의 자연어 이해
  • 1.1 컴퓨터의 자연어 이해의 문제점
  • 1.2 단어의 의미와 유사성, 모호성
• 2. 임베딩과 임베딩 모델의 정의
  • 2.1 임베딩의 개념
  • 2.2 임베딩 기법
  • 2.3 임베딩 모델
• 3. Word2Vec
  • 3.1 Word2Vec 개요
  • 3.2 개발 역사
  • 3.3 핵심 메커니즘: 분포 가설
  • 3.4 CBOW vs Skip-gram

1. 컴퓨터의 자연어 이해

1.1 컴퓨터의 자연어 이해의 문제점

• 컴퓨터의 자연어 이해의 실상
  • 딥러닝 기술의 발달로 다양한 언어의 처리, 대응이 가능해 짐
  • 기계번역, 문서요약, 문장 생성 등 많은 성과 도출
  • 그러나 컴퓨터는 자연어를 이해하지 못함 🡲 수치 데이터를 계산하여 사람에게 그럴듯하게 보이도록 표현할 뿐
  • 컴퓨터의 자연어 이해와 생성은 연산과 처리의 한 부분
• 제시된 문제
  • 언어의 표현력은 무한하다!! (대전제)
    • 컴퓨터가 무한한 언어의 표현력을 연산할 수 있도록 수치화는 가능한가?
    • 수치화가 가능하다면 말과 글을 숫자로 변환할 때 어떤 정보를 함축 시킬 것인가?
    • 정보 압축 과정에서 손실이 발생하지 않을까?
    • 손실은 어떻게 줄일 수 있을 것인가?
  • 이러한 문제를 해결해 나가는 과정이 “자연어 이해”의 연구 과정

1.2 단어의 의미와 유사성, 모호성

• 자연어 처리 분야에서 가장 기초이면서 가장 어려운 문제

• 단어와 단어의 의미와의 관계
  • 단어는 글자로 적을 때는 하나의 형태를 가지지만 상황에 따라 다른 의미로 사용됨
  • 주변 정보에 따라 숨겨진 의미를 파악, 이해함
  • 주변 정보의 부족, 또는 다른 해석에 따라 모호성 증가
    • 사람도 제대로 이해하지 못하는 경우가 흔함
• 단어의 중의성에 대한 예

연관 의미	세부 의미	풀이
차 #1	차 1-1	좋은 향기나 맛이 있는 식물의 잎이나 뿌리, 열매 등을 달이거나 우려서 만든 마실 것
차 #2	차 2-1	바퀴가 달려 있어 사람이나 짐을 실어 나르는 기관
	차 2-2	사람이나 물건을 차량에 실어 그 분량을 세는 단위
	차 2-3	장기의 말 중에서 ‘車’ 자를 새긴 말
차 #3	차 3-1	둘 이상을 비교했을 때 서로 다르게 나타나는 수준이나 정도
	차 3-2	어떤 수나 식에서 다른 수나 식을 뺀 나머지
차 #4	차 4-1	어떤 일의 차례나 횟수를 나타내는 말
	차 4-2	어떠한 일을 하던 기회나 순간
	차 4-3	일정한 주기나 기간이 지난 해당 시기를 나타내는 말

• 단어의 형태들과 내부 의미들이 갖는 관계

  
• 동형어, 다의어, 동의어
  • 동형어: 형태는 같으나 뜻이 서로 다른 단어
    • 어원이 서로 다른 의미들이 같은 형태를 띠는 단어
  • 다의어: 한 형태의 단어가 여러 의미를 지니는 단어
    • 각 의미들이 서로 관련된 뜻을 가진다는 점에서 동형어와 차이가 있음
  • 동의어: 같은 의미를 가지는 다른 형태의 단어
    
    
  • 자연어 처리를 위하여 단어의 중의성을 제거하는 작업이 필요함

  종류	단어 형태	의미 1	의미 2
  동형어	차	마시는 차(茶, tea)	달리는 차(車, car)
  다의어	다리	사람 다리(脚, leg)	책상 다리(跏, desk leg)

• 상위어와 하위어
  • 사람이 사용하는 단어는 하나의 추상적 개념을 나타냄
  • 특정 개념을 하위 개념이라고 하면 그 하위 개념들을 포함하는 상위 개념이 있음
    • 상위 개념을 가리키는 단어: 상위어
    • 하위 개념을 가리키는 단어: 하위어
  • 단어들의 어휘 분류에 따라 단어 간 관계구조의
  • 계층화 가능 🡲 자연어 처리에 유용

  상위어	동물	포유류	코끼리	사물	전화기	사물	컴퓨터
  하위어	포유류	코끼리	아프리카 코끼리	전화기	핸드폰	컴퓨터	노트북

• 정리
  • 자연어 처리를 위하여 단어의 중의성을 제거하는 작업이 필요함
    🡲 중의성의 제거를 위해 각 단어 별로 명확한 값을 부여할 필요가 있음
  • 종종 각 단어의 관계구조에 따른 계층화 작업이 요구됨
  • 단어들은 의미, 단어 간의 관계, 분류체계 등에 기반한 유사도를 가짐
    
    
• 자연어 처리를 위해서는 각 단어에 정확한 값을 부여하는 작업이 요구됨

2. 임베딩과 임베딩 모델의 정의

2.1 임베딩의 개념

• 사람이 이해하는 자연어(비정형 데이터)를 컴퓨터가 계산할 수 있는 고정된 길이의 실수 벡터(Vector)로 변환하는 과정

• 단순한 수치화가 아니라, 단어나 문장 간의 ‘의미적 유사성’을 다차원 공간상의 ‘거리’로 투영하는 것이 핵심
  
  

• 자연어 처리에서의 임베딩이란?
  • 사람이 쓰는 자연어(단어나 문장)를 기계가 이해할 수 있는 숫자의 나열인 벡터로 바꾼 결과, 또는 그 과정 전체

  • 단어나 문장 각각을 벡터로 변환하여 “벡터 공간으로 끼워 넣는다”는 의미에서 임베딩이라는 이름이 붙게 됨
    
    

  • 왜 임베딩 과정을 필요로 하는가?
    • 컴퓨터는 자연어를 직접적으로 처리할 수 없음 🡲 컴퓨터는 수치 연산만 가능함 🡲 자연어를 숫자나 벡터 형태로 변환할 필요가 있음
    • 이때 사용되는 일련의 과정이 “임베딩”
    • 임베딩된 결과는 딥러닝 모델의 입력값으로 사용됨
      
      
• 임베딩 기술의 사용
  • 임베딩의 개념은 꽤 오래 전부터 자연어 처리 분야에서 사용되었음
  • 본격적인 부상은..
    • “요슈아 벤지오“ 연구팀이 2003년, “A Neural Probabilistic Language Model” 이라는 논문을 발표한 후부터
    • 임베딩 기술과 딥러닝 기술이 융합, 통합되어 활용되기 시작함
      
      

2.2 임베딩 기법

• 문장 임베딩
  • 문장 전체를 벡터로 표현하는 방법
  • 전체 문장의 흐름을 파악해 벡터로 변환 🡲 문맥적 의미를 지니는 장점을 가짐
  • 단어 임베딩에 비해 품질이 좋으며 상용 시스템에 많이 사용됨
  • 학습을 위해서 수 많은 문장 데이터가 필요하며 학습 비용이 매우 높음
• 단어 임베딩
  • 개별 단어를 벡터로 표현하는 방법
    • 동음어 구분을 하지 않음 🡲 의미가 달라도 단어의 형태가 같으면 동일한 벡터값을 가짐 (단점)
    • 문장 임베딩에 비해 학습 방법이 간단함 🡲 성능은 떨어지지만 그래도 실무에 많이 사용
  • 의미와 문법적 정보를 지님
  • 단어를 표현하는 방법에 따라 다양한 모델 존재
  • 토크나이징을 통해 문장에서 토큰 단위를 추출하는 경우, 추출된 토큰은 형태소 기반이므로 단어 임베딩이 효과적

• 단어 임베딩의 종류

  • 희소 표현
    • 각각의 차원이 독립적인 정보를 지님
      • 장점: 사람이 이해하기에 직관적
      • 단점
        • 단어 사전의 크기가 커질수록 메모리 낭비가 심해지고 계산 복잡도가 커짐
        • 단어 간의 연관성이 전혀 없어 의미를 담을 수 없음

    • 자연어 처리를 잘 하려면 기본 토큰이 되는 단어의 의미와 주변 단어 간의 관계가 단어 임베딩에 표현되어야 함
      🡲 희소 표현은 이런 조건을 만족하지 못함

    • 원핫 인코딩(One-Hot Encoding)
      • 단어를 숫자 벡터로 변환하는 가장 기본적인 방법
      • 표현하고자 하는 단어의 인덱스 요소만 1이고 나머지 요소는 모두 0으로 표현되는 희소 벡터(또는 희소 행렬)
        🡲 단어가 희소 벡터로 표현되는 방식: 희소 표현

      • 요소들 중 단 하나의 값만이 1이고 나머지 요소들의 값은 0인 인코딩 방식

        
      • 원핫 인코딩의 특징과 단점

        • 원핫 인코딩 벡터의 차원은 전체 어휘의 개수 🡲 매우 큰 차원이 됨

          

        • 단어는 불연속적인 심볼이며 이산 확률 변수로 나타남
          🡲 원핫 벡터는 이산 확률 분포에서 추출한 샘플 🡲 불연속적인 값을 가짐

          
  • 분산 표현
    • 희소 표현의 단점 해결을 위해 고안됨
    • 각 단어 간의 유사성을 잘 표현하면서도 벡터 공간을 절약할 수 있는 방법
    • 한 단어의 정보가 특정 차원에 표현되지 않고 여러 차원에 분산되어 표현됨
    • 비유를 통한 예시
      • 색상을 표시하는 RGB 모델 🡲 3차원 벡터, 분산 표현 방식
      • 연두색
        • 희소 표현으로 나타낸다면 🡲 매우 큰 벡터 차원. 다른 색상과의 유사성 파악 불가능
        • 분산 표현으로 나타낸다면 🡲 RGB(204, 255, 204)

    • 희소 표현에 비해 많은 장점을 가지므로 단어 임베딩 기법에서 많이 사용됨

    • 분산 표현 방식을 그림으로 이해하면

      

    • 신경망에서는 분산 표현을 학습하는 과정에서 임베딩 벡터의 모든 차원에 의미있는 데이터를 고르게 밀집시킴
      🡲 희소표현과 반대로 데이터 손실을 최소화 하면서 벡터 차원이 압축되는 효과를 가짐

    • 희소 표현 대신 분산 표현을 사용한다면
      • 임베딩 벡터의 차원을 데이터 손실을 최소화하면서 압축할 수 있음
      • 임베딩 벡터에 단어의 의미, 주변 단어와의 관계 등 많은 정보가 내포되어 있음 🡲 일반화 능력이 뛰어남

    • 분산 표현 방식의 벡터 공간

      

2.3 임베딩 모델

• 이산적인(Discrete) 데이터를 연속적인(Continuous) 고차원 벡터 공간으로 매핑(Mapping)하는 함수

• 현대 AI(LLM/RAG) 맥락에서 ‘임베딩 모델’을 정의할 때, 단순히 “변환하는 모델”이라는 ‘수행 과정’ 외에 기능적·구조적 특성이 필요함

• 임베딩 모델의 특성
  • 시맨틱 추출기 (Semantic Extractor)
    • 단순히 글자를 숫자로 바꾸는 것이 아니라, 문맥(Context)을 파악하여 의미적 외연을 추출함
    • 동일한 단어를 서로 다른 좌표에 배치할 수 있는 능력이 임베딩 모델의 핵심 정의 중 하나
      • 예: “사과를 먹다”와 “사과를 하다(사죄)”에서의 ‘사과’는 서로 다른 좌표에 배치됨
  • 차원 축소 및 압축기 (Dimensionality Reduction & Compression)
    • 자연어라는 무한에 가까운 희소(Sparse) 데이터를, 고정된 크기(예: 768차원, 1536차원)의 밀집(Dense) 벡터로 압축하여 표현하는 모델
    • 정보의 손실을 최소화하면서 컴퓨터가 연산하기 가장 효율적인 상태로 만드는 ‘인코더(Encoder)’ 역할을 수행함
• 임베딩 모델 vs 일반적 수치화의 차이

  • 단순히 숫자로 바꾸는 것(예: ASCII 코드 변환, One-hot Encoding)과 임베딩 모델의 차이

  • 일반 수치화
    • 단어 간의 관계를 모름
    • ‘개’와 ‘강아지’는 완전히 다른 숫자로 취급됨
  • 임베딩 모델
    • 학습(Training)을 통해 데이터 사이의 ‘상대적 거리’를 이미 알고 있는 모델
    • 즉, “지식이 내재된 변환기”라고 정의할 수 있음

• 정리
  • 임베딩 모델이란,
    • 비정형 텍스트 데이터를 고차원 벡터 공간상의 좌표로 변환하여,
      언어의 문맥적 의미와 상관관계를 기하학적 거리(Distance)로 치환해주는 신경망 기반의 인코더 모델
    • 쉽게 말해서 “학습된 지식을 바탕으로 문맥을 반영하여 좌표를 찍는 인코더“
      
      
• 참고
  • 생성 모델이 “다음 단어를 예측 (Next Token Prediction)”하는 모델이라면
  • 임베딩 모델은 “문장 전체를 하나의 벡터로 요약 (Sentence Representation)”하는 모델

3. Word2Vec

3.1 Word2Vec 개요

• 단어(Word)를 고차원의 밀집 벡터(Vector)로 변환(Embedding)하는 프레임워크
  • 컴퓨터가 텍스트의 표면적 글자가 아니라,
  • 단어가 가진 ‘의미론적 가치(Semantic Value)’를 수학적으로 계산할 수 있도록 매핑해 주는
  • 분산 표현(Distributed Representation) 기법
• AI 기반 자연어 처리(NLP) 혁신의 신호탄이 되었던 모델

3.2 개발 역사

• Word2Vec은 자연어 처리 연구가 통계적 모델에서 딥러닝 기반 표현 학습(Representation Learning)으로 넘어가는 거대한 변곡점

• 2003년: 모태가 된 NNLM의 등장
  • 요슈아 벤지오(Yoshua Bengio) 교수 연구팀
    • 신경망 기반 언어 모델(NNLM, Neural Network Language Model)을 제안
    • 단어를 밀집 벡터로 표현하는 아이디어를 처음 정립
  • 그러나 피드포워드 신경망의 은닉층(Hidden Layer) 연산 복잡도가 너무 높아 대규모 텍스트 학습이 불가능
• 2013년: 구글(Google) 토마스 미콜로프의 혁신 (Word2Vec 탄생)
  • 구글의 연구원 토마스 미콜로프(Tomas Mikolov)가 이끄는 연구팀
    • NNLM의 복잡한 은닉층 연산을 과감히 제거한 초경량 신경망 구조인 Word2Vec(CBOW, Skip-gram)을 발표
  • 방대한 말뭉치(Corpus)를 고속으로 학습하기 위해
    • 네거티브 샘플링(Negative Sampling)과 계층적 소프트맥스(Hierarchical Softmax)라는 연산 최적화 기법을 도입
    • 수십억 개의 단어를 단 몇 시간 만에 학습하는 기염을 토함
• 2014년 이후: 계보의 확장 (GloVe와 FastText)
  • Word2Vec은 국소적인 맥락만 본다는 한계가 있음
    🡲 스탠포드 대학교 연구진, 전체 문서의 말뭉치 통계(동시 출현 빈도)를 반영한 GloVe 모델 출시
  • 2016년 페이스북(현 Meta) 연구진
    • 단어를 더 작은 subword(자소/음절 단위) 단위로 쪼개어 학습하는 FastText 발표
    • 오탈자나 미등록 단어(OOV, Out-of-Vocabulary) 문제를 해결하며 Word2Vec의 계보를 이어받음
• 현재 (2026년 기준 아키텍처적 위치):
  • BERT, GPT와 같은 대규모 트랜스포머(Transformer) 기반의 문맥 동적 임베딩(Contextualized Embedding)에 주류 자리를 내어줌
    • Word2Vec은 단어의 문맥에 따른 다의어 처리가 불가능하다는 고유한 한계가 있기 때문
      • 예: 배를 타다의 ‘배’와 먹는 ‘배’를 동일 벡터로 처리
  • 개념의 직관성과 가벼운 연산 속도 덕분에 다음과 같은 분야에서는 여전히 강력한 유틸리티 스택으로 애용됨
    • 추천 시스템의 아이템 임베딩(Item2Vec)
    • 그래프 임베딩(Graph2Vec)
    • 가벼운 로컬 임베딩 분류 분석 분야

3.3 핵심 메커니즘: 분포 가설

• Word2Vec은 언어학자 존 루퍼트 퍼스(J.R. Firth)의 유명한 격언인 “단어의 의미는 주변에 어울리는 단어들을 보면 알 수 있다”는 분포 가설을 딥러닝 알고리즘으로 구현한 것

• 문장 내에서 비슷한 맥락(Context)을 공유하는 단어들은 벡터 공간 상에서도 서로 가까운 위치에 모이게 됨
  • 예: “왕(King)”과 “여왕(Queen)”은 텍스트 상에서 주변 단어(호칭, 권력, 국가 등)가 매우 유사하므로 공간 상에 밀접하게 배치됨
• 기존 방식(One-hot Encoding)의 한계 극복
  • Word2Vec 이전
    • 단어를 단순히 고유한 인덱스로만 취급하는 희소 표현(Sparse Representation)인 원-핫 인코딩(One-hot Encoding)을 주로 사용
  • 원-핫 인코딩의 한계:
    • 단어 개수가 10만 개 🡲 10만 차원의 거대한 배열 필요 🡲 심각한 메모리 낭비
    • 모든 단어 벡터 간의 내적이 0이 되므로 단어 간의 유사성을 전혀 계산할 수 없음
  • Word2Vec의 혁신:
    • 단어를 개발자가 지정한 고정 차원(보통 100~300차원)의 밀집 벡터(Dense Vector)로 압축
    • 모든 차원이 실수값으로 채워짐
    • 단어 간의 코사인 유사도를 통해 의미적 거리를 완벽히 계산할 수 있음
• 벡터 연산의 가능 (단어 대수학)
  • Word2Vec의 가장 놀라운 특징 🡲 단어 벡터 간의 사칙연산이 성립한다는 점
  • 단어의 의미적 관계가 벡터 공간의 방향성과 거리로 그대로 유지됨

\[\text{Vector}(\text{"King"}) - \text{Vector}(\text{"Man"}) + \text{Vector}(\text{"Woman"}) \approx \text{Vector}(\text{"Queen"})\] \[\text{Vector}(\text{"Korea"}) - \text{Vector}(\text{"Seoul"}) + \text{Vector}(\text{"Tokyo"}) \approx \text{Vector}(\text{"Japan"})\]

• 두 가지 핵심 아키텍처
  • Word2Vec은 학습 방향에 따라 두 가지 알고리즘으로 구분됨
    
    
  • CBOW (Continuous Bag-of-Words):
    • 주변의 맥락 단어들을 입력받아 중앙에 빠진 하나의 단어를 예측하는 방식
    • 학습 속도가 상대적으로 빠르며 자주 등장하는 단어 예측에 유리함
  • Skip-gram:
    • 중앙의 한 단어를 보고 주변에 올 맥락 단어들을 예측하는 방식
    • CBOW에 비해 인공신경망 가중치 업데이트 기회가 많아, 학습 속도는 느림
    • 동일 데이터셋 기준 희귀한 단어(Rare Words)를 훨씬 더 정교하게 임베딩 할 수 있음 🡲 실무에서 더 널리 쓰임
      
      

3.4 CBOW vs Skip-gram

• 두 모델은 분포 가설(Distributional Hypothesis)을 따르지만,

• “무엇을 입력받아 무엇을 예측할 것인가”에 대한 학습 방향성이 정반대로 설계됨

    [CBOW 아키텍처]                        [Skip-gram 아키텍처]
  
    주변 맥락 단어들 (Context)               중앙 핵심 단어 (Target)
    [ 윈도우 내 단어들 ]                          [ 단어 1개 ]
            │                                         │
            ▼                                         ▼
    은닉층 (Projection)                       은닉층 (Projection)
            │                                         │
            ▼                                         ▼
    중앙 핵심 단어 (Target)                주변 맥락 단어들 (Context)
        [ 단어 1개 예측 ]                        [ 윈도우 내 단어들 예측 ]
  

  

• CBOW (Continuous Bag-of-Words) 모델

  • 주변에 있는 맥락 단어들(Context Words)을 조합하여, 그 중앙에 빠져 있는 하나의 표적 단어(Target Word)를 예측하는 방식으로 학습하는 신경망
    • 예시:
      • "석환은 오늘 워크스테이션에서 [ ? ] 연구를 수행했다"라는 문장이 있다면,
      • 주변 단어들을 기반으로 빈칸에 들어갈 단어가 "AI" 또는 "신경망"일 것이라고 예측하는 구조
  • 신경망 구조 및 매커니즘
    • CBOW는 입력층, 은닉층(투사층), 출력층으로 구성된 얕은 인공신경망(Shallow Neural Network)
    1. 입력층 (Input Layer):
       • 설정된 윈도우 크기(\(Window Size=2\) 라면 좌우 2개씩 총 4개)만큼의 주변 맥락 단어들이
       • 각각 원-핫 인코딩(One-hot Encoding) 벡터 형태로 입력됨
    2. 은닉층 / 투사층 (Projection Layer):
       • 각 입력 단어와 가중치 행렬(W)의 곱을 통해 임베딩 공간으로 투사
       • 핵심 특징:
         • CBOW는 입력된 여러 개의 맥락 단어 벡터들을 전부 더한 뒤 평균(Average)을 내어 하나의 은닉층 벡터를 만듦
           • 이 과정에서 단어들의 순서 정보는 소실되므로 ‘Bag-of-Words’라는 이름이 붙음
         • 활성화 함수가 없는 선형 결합 층
    3. 출력층 (Output Layer):
       • 은닉층의 평균 벡터에 또 다른 가중치 행렬(W’)을 곱한 후,
       • 소프트맥스(Softmax) 함수를 통과시켜
       • 전체 단어장(Vocabulary) 중 어떤 단어가 중앙에 올지 확률 분포로 출력
       • 예측값과 정답 간의 교차 엔트로피(Cross-Entropy) 손실을 계산하여 역전파(Backpropagation)로 가중치를 학습시킴

• Skip-gram 모델

  • Skip-gram 모델은 CBOW와 정반대
  • 중앙의 핵심 단어(Target Word) 하나를 입력받아 그 주변에 등장할 맥락 단어들(Context Words)을 예측하는 방식으로 학습하는 신경망
    • 예시:
      • " [ ? ] [ ? ] AI [ ? ] [ ? ] "와 같이 "AI"라는 중심 단어를 주면,
      • 앞뒤로 "석환은", "오늘", "기술", "연구를"이라는 단어들이 배치될 확률을 각각 독립적으로 예측
  • 신경망 구조 및 매커니즘
    • 구조 자체는 CBOW를 뒤집어 놓은 형태이지만 연산과 가중치 업데이트 방식에서 결정적인 차이가 발생함
    1. 입력층 (Input Layer):
       • 중심 단어 딱 1개의 원-핫 인코딩 벡터가 입력됨
    2. 은닉층 / 투사층 (Projection Layer):
       • 중심 단어 벡터와 가중치 행렬(W)이 곱해져 은닉층 좌표로 투사
       • 단 하나의 단어만 입력되므로, CBOW처럼 벡터 간의 평균을 내는 연산이 존재하지 않음
       • 단어 고유의 벡터 값이 그대로 은닉층에 유지됨
    3. 출력층 (Output Layer):
       • 은닉층 벡터에 가중치 행렬(W’)을 곱한 뒤,
       • 소프트맥스를 거쳐 윈도우 크기 내의 주변 공간 개수만큼 독립적인 단어 예측을 수행
       • 중심 단어 하나로 주변 단어 \(2 \times \text{Window Size}\)개를 각각 맞추는 멀티 태스크 학습을 진행

• 두 모델의 정밀 비교 및 엔지니어링 트레이드오프

  비교 항목	CBOW	Skip-gram
  학습 방향	주변 맥락 단어들 🡲 중앙 단어 예측	중앙 단어 🡲 주변 맥락 단어들 예측
  은닉층 연산	입력된 모든 맥락 벡터의 평균(Average) 계산	입력이 1개이므로 평균 연산 없음(그대로 투사)
  데이터 활용 효율	한 스텝당 하나의 예측 손실(Loss)만 계산됨	중심 단어 1개로 주변 N개 단어를 각각 독립 예측하여 가중치 업데이트 기회가 N배 많음
  학습 속도	상대적으로 매우 빠름	계산량이 많아 상대적으로 느림
  희귀 단어 (Rare Words)	취약함 (주변 단어들의 평균에 묻히기 쉬움)	우수함 (중심 단어로 쓰일 때 주변 맥락을 강제로 학습시키므로 정교하게 표현됨)
  실무 선호도	말뭉치가 거대하고 연산 자원이 부족할 때 간혹 사용	일반적인 NLP 전처리 및 임베딩 표준으로 선호

• 참고
  • CBOW
    • 주변 문맥을 뭉뚱그려(평균 내어) 중간을 맞추기 때문에
    • 전체적인 말뭉치의 통계적 흐름을 빠르게 학습하는 데 유리함
  • Skip-gram
    • 단어 하나하나가 주변에 미치는 영향을 독립적으로 꼼꼼하게 따지기 때문에,
    • 데이터셋 내에 출현 빈도가 낮은 희귀 단어(Rare Words)나 전문 용어의 의미론적 벡터 표현을 훨씬 더 풍부하고 정교하게 임베딩함
    • 이 때문에 현대 다운스트림 태스크용 임베딩을 구축할 때는 대개 Skip-gram 아키텍처를 기본 스택으로 채택함