cs224N 2주차 과제 #2 assignment 정리

과제 Assignment #2 - 1. word2vec의 핵심적인 통찰은 '단어가 보유하고있는 그룹에 의해 알려진다'는 것입니다. 구체적으로 '중심'단어 C와 C를 둘러싼 상황 별 창이 있다고 가정합니다. 이 상황 별 창에있는 단어를 '외부 단어'라고합니다. 예를 들어, 그림 1에서 중심 단어 c가 'banking'임을 알 수 있습니다. 컨텍스트 창 크기가 2이므로 외부 단어는`turning ',`into',`crises '및`as'입니다. context window란 근방의 단어를 몇 길이나 볼것인지를 뜻하는 크기임 -- skip-gram word2vec 알고리즘의 목표는 확률 분포 P (O|C)를 정확하게 얻는 것입니다. 특정 단어 o와 특정 단어 c가 주어지면, 우리는 단어 o가 c에 대한 '외부'..
AI/자연어 처리 2021. 7. 1. 05:31
max-margin loss란

직역하여 생각하면 마진을 최대화 시키고자 하는 Loss 연산법인 것 같다. 따로 알고리즘은 없고(라기보다 내가 못찾았고), 기존의 기준값(LOSS)을 어떻게 하면 더 크게크게 해서 연산효율을 뽑아낼지 부차적으로 고민을 하다 나온 방법론이라고 생각한다. 내생각은 녹색으루 2019년도 CS224N in stanford 듣고 있다. Lecure 3에서 The max-margin loss란 것을 설명한다. 이해+ 의역하자면 중간층은 입력 word vector들 안에서 비선형적인 상호작용을 배운다. ex) 'museums'가 첫번째 벡터인 경우에만 "in"이 2번째에 위치하는 것이 중요하다.
AI/자연어 처리 2021. 6. 23. 22:39
1