AI/Baseline
BERT에 대해서 봤다.
아인샴
2023. 5. 19. 15:07
CLIP을 보는데 있어서 attention(transformer)을 보고 무엇을 볼 지 gpt한테 물어봤더니 BERT를 보라고 해서 보기로 했다. Bidirectional Transformer for langue Understanging 이라고 하는 BERT는 attention 메커니즘을 이용하여 텍스트의 양방향 의미를 학습하는데 큰 역할을 한다고 한다.
https://arxiv.org/abs/1810.04805
https://drive.google.com/file/d/1jb-iPgpCg624f5KzIoY6280St_7K-9Bi/view?usp=share_link
근데 논문 보기 전에 위 자료가 너무 잘되어있어서 조금 더 봤다.
서브워드토크나이저라는 개념을 잘 익힌것 같다.
+ RNN에서의 기계번역 구조
---
이걸 봤는데 도움이 많이 된 듯
https://www.youtube.com/watch?v=SHWlHc9OuwU