티스토리 뷰

AI/Baseline

BERT에 대해서 봤다.

아인샴 2023. 5. 19. 15:07

https://wikidocs.net/115055

 

CLIP을 보는데 있어서 attention(transformer)을 보고 무엇을 볼 지 gpt한테 물어봤더니 BERT를 보라고 해서 보기로 했다. Bidirectional Transformer for langue Understanging 이라고 하는 BERT는 attention 메커니즘을 이용하여 텍스트의 양방향 의미를 학습하는데 큰 역할을 한다고 한다. 

 

https://arxiv.org/abs/1810.04805

https://drive.google.com/file/d/1jb-iPgpCg624f5KzIoY6280St_7K-9Bi/view?usp=share_link

근데 논문 보기 전에 위 자료가 너무 잘되어있어서 조금 더 봤다. 

https://wikidocs.net/22592

서브워드토크나이저라는 개념을 잘 익힌것 같다. 

+ RNN에서의 기계번역 구조 

seq2seq

https://youtu.be/QpojzAGHGa8

https://youtu.be/B89c4K-V1f8

https://youtu.be/pDM-zcXR2EQ

 

 

---

이걸 봤는데 도움이 많이 된 듯 

https://www.youtube.com/watch?v=SHWlHc9OuwU 

 

'AI > Baseline' 카테고리의 다른 글

CSPDarknet53, Mish 활성화, Cross-stage partial connections  (0) 2024.03.04
CLIP에 대해서 봤다.  (0) 2023.05.29
Attention 에 대한 논문을 봤다.  (0) 2023.05.19
순환 신경망 RNN(Recurrent Neural Network)에 대해서 봤다. LSTM 도 봤다.  (0) 2023.05.17
High-Dimensional Signature Compression for Large-Scale Image Classification  (0) 2023.04.28