꼭꼭 씹어먹고 싶은 만성소화불량

더보기 Fine Tuning (세부 조정) 개념과 목적: 사전에 학습된 모델을 새로운 작업이나 도메인에 적용하기 위해 추가 학습을 수행하는 방법입니다. 목적은 특정 작업에 대한 모델의 성능을 최적화하는 것입니다. 등장 시기: 2010년대 초반, 딥러닝이 급속히 발전하면서 널리 사용되기 시작했습니다. 장단점: 장점: 사전 학습된 모델을 재사용하여 학습 시간을 단축하고, 적은 양의 데이터로도 높은 성능을 달성할 수 있습니다. 단점: 새로운 작업이나 도메인과 원래 모델이 학습된 도메인 간의 차이가 클 경우 성능이 제한될 수 있습니다. 학습 난이도: 상대적으로 낮음. 사전 학습된 모델에 의존하므로, 적절한 사전 학습 모델을 선택하고, 세부 조정 과정을 이해하는 것이 중요합니다. 환경: 딥러닝 프레임워크(Tens..

딥 빌리프 네트워크(Deep Belief Networks, DBN)는 여러 겹의 비지도 학습 단위인 제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)으로 구성된 심층 신경망입니다. DBN은 레이블이 없는 데이터를 사용하여 효과적으로 특징을 학습할 수 있으며, 이를 통해 높은 수준의 추상화를 달성할 수 있습니다. DBN은 데이터에서 복잡한 표현을 학습하기 위해 계층적 구조를 사용합니다. 각 계층은 데이터의 특징을 점점 더 높은 수준으로 추상화하며, 이러한 과정을 통해 모델은 데이터의 중요한 특징을 효율적으로 인코딩하고 재구성할 수 있게 됩니다. DBN의 주요 특징: 비지도 학습: DBN은 초기 학습 단계에서 레이블이 없는 데이터를 활용할 수 있습니다. 이는 대량의 레이블이 ..

더보기 2024.03.20 - [AI/Baseline] - Domain Adaptation 이란? https://www.youtube.com/watch?v=dPSSMLhFGpI 아래 개념은 내가 정리한 것으로 영상과는 차이가 있다. OOD(Out-Of-Distribution) 데이터 OOD 데이터는 학습 데이터 분포와 다른 분포에서 온 데이터를 의미합니다. 즉, 모델이 학습하는 동안 접하지 않았던, 완전히 새로운 형태의 데이터입니다. OOD 데이터는 모델의 일반화 능력을 테스트하거나, 예상치 못한 상황에 모델이 어떻게 반응하는지 평가하는 데 사용됩니다. 예를 들어, 고양이와 개를 구별하기 위해 학습된 모델에 말이나 코끼리 사진을 입력하는 경우가 OOD에 해당합니다. 초점: OOD 데이터는 모델이 학습한 ..

Sensitivity Specificity - Sensitivity는 민감도. 민감도를 높이면 무엇이든 참이라고 추론할 것이다. (참은 잘맞추겠지만 거짓이 많이 나올 것) - Specificity는 특이성. 특이성을 높이면 무엇이든 거짓이라고 추론할 것이다. (거짓을 잘 맞추겠지만.. ) - sensitivity와 1-Specificity 는 비례한다. ROC (Receiver Operating Characteristic) curve -FPR과 TPR을 각각 x,y축으로 놓은 그래프라고 한다. 기계 실제 -False Positive Rate : 참 (거짓) 의 비율 (분모는 실제 거짓) =Sensitivity -True Positive Rate : (참) 참 의 비율 (분모는 실제 참 ) = 1-Spec..

2024.03.04 - [AI] - YOLO v1~v8까지 정리 해보자 -Yolov4에서 도입했다고 하길래 나도 한 번 알아보자. CSPDarknet53 -CSPDarknet은 Cross Stage Densenet의 Densenet부분을 Darknet으로 바꾼 것이라고 한다. 그냥 Densenet과 CSP Densenet의 구조적 차이는 아래와 같다. X0전체를 처리하지 않았기 때문에 (처리하지 않은 x0가 그대로 적용되었음), Partial DenseNet이라고 한다. 출처 : https://yonghoney.github.io/YOLOv4/ CSP란 네트워크 일부 계측에서 feature map을 두 부분으로 나누고 한 부분을 직접 다음 계층으로 전달, 나머지는 여러 계층을 통과시킨 후 이전에 분리된 부..

보기는 했는데.. 에.. 본 것 맞아? https://arxiv.org/abs/2103.00020 https://drive.google.com/file/d/1lBfCllCl9WVioYJmlzYVGq2iCUwdDXT1/view?usp=sharing https://youtu.be/7UMmKm0hzho https://youtu.be/vCsrk5teBs8 https://youtu.be/WaPZLMDrguM https://youtu.be/zPWi6dSHe0g https://youtu.be/kRmv8_i2A_4

https://wikidocs.net/115055 CLIP을 보는데 있어서 attention(transformer)을 보고 무엇을 볼 지 gpt한테 물어봤더니 BERT를 보라고 해서 보기로 했다. Bidirectional Transformer for langue Understanging 이라고 하는 BERT는 attention 메커니즘을 이용하여 텍스트의 양방향 의미를 학습하는데 큰 역할을 한다고 한다. https://arxiv.org/abs/1810.04805 https://drive.google.com/file/d/1jb-iPgpCg624f5KzIoY6280St_7K-9Bi/view?usp=share_link 근데 논문 보기 전에 위 자료가 너무 잘되어있어서 조금 더 봤다. https://wikido..

GRU에 대해서도 이해하고 싶었는데 그건 그냥 유튜브 영상을 보기로 했다. https://aistudy9314.tistory.com/63 https://www.youtube.com/watch?v=jbf_k7b16Vc https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an ..

https://wikidocs.net/22886 이제 바닥을 좀 쌓아보려고 한다. RNN 부터 LSTM attention CLIP을 보고 싶다. RNN에서는 hidden layer 에서 activation function 통해 결과를 내보내는 역할을 하는 노드를 cell이라고 표현한다고 한다. 이 셀은 이전의 값을 기억하려고 하는 일종의 메모리 역할을 수행하므로 RNN(메모리) cell이라고 함. 03-05 언어모델의 평가방법 Perplexity PPL : 이 수치는 낮을수록 언어모델의 성능이 좋은 것이다. PPL은 선택할 수 있는 가능한 경우의 수를 의미하는 분기계수 branching factor라고 해서 PPL이 test data를 통해 10으로 측정되었다면 해당 언어 모델은 테스트 데이터에 대해서 ..

처음으로 논문리뷰를 녹화해봤다. 9p중 1p 떼면 8p보는데 2.5h이 걸렸다. 흐음... 그래도 일부러 엄청 낯선 개념을 골라서 했으니 내가 논문보는 속도를 대충 훑어보는데 8p/2.5h를 기준으로 보면 되겠지? 그래도 최신논문은 바람직하게 이미지 결과가 많아서 아마 페이지당 시간이 줄어들것 같긴하다. https://www.youtube.com/watch?v=APiRtQuYeqs&t=10s 엉망진창일것같음 ㅋㅋ(아직 업로드 중[HD]) https://drive.google.com/file/d/1fKt7Tfz_5BD_AMux6R9Vj0FMzznAzVfl/view?usp=sharing -- 이걸봤더니, 읽고나서 설명하려면 한문장씩하는게 아니라 문단별로 끊어서 해야겠다. 1문단 읽고 끊은다음 3문단을 다시 ..