꼭꼭 씹어먹고 싶은 만성소화불량

https://hyunw.kim/blog/2017/10/27/KL_divergence.html 초보를 위한 정보이론 안내서 - KL divergence 쉽게 보기사실 KL divergence는 전혀 낯선 개념이 아니라 우리가 알고 있는 내용에 이미 들어있는 개념입니다. 두 확률분포 간의 차이를 나타내는 개념인 KL divergence가 어디서 나온 것인지 먼저 파악하고, 이hyunw.kim이 블로그가 설명을 무지 잘한 것 같은데 뭔가 따라가기가 어렵다. 차근차근 따라가보자. https://yonghyuc.wordpress.com/2019/09/26/elbo-evidence-of-lower-bound/comment-page-1/#respond 여기도 좋았다. https://ratsgo.github.io/g..

코테공부하다가 잠이 안와서 다시 켰는데 모든 코테사이트 접속이 안된다... 작업관리자를 키다가 자주봤던 CTF Loader가 뭐였는지 알아보려고 블로그 켰다.  https://m.blog.naver.com/toruin84/222855894794 CTF Loader란 무엇이며 높은 CPU 사용량으로 컴퓨터 느려졌을 때 해결 방법이번에는 윈도우11/10에서 실행되는 프로세스 중 하나인 CTF Loader란 무엇이며 및 높은 CPU 사용량...blog.naver.com 윈도우 10/11에서 실행되는 프로세스로, Windows 구성요소들을 연결해 서로 통신할 수 있도록 하는 프로세스라고 한다.CTF는 무엇의 약자인걸까? Collaborative Translation Framework 라고 한다. 직역하면 '통합..

첫번째 블로그가 워낙 잘 정리되어있어서 거의 내가 이해한 부분만 복붙한 수준이 되었다. 들어본 개념이라고 생각했는데 지금 보니 한귀로 듣고 나간정도가 아니라 그냥 귀에 스칠뻔한 무언가였고 내가 가늠했던 개념하고도 확연히 달랐다. Error 는 bias와 variance로 구성되는데 이 두 개념은 현실적으로 trade-off로써 적용되는데 현상은 아래와 같다. inductive bias란 학습하지 않았던 상황도 예측하기 위한 추가적인 가정을 위한 bias 로 보임.  Training data를 넘어 "Generalization"할 수 있는 능력을 가진 학습 알고리즘에는 어떤 Inductive Bias가 존재하는데, 이는 학습과정에서 습득된 편향(bias)라고 말할 수 있다. Inductive bias의 예..

친구가 요즘 이 책을 읽고 있기에 나도 따라 읽어봤는데 ㅋㅋㅋㅋㅋ 비전공자도 읽을 수 있겠지만 왠만해서는 재밌게 읽을 수 있는 책이 아니다. 예상독자(비전공자)가 재밌게 읽을만한 정보의 해상도를 아득히 넘어서는 것이다. 해상도가 너무 높아서 전공자인 나까지 속으로 '아니 이렇게 자세하게 설명할 필요가 있나..?'싶었다. 특히 검색모델 관련해서 쿼리의 결과에 대한 우선순위 나열법이 왜 중요한지를 설명하는 것은 지극히 자연스럽고 당연한 접근이지만 그것을 수식으로 계산해서 실제 값을 나타내고 겨우겨우 그 수식을 따라가면 마지막 일격으로 더 심화된 수식을 적용해줬다.  나는 언어모델은 전공이 아니지만 수식에 익숙하기에 '앍' 한 번하고 따라 읽기는 했는데 비전공자면 아마 저절로 책을 덮을만한.. 수준이었다고 생..

내 머릿속 : LLM은 Large language Model로 OpenAI의 chatGPT같은 데이터를 많이 넣은 언어모델   출처 : https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/ RAG란? - 검색 증강 생성 AI 설명 - AWS시맨틱 검색은 방대한 외부 지식 소스를 LLM 애플리케이션에 추가하려는 조직의 RAG 결과를 향상시킵니다. 오늘날의 기업은 매뉴얼, FAQ, 연구 보고서, 고객 서비스 가이드, 인사 관리 문서 리포지aws.amazon.com 갱신된 내 머릿속 : RAG는 (Retrieval-Augmented Generation)으로써, 데이터를 많이 넣은 언어모델이 있다면 갑자기 GPT한테 오늘 뉴스 알려달라고 했을 때 ..

python 3.8에서  3.10 업그레이드 하고 나서 객체.next()를 next(객체) 하게 되었다. 이것만 바꾸면 되는 줄 알았는데 저기서 자꾸 에러가 나서 무엇인고 하니 예전에 자주 만났던 메모리 버스 오류가 아닌가 (이것저것 티키타카 하다가 자주만난 오류)  참조 : https://jjongguet.tistory.com/211 도커를 쓰는경우 외부 메모리를 가져오는 ipc=host ? 의 파라미터를 쓰라고 했지만 나는 써드파티? 라는 것을 쓰고 있었기 때문에 도커 직접제어가 불가능에 가까웠다.  그래서 해결방법은 worker 수를 0로 만드는 것 ㅠㅠ 스택오버플로에서 그렇게 해보라고 했더니 느려터졌지만 굴러가긴 한다.

contrastive loss와 같이 loss function 에 의한 발전에 속한다고 한다. (특히 val_loss에 해당) - Anchor(a), Positive(p),Negative(n) 세가지 input을 사용 L = max( d(a,p)-d(a,n) + margin,0) positive는 가깝고 negative는 멀어지게 되는데 margin이 더해져 있어서(?) negative를 멀리 보낸다고 한다. Triplet mining - Triplet loss에 따라 dataset의 카테고리를 3종류로 (Easy, Hard, Semi-hard) 나눌 수 있다. loss=0이면 easy triplet이다. *) d(a,p)+margin < d(a,n) negative가 positive보다 anchor에 ..

(1) 2024.03.25 - [AI] - 0325 papers + CI-UDA (2) 2024.03.28 - [AI] - Class-Incremental Unsupervised Domain Adaptation via Pseudo-Label Distillation(2024) 공식까지 빠지지 않고 처음부터 끝까지 다읽은 논문은 처음이다. 그런 의미에서 논문에 있는 말을 번역한 것이 아닌 내가 이해한 바를 따로 정리해 보려고 한다. class-level 에서는 confident 한 target sample과 src domain 간의 feature representation 을 맞추고(align), instance-level에서는 unconfident target sample의 robust featrue re..

소프트 라벨은 0,1,0,0의 one-hot과 달리 0.1,0.8,0.15.0.05 로 부드럽게 한다(모델의 과맹신?을 막음),psudo label은 언라벨링 데이터를 기계가 0,1,0,0으로 추론해서 쓰는 것이다. 출처 : Label smoothing/ https://blog.si-analytics.ai/21 psudo label ;https://kmhana.tistory.com/33 soft label : https://baeseongsu.github.io/posts/knowledge-distillation/

(출처를 그대로 인용하지 않은 나의 생각이라 이탤릭 녹색으로 적음) 가장 뚜렷한 차이는 DA가 Source Domain 과 Target Domain 을 갖고 있는데 반해, DG는 Target domain 이 정의 되지 않은 것 같다. DG(도메인 일반화)는 말 그대로 모델을 다양한 영역에서 동작하도록 일반화 시키는 것이고 Target은 U(전체 집합)이나 다름 없다. DG는 Target Data를 가지지 않은 것 같다. Unsupervised DA에서는 unlabelled data를 Target data로 활용한다. 출처 : https://blog.naver.com/khm159/222429395415 https://stats.stackexchange.com/questions/551671/domain-ge..