꼭꼭 씹어먹고 싶은 만성소화불량

https://arxiv.org/pdf/2008.01389  Abstract기존 DA는 새로운 target domain class를 학습하는데 적합하지 않으니 CI(class-incremental)-DA라는 패러다임을 제시한다. CI방법은 source training data 없는 경우 새로운 클래스를 학습하지만 labled supervision 없이는 domain shift실패다. 이 작업에서 우리는 CI-DA 패러다임 안에서 이러한 접근 방식의 한계를 효율적으로 알아낸다. 이론/경험적 관찰을통해  우리가 제안하는 effective method는 protypical networks에 영감을 받은 것으로 domain shift 상황에서도 shared class와 novel(one-shot) target ..

목적 : incremental learning에서 겪는 이슈 해결의 아이디어를 얻을 수 있지 않을까? Abstractincremental learning에서의 new class learning에 대한 catastrophic forgetting 이슈missing old classes data 때문에 급격한 성능감소 knowledge distillation 과 keeping a few exemplars 를 통해 retain knowledge 시도 이 방법은 large number of classes로 확장하기는 어려움논문은 이 문제의 원인을 2가지로 꼽음Old/New class 간의 Data Imbalance시각적으로 유사한 클래스 수의 증가 학습데이터가 불균형한 경우 visually similar clas..

https://arxiv.org/pdf/1909.13719 Abstract요즘 augmentation 자동화 전략 좋지만 별도의 search phase로 인해 학습복잡성과 연산 비용이 크게 증가할 수 있다. 이 search phase때문에 모델과 데이터셋 크기에 따른 regularization 강도도 조절할 수 없다. auto-augmentation의 경우 주로 적은데이터로 작은모델을 학습하거나 그 데이터를 더 큰 모델에 적용했다. 제안하는 방식은 search space를 현저하게 줄여 separate proxy task없이 target task학습을 가능하게 했다. parameterization 덕분에 정규화 강도를 데이터셋에 맞게 조절할 수 있다. randaugment는 다양한 모델과 데이터셋에 맞게..

iCaRL iCaRL: Incremental Classifier and Representation Learning (CVPR 2017)https://github.com/srebuffi/iCaRL 선정이유 : 언급을 자주하더라. ProCA랑 PLDCA에서 둘 다 언급한 논문이다. Abstract AI Main 이슈 : data stream으로 부터 시간이 지날 수록 더 많은 개념을 학습 하는 learning system.여기서 제안하는 iCaRL : 적은 클래스에 대한 학습데이터만 있으면 되고 새로운 데이터는 점차 추가될 수 있다. iCaRL이 강한 classifier와 data reprenstation 을 동시에 학습하며, 이는 fixed data만 쓰며 DL architecture와 호환되지 않던  이..

contrastive loss와 같이 loss function 에 의한 발전에 속한다고 한다. (특히 val_loss에 해당) - Anchor(a), Positive(p),Negative(n) 세가지 input을 사용 L = max( d(a,p)-d(a,n) + margin,0) positive는 가깝고 negative는 멀어지게 되는데 margin이 더해져 있어서(?) negative를 멀리 보낸다고 한다. Triplet mining - Triplet loss에 따라 dataset의 카테고리를 3종류로 (Easy, Hard, Semi-hard) 나눌 수 있다. loss=0이면 easy triplet이다. *) d(a,p)+margin < d(a,n) negative가 positive보다 anchor에 ..

ProCA 부록 [7] 논문으로 augmentation 알려고 본다. Cubuk, E.D., Zoph, B., et al.: Autoaugment: Learning augmentation policies fromdata(CVPR 2018) Abstract 개선된 데이터 증강 정책을 자동으로 검색하기 위한 AutoAugment이라는 simple procedure 제안 policy consists of many subpolices로 구성되는 search space을 설계했으며, 그 중 하나가 각 mini-batch의 각 이미지에 대해 randomly chosen된다. sub-poicy는 두가지 연산으로 구성 Image processing : translation, rotatiion, shearing 등의 기..

ProCa는 shared class detection 이라고 해서 positive negative라는 샘플연결짓기 (self supervised에서 나오는 개념있음) 를 했음 이것은 PLDCA논문에서 pseudo labeling을 통해 라벨을 classificaqtion 했던 것과는 전혀 다른 접근 법임. 근데 ProCA에서도 prototype memory bank에 넣는 과정에서 pseudo-labeling하네 ? ProCa에서 가진 shared class detection 모듈이 PLDCA에서는 무시되었음. 왜 무시했을까? 필요가 없으니까 했겠지? 그리고 PLDCA논문에서는 ProCa가 catastrophic forgetting 이슈를 완화시켰지만 biased source knowledge로 야기된 ..

2024.03.30 - [AI] - 0329 ProCA이전 PLDCA에서 봤던 것을 파란색으로, 자의적인 해석은 녹색으로 칠했다. https://github.com/Hongbin98/ProCA2. Related Work UDA  논문 검토 : closed-set UDA, partial DA, continual DA관련 task : class incremental DA + universal DA와 실험들 2.1 UDA Closed-set UDA  : UDA목적은 라벨많은 소스도메인을 기반으로 언라벨된 타겟도메인에서의 성능을 향상시키는 것이다. 이 영역에서 가장 보편적인 것은 closed-set UDA로써 src와 tgt에서 같은 클래스를 공유한다고 가정한다. 더보기- 기존의 UDA 방법은 domain-in..

미촤버리겠다 낮에는 공사 뚱땅꺼리는 소리들리고 저녁에서 밤에는 윗층 음악소리 넷플릭스 두둥소리 들림 이사첫날부터 알람 30분넘게 안 끌때 계약연장하지 말았어야 했는데 그 때까지만해도 일다닐 때라 그냥 내가 일찍 일어나면 된다는 식으로 나이브하게 생각한 것 같다. 앞으로 여생동안 내가 살 거주지는 무조건 차음 방음 꼼꼼하게 확인해야지.. 물빠지고 습기차고 햇볕들고 벌레 없고 치안좋고 역가깝고 집주인 성격이 그냥저냥 괜찮아도 사람의 인생이라는 것은 상당히 섬세하기 때문에 몇가지라도 채워지지 않으면 쉽게 미쳐버린다. 여태까지 집중못하다가 이제 윗층 코골고 자기 시작해서 논문보기 시작함..

2024.03.28 - [AI] - Class-Incremental Unsupervised Domain Adaptation via Pseudo-Label Distillation(2024) Class-Incremental Unsupervised Domain Adaptation via Pseudo-Label Distillation(2024) 2024.03.25 - [Warble] - 0325 papers B. Continual Domain Adaptation 모델이 새로운 domain을 순차적으로(sequentially) 채택할 때, catastrophic forgetting을 완화할 다양한 유형과 방법이 있다. Cotinual DA : 모델은 same label set cho-akashic-records...