Knowledge/Science Papers2 [CV] Image Segmentation Using Text and Image Prompts Title Image Segmentation Using Text and Image Prompts Model CLIPSeg Links arxiv git repo Summary 이미지 분할 (image segmentation) 문제는 이미지 상에 존재하는 객체별로 분할하는 문제이다 (참조: huggingface 설명). 그중에서 이 페이퍼에서는 입력 prompt로 받은 object의 이미지를 분할해내는 문제가 미리 정의된 객체들로 학습된 모델로 해결하던 기존의 접근 방법이 모르는 객체로의 확장이 불가능한 한계점을 해결하려고 했다. 페이퍼가 제안한 해결 방법은 텍스트와 이미지를 joint embedding space로 학습한 CLIP 모델을 이용하여 텍스트 및 이미지의 프롬프트를 추가적인 fine tuning.. 2023. 2. 4. [NLP] Joint Embedding of Words and Labels for Text Classification Title Joint Embedding of Words and Labels for Text Classification (2018) Model Label Embedding Attentive Model (LEAM) Links arxiv git repository Summary 이 페이퍼는 래이블의 정보를 함께 이용하여 텍스트 인코딩을 잘 해서 텍스트 분류 작업의 성능을 개선하는 것을 목표로 했다. 가능한 래이블에 대한 임베딩과 단어들의 임베딩 사이에 중요도 (attention score) 를 고려하여 문장을 latent vector로 표현하고 이를 이용하여 텍스트 분류 작업을 하는 방식으로 디자인했다. 최신의 기술들을 적용한 화려한 언어 모델들을 자제하고 최대한 간단한 오퍼레이션을 이용하여 트레이닝/테스팅 .. 2021. 3. 7. 이전 1 다음
