인공지능8 [LLM/NLP] Banishing LLM Hallucinations Requires RethinkingGeneralization TitleBanishing LLM Hallucinations Requires Rethinking GeneralizationLinksarxivhttps://www.lamini.ai/Summary이 연구는 LLM의 일반적인 hallucination problem (사실과 다른 내용을 그럴듯해 보이게 생성해내는 문제) 에 관하여 어떻게 해결할 수 있을지에 대한 방법 및 새로운 모델 구조를 제안한다. 좀 더 구체적으로 답을 구하는 문제들은,What causes hallucinations?Are there other architectures with low generalization error and low hallucinations?Are they computationally feasible?일반적으로 LLM은.. 2024. 7. 8. [LLM/NLP] A Thorough Examination of Decoding Methods in the Era of LLMs TitleA Thorough Examination of Decoding Methods in the Era of LLMsLinksarxiv A Thorough Examination of Decoding Methods in the Era of LLMsDecoding methods play an indispensable role in converting language models from next-token predictors into practical task solvers. Prior research on decoding methods, primarily focusing on task-specific models, may not extend to the current era of general-parxi.. 2024. 7. 7. [CV] Image Segmentation Using Text and Image Prompts TitleImage Segmentation Using Text and Image PromptsModelCLIPSegLinksarxivgit repoSummary이미지 분할 (image segmentation) 문제는 이미지 상에 존재하는 객체별로 분할하는 문제이다 (참조: huggingface 설명). 그중에서 이 페이퍼에서는 입력 prompt로 받은 object의 이미지를 분할해내는 문제가 미리 정의된 객체들로 학습된 모델로 해결하던 기존의 접근 방법이 모르는 객체로의 확장이 불가능한 한계점을 해결하려고 했다. 페이퍼가 제안한 해결 방법은 텍스트와 이미지를 joint embedding space로 학습한 CLIP 모델을 이용하여 텍스트 및 이미지의 프롬프트를 추가적인 fine tuning 없이 확장 지.. 2023. 2. 4. [NLP] Joint Embedding of Words and Labels for Text Classification TitleJoint Embedding of Words and Labels for Text Classification (2018)ModelLabel Embedding Attentive Model (LEAM)Linksarxivgit repositorySummary이 페이퍼는 래이블의 정보를 함께 이용하여 텍스트 인코딩을 잘 해서 텍스트 분류 작업의 성능을 개선하는 것을 목표로 했다. 가능한 래이블에 대한 임베딩과 단어들의 임베딩 사이에 중요도 (attention score) 를 고려하여 문장을 latent vector로 표현하고 이를 이용하여 텍스트 분류 작업을 하는 방식으로 디자인했다.최신의 기술들을 적용한 화려한 언어 모델들을 자제하고 최대한 간단한 오퍼레이션을 이용하여 트레이닝/테스팅 시간을 줄이려고 .. 2021. 3. 7. 이전 1 2 다음
