ML4 [ML/Data] Data Recipes for Reasoning Models TitleData Recipes for Reasoning ModelsLinkshttps://arxiv.org/abs/2506.04178Summary이 논문은 추론 능력을 갖춘 모델을 위한 SFT(Supervised Fine-Tuning) 데이터셋 구성 과정을 체계적으로 분석하고, 데이터 품질에 대한 기존의 통념을 재검토하고자 한다. 최근 수학, 코딩, 과학 등 고차원 추론을 요하는 분야에서 강력한 성능을 보이는 모델들은 보통 강력한 베이스 모델 위에, SFT나 RL(Reinforcement Learning) 등 후처리 학습(post-training) 단계를 거쳐 추론 능력을 부여받는다. 이 과정을 통해 모델은 “생각의 흐름(thinking tokens)“을 생성하며 답을 유도할 수 있게 된다.논문은 특히.. 2025. 6. 25. [ML/LLM] Learning Dynamics of LLM Finetuning TitleLearning Dynamics of LLM Finetuning (ICLR 2025 outstanding paper)Linkshttps://arxiv.org/abs/2407.10490https://www.youtube.com/watch?v=OMTGbPPCaQgSummary이 페이퍼는 LLM (Large Language Model) 파인튜닝의 동작 메커니즘을 모델의 예측 변화 (decomposition) 을 통해 분석하려는 시도를 다룹니다."After an GD update on x_i, how does the model's prediction on x_i change?"LLM 파인튜닝의 이해를 위한 접근문제 제기특정 샘플 x_i에 대해 GD(Gradient Descent) 업데이트를 수행한 후,.. 2025. 6. 25. [CV] Image Segmentation Using Text and Image Prompts TitleImage Segmentation Using Text and Image PromptsModelCLIPSegLinksarxivgit repoSummary이미지 분할 (image segmentation) 문제는 이미지 상에 존재하는 객체별로 분할하는 문제이다 (참조: huggingface 설명). 그중에서 이 페이퍼에서는 입력 prompt로 받은 object의 이미지를 분할해내는 문제가 미리 정의된 객체들로 학습된 모델로 해결하던 기존의 접근 방법이 모르는 객체로의 확장이 불가능한 한계점을 해결하려고 했다. 페이퍼가 제안한 해결 방법은 텍스트와 이미지를 joint embedding space로 학습한 CLIP 모델을 이용하여 텍스트 및 이미지의 프롬프트를 추가적인 fine tuning 없이 확장 지.. 2023. 2. 4. [NLP] Joint Embedding of Words and Labels for Text Classification TitleJoint Embedding of Words and Labels for Text Classification (2018)ModelLabel Embedding Attentive Model (LEAM)Linksarxivgit repositorySummary이 페이퍼는 래이블의 정보를 함께 이용하여 텍스트 인코딩을 잘 해서 텍스트 분류 작업의 성능을 개선하는 것을 목표로 했다. 가능한 래이블에 대한 임베딩과 단어들의 임베딩 사이에 중요도 (attention score) 를 고려하여 문장을 latent vector로 표현하고 이를 이용하여 텍스트 분류 작업을 하는 방식으로 디자인했다.최신의 기술들을 적용한 화려한 언어 모델들을 자제하고 최대한 간단한 오퍼레이션을 이용하여 트레이닝/테스팅 시간을 줄이려고 .. 2021. 3. 7. 이전 1 다음
