Knowledge/Science Papers10 [ML/Data] Data Recipes for Reasoning Models TitleData Recipes for Reasoning ModelsLinkshttps://arxiv.org/abs/2506.04178Summary이 논문은 추론 능력을 갖춘 모델을 위한 SFT(Supervised Fine-Tuning) 데이터셋 구성 과정을 체계적으로 분석하고, 데이터 품질에 대한 기존의 통념을 재검토하고자 한다. 최근 수학, 코딩, 과학 등 고차원 추론을 요하는 분야에서 강력한 성능을 보이는 모델들은 보통 강력한 베이스 모델 위에, SFT나 RL(Reinforcement Learning) 등 후처리 학습(post-training) 단계를 거쳐 추론 능력을 부여받는다. 이 과정을 통해 모델은 “생각의 흐름(thinking tokens)“을 생성하며 답을 유도할 수 있게 된다.논문은 특히.. 2025. 6. 25. [ML/LLM] Gemini Embedding: Generalizable Embeddings from Gemini TitleGemini Embedding: Generalizeable Embeddings from GeminiLinkshttps://arxiv.org/abs/2503.07891SummaryLLM을 활용한 임베딩 생성 방법론을 다룸 (representation learning)작은 encoder 모델을 Gemini의 transformer layer로 초기화하여 추가 학습을 진행.추가 학습은 pre-finetuning과 finetuning 의 두 단계로 진행.최종 모델은 generalizeability를 위해 여러 checkpoint를 합쳐서 (e.g., mean pooling) 생성 (a.k.a., model soup) 2025. 6. 25. [ML/LLM] Learning Dynamics of LLM Finetuning TitleLearning Dynamics of LLM Finetuning (ICLR 2025 outstanding paper)Linkshttps://arxiv.org/abs/2407.10490https://www.youtube.com/watch?v=OMTGbPPCaQgSummary이 페이퍼는 LLM (Large Language Model) 파인튜닝의 동작 메커니즘을 모델의 예측 변화 (decomposition) 을 통해 분석하려는 시도를 다룹니다."After an GD update on x_i, how does the model's prediction on x_i change?"LLM 파인튜닝의 이해를 위한 접근문제 제기특정 샘플 x_i에 대해 GD(Gradient Descent) 업데이트를 수행한 후,.. 2025. 6. 25. [ML] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts (MMoE) TitleModeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-ExpertsLinkshttps://dl.acm.org/doi/10.1145/3219819.3220007Summary한눈에 보는 멀티태스크 학습과 MMoE (Multi-gate Mixture-of-Experts)최근 인공지능 시스템은 하나의 모델로 여러 작업(태스크)을 동시에 처리하는 멀티태스크 학습 방법에 많은 관심이 쏠리고 있습니다. 예를 들어, 영화 추천 시스템에서는 사용자가 영화를 구매할지, 시청할지, 또는 좋아요를 누를지 같은 여러 목표를 한 모델로 예측할 수 있습니다. 그런데 이렇게 여러 작업을 함께 학습할 때 서로 다른 작업 간에 충돌이 일어나거.. 2025. 2. 22. 이전 1 2 3 다음
