ML5 [PDF] 머신러닝 인터뷰 정리 노트 (ML technical interview prep. note) 인공지능, 머신러닝 관련 기술 포지션의 면접을 위해 정리한 ML technical interview prep. note를 공유합니다.기본적인 ML concepts들을 리마인드하기 위해 컨셉들을 정리한 문서입니다. Source: https://github.com/dongchankim-io/MLInterviewNotes/releases/ 2025. 7. 28. [ML/Data] Data Recipes for Reasoning Models TitleData Recipes for Reasoning ModelsLinkshttps://arxiv.org/abs/2506.04178Summary이 논문은 추론 능력을 갖춘 모델을 위한 SFT(Supervised Fine-Tuning) 데이터셋 구성 과정을 체계적으로 분석하고, 데이터 품질에 대한 기존의 통념을 재검토하고자 한다. 최근 수학, 코딩, 과학 등 고차원 추론을 요하는 분야에서 강력한 성능을 보이는 모델들은 보통 강력한 베이스 모델 위에, SFT나 RL(Reinforcement Learning) 등 후처리 학습(post-training) 단계를 거쳐 추론 능력을 부여받는다. 이 과정을 통해 모델은 “생각의 흐름(thinking tokens)“을 생성하며 답을 유도할 수 있게 된다.논문은 특히.. 2025. 6. 25. [ML/LLM] Learning Dynamics of LLM Finetuning TitleLearning Dynamics of LLM Finetuning (ICLR 2025 outstanding paper)Linkshttps://arxiv.org/abs/2407.10490https://www.youtube.com/watch?v=OMTGbPPCaQgSummary이 페이퍼는 LLM (Large Language Model) 파인튜닝의 동작 메커니즘을 모델의 예측 변화 (decomposition) 을 통해 분석하려는 시도를 다룹니다."After an GD update on x_i, how does the model's prediction on x_i change?"LLM 파인튜닝의 이해를 위한 접근문제 제기특정 샘플 x_i에 대해 GD(Gradient Descent) 업데이트를 수행한 후,.. 2025. 6. 25. [CV] Image Segmentation Using Text and Image Prompts TitleImage Segmentation Using Text and Image PromptsModelCLIPSegLinksarxivgit repoSummary이미지 분할 (image segmentation) 문제는 이미지 상에 존재하는 객체별로 분할하는 문제이다 (참조: huggingface 설명). 그중에서 이 페이퍼에서는 입력 prompt로 받은 object의 이미지를 분할해내는 문제가 미리 정의된 객체들로 학습된 모델로 해결하던 기존의 접근 방법이 모르는 객체로의 확장이 불가능한 한계점을 해결하려고 했다. 페이퍼가 제안한 해결 방법은 텍스트와 이미지를 joint embedding space로 학습한 CLIP 모델을 이용하여 텍스트 및 이미지의 프롬프트를 추가적인 fine tuning 없이 확장 지.. 2023. 2. 4. 이전 1 2 다음
