본문 바로가기

Transformer5

[ML/LLM] Gemini Embedding: Generalizable Embeddings from Gemini TitleGemini Embedding: Generalizeable Embeddings from GeminiLinkshttps://arxiv.org/abs/2503.07891SummaryLLM을 활용한 임베딩 생성 방법론을 다룸 (representation learning)작은 encoder 모델을 Gemini의 transformer layer로 초기화하여 추가 학습을 진행.추가 학습은 pre-finetuning과 finetuning 의 두 단계로 진행.최종 모델은 generalizeability를 위해 여러 checkpoint를 합쳐서 (e.g., mean pooling) 생성 (a.k.a., model soup) 2025. 6. 25.
[ML/LLM] Learning Dynamics of LLM Finetuning TitleLearning Dynamics of LLM Finetuning (ICLR 2025 outstanding paper)Linkshttps://arxiv.org/abs/2407.10490https://www.youtube.com/watch?v=OMTGbPPCaQgSummary이 페이퍼는 LLM (Large Language Model) 파인튜닝의 동작 메커니즘을 모델의 예측 변화 (decomposition) 을 통해 분석하려는 시도를 다룹니다."After an GD update on x_i, how does the model's prediction on x_i change?"LLM 파인튜닝의 이해를 위한 접근문제 제기특정 샘플 x_i에 대해 GD(Gradient Descent) 업데이트를 수행한 후,.. 2025. 6. 25.
[LLM/NLP] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning TitleDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningLinkshttps://arxiv.org/abs/2501.12948https://huggingface.co/deepseek-ai/DeepSeek-R1https://github.com/deepseek-ai/DeepSeek-R1Summary1. DeepSeek-R1 개요DeepSeek-R1은 범용 대규모 언어 모델을 오픈소스로 구현하고, 이를 효과적으로 학습·배포할 수 있는 새로운 접근 방식을 제안하는 연구입니다. 전 세계 다양한 데이터셋을 ‘글로벌 디스패칭(Global Dispatching)’이라는 독특한 전략으로 수집·전처리하여, 고품질 언어 표현 능.. 2025. 2. 9.
오픈AI ChatGPT 버전 비교: o1, o3-mini, o3-mini-high 특징과 활용 1. ChatGPT o1, o3-mini, o3-mini-high 간단 소개OpenAI가 선보인 ChatGPT 시리즈는 꾸준한 업데이트와 개선을 통해 자연어 처리(NLP)와 논리적 추론(Reasoning) 역량을 점차 확장해 왔습니다. 최근 공개된 o3-mini와 o3-mini-high는 코딩, 수학, 논리 문제 해결과 같은 기술적인 작업에 특화된 모델로 주목받고 있습니다.왜 이 모델들이 중요한가?o1: 전반적인 지식과 추론 능력이 뛰어나며, 비즈니스, 법률, 프로젝트 관리 등 폭넓은 응용 분야를 커버.o3-mini: 코딩, 수학, 과학 분야에서 탁월한 속도 및 정확도를 제공하며, 무료 사용자도 사용 가능.o3-mini-high: 고급 코딩과 복잡한 수학 문제 해결에 더욱 최적화된 모델로, 유료(Plus.. 2025. 2. 9.

티스토리툴바