[ML/LLM] Gemini Embedding: Generalizable Embeddings from Gemini

Title

Gemini Embedding: Generalizeable Embeddings from Gemini

Links

• https://arxiv.org/abs/2503.07891

Summary

• LLM을 활용한 임베딩 생성 방법론을 다룸 (representation learning)
  • 작은 encoder 모델을 Gemini의 transformer layer로 초기화하여 추가 학습을 진행.
  • 추가 학습은 pre-finetuning과 finetuning 의 두 단계로 진행.
  • 최종 모델은 generalizeability를 위해 여러 checkpoint를 합쳐서 (e.g., mean pooling) 생성 (a.k.a., model soup)