largelanguagemodel2 OpenAI 오픈 웨이트 모델 공개 gpt-oss-120b, gpt-oss-20b 지난 몇 년간 OpenAI는 뛰어난 성능의 GPT 모델들을 내놓았지만, 연구자와 개발자 입장에서 가장 아쉬웠던 부분은 폐쇄적인 정책이었습니다. GPT‑4 계열 모델의 정확도와 정렬 능력은 놀라웠지만, 우리는 그것이 어떻게 동작하는지, 어떤 아키텍처 설계를 택했는지, 그리고 파인튜닝이 가능한지 알 방법이 없었습니다.그러나 2025년 8월, 그 흐름이 바뀌기 시작했습니다. OpenAI는 gpt-oss-120b와 gpt-oss-20b 두 개의 모델을 Apache 2.0 라이선스로 공개했습니다. 이는 단순한 오픈 모델 그 이상이며, 실질적인 LLM 생태계 전환점이라고 판단합니다.1. 모델 구조와 학습 전략: Mixture-of-Experts의 실전 적용아키텍처 요약모델 이름총 파라미터활성 파라미터Expert 수.. 2025. 8. 8. [ML/LLM] Learning Dynamics of LLM Finetuning TitleLearning Dynamics of LLM Finetuning (ICLR 2025 outstanding paper)Linkshttps://arxiv.org/abs/2407.10490https://www.youtube.com/watch?v=OMTGbPPCaQgSummary이 페이퍼는 LLM (Large Language Model) 파인튜닝의 동작 메커니즘을 모델의 예측 변화 (decomposition) 을 통해 분석하려는 시도를 다룹니다."After an GD update on x_i, how does the model's prediction on x_i change?"LLM 파인튜닝의 이해를 위한 접근문제 제기특정 샘플 x_i에 대해 GD(Gradient Descent) 업데이트를 수행한 후,.. 2025. 6. 25. 이전 1 다음
