생성형ai3 맥북에서 GPT-OSS 20B 모델 돌려보기 (Ollama 이용) MacBook에서도 비교적 간단한 설정만으로, 20B 규모의 언어 모델을 띄워 직접 활용할 수 있습니다.실험 환경저는 23년형 Macbook pro (CPU는 M3 pro, 메모리는 36기가) 에서 실험했습니다.GUI로 실행하는 방법가장 쉬운 방법은 Ollama를 이용하는 방법입니다. 다운로드 페이지에서 다운받아 실행하면, 다양한 모델들을 실험해볼 수 있는 ChatGPT와 유사한 챗 인터페이스를 보실 수 있습니다.챗 화면의 오른쪽 아래에 모델을 드롭다운 메뉴로 선택할 수 있고, 처음 시작시에 모델 바이너리 다운받는 시간이 걸립니다. 다른 모델은 로컬에서 돌릴 생각을 못해봤고, gpt-oss:20b 모델만 테스트 해봤습니다. 유료 섭스크립션 플랜인 turbo를 활용하면 Ollama가 클라우드에서 서비스하는.. 2025. 8. 9. [LLM/NLP] Banishing LLM Hallucinations Requires RethinkingGeneralization TitleBanishing LLM Hallucinations Requires Rethinking GeneralizationLinksarxivhttps://www.lamini.ai/Summary이 연구는 LLM의 일반적인 hallucination problem (사실과 다른 내용을 그럴듯해 보이게 생성해내는 문제) 에 관하여 어떻게 해결할 수 있을지에 대한 방법 및 새로운 모델 구조를 제안한다. 좀 더 구체적으로 답을 구하는 문제들은,What causes hallucinations?Are there other architectures with low generalization error and low hallucinations?Are they computationally feasible?일반적으로 LLM은.. 2024. 7. 8. [LLM/NLP] A Thorough Examination of Decoding Methods in the Era of LLMs TitleA Thorough Examination of Decoding Methods in the Era of LLMsLinksarxiv A Thorough Examination of Decoding Methods in the Era of LLMsDecoding methods play an indispensable role in converting language models from next-token predictors into practical task solvers. Prior research on decoding methods, primarily focusing on task-specific models, may not extend to the current era of general-parxi.. 2024. 7. 7. 이전 1 다음
