본문 바로가기

전체 글67

[LLM/NLP] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning TitleDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningLinkshttps://arxiv.org/abs/2501.12948https://huggingface.co/deepseek-ai/DeepSeek-R1https://github.com/deepseek-ai/DeepSeek-R1Summary1. DeepSeek-R1 개요DeepSeek-R1은 범용 대규모 언어 모델을 오픈소스로 구현하고, 이를 효과적으로 학습·배포할 수 있는 새로운 접근 방식을 제안하는 연구입니다. 전 세계 다양한 데이터셋을 ‘글로벌 디스패칭(Global Dispatching)’이라는 독특한 전략으로 수집·전처리하여, 고품질 언어 표현 능.. 2025. 2. 9.
[AD] Deep Learning Recommendation Model for Personalization and Recommendation Systems TitleDeep Learning Recommendation Model for Personalization and Recommendation SystemsLinkshttps://arxiv.org/abs/1906.00091Summary1. 왜 딥러닝 추천 모델(DLRM)이 중요한가?개인화된 광고의 성장과 대규모 데이터인터넷 사용 시간이 증가함에 따라, 대규모 유저 데이터를 바탕으로 한 개인화 광고의 가치가 커지고 있습니다.유저가 남긴 수많은 클릭 로그, 관심사 태그, 시간대, 디바이스 정보 등은 방대한 피처(Feature) 공간을 형성하게 됩니다.추천 시스템은 이러한 이질적인 피처들을 동시에 학습하여, 정확도 높은 광고 추천을 실현해야 합니다.기존 추천 모델의 한계전통적인 콜라보레이티브 필터링(Collab.. 2025. 2. 9.
오픈AI ChatGPT 버전 비교: o1, o3-mini, o3-mini-high 특징과 활용 1. ChatGPT o1, o3-mini, o3-mini-high 간단 소개OpenAI가 선보인 ChatGPT 시리즈는 꾸준한 업데이트와 개선을 통해 자연어 처리(NLP)와 논리적 추론(Reasoning) 역량을 점차 확장해 왔습니다. 최근 공개된 o3-mini와 o3-mini-high는 코딩, 수학, 논리 문제 해결과 같은 기술적인 작업에 특화된 모델로 주목받고 있습니다.왜 이 모델들이 중요한가?o1: 전반적인 지식과 추론 능력이 뛰어나며, 비즈니스, 법률, 프로젝트 관리 등 폭넓은 응용 분야를 커버.o3-mini: 코딩, 수학, 과학 분야에서 탁월한 속도 및 정확도를 제공하며, 무료 사용자도 사용 가능.o3-mini-high: 고급 코딩과 복잡한 수학 문제 해결에 더욱 최적화된 모델로, 유료(Plus.. 2025. 2. 9.
[LLM/NLP] Banishing LLM Hallucinations Requires RethinkingGeneralization TitleBanishing LLM Hallucinations Requires Rethinking GeneralizationLinksarxivhttps://www.lamini.ai/Summary이 연구는 LLM의 일반적인 hallucination problem (사실과 다른 내용을 그럴듯해 보이게 생성해내는 문제) 에 관하여 어떻게 해결할 수 있을지에 대한 방법 및 새로운 모델 구조를 제안한다. 좀 더 구체적으로 답을 구하는 문제들은,What causes hallucinations?Are there other architectures with low generalization error and low hallucinations?Are they computationally feasible?일반적으로 LLM은.. 2024. 7. 8.
[LLM/NLP] A Thorough Examination of Decoding Methods in the Era of LLMs TitleA Thorough Examination of Decoding Methods in the Era of LLMsLinksarxiv A Thorough Examination of Decoding Methods in the Era of LLMsDecoding methods play an indispensable role in converting language models from next-token predictors into practical task solvers. Prior research on decoding methods, primarily focusing on task-specific models, may not extend to the current era of general-parxi.. 2024. 7. 7.
ASUS 라우터와 BTV 설정 방법 BTV를 ASUS 라우터/공유기 하에 설치할 경우에 TV 채널이 안나오는 경우가 있다. 이런 경우를 고치기 위한 ASUS 라우터의 설정 방법을 적어둔다. 원하는 구성 방식은 아래 그림처럼 인터넷 단자에서 라우터를 거쳐 BTV 단말기가 연결하여 최종 티비까지 연결되는 구조를 생각했다.이를 위해 우선 공유기의 설정을 바꾸기 위해 공유기의 관리 페이지에 접속해야한다. 공유기에 접속돼있는 컴퓨터에서 아래 주소를 통해 접속하면 된다.http://router.asus.com/접속에 성공하면 아래의 화면을 볼 수 있다.바꾸어야할 설정은 총 3가지며, 두가지 메뉴에 있다.첫번째로 왼쪽 하단에 advanced settings하에 LAN 버튼을 클릭 (1번 박스) 하고 오른쪽 화면 위의 IPTV 탭 (2번 박스) 을 누르.. 2024. 7. 2.
이메일로 중요 정보 안전하게 전달 (Gmail Confidential Mode) 멀리 떨어진 사람에게 중요한 정보를 보내기 위해 이용할 수 있는 방법으로는 보안이 강화된 signal, telegram 등의 메세징 앱을 이용하거나, 파일을 암호화하여 전달하는 방법 등이 있을 것이다. 하지만 이런 방법들은 수신인과 미리 메세징 앱에 등록했거나, 암호화된 파일의 비밀번호를 추가로 알려줘야하는 불편함이 있다. 또한 파일은 수신인의 컴퓨터에 정보를 남겨 추가로 정보 유출의 우려가 있다. 가장 간단하고 직관적인 방법으로는 자가 파괴 (self-destructing) 메세지 혹은 이메일로 보내 수신인이 필요한 정보만 전달한 후, 삭제하는 것이다. onetimesecret.com, privnote.com, 1ty.me 등의 여러 솔루션이 이미 존재하나, 사실 그 회사가 데이터를 얼마나 잘 관리하는.. 2024. 1. 19.
[CV] Image Segmentation Using Text and Image Prompts TitleImage Segmentation Using Text and Image PromptsModelCLIPSegLinksarxivgit repoSummary이미지 분할 (image segmentation) 문제는 이미지 상에 존재하는 객체별로 분할하는 문제이다 (참조: huggingface 설명). 그중에서 이 페이퍼에서는 입력 prompt로 받은 object의 이미지를 분할해내는 문제가 미리 정의된 객체들로 학습된 모델로 해결하던 기존의 접근 방법이 모르는 객체로의 확장이 불가능한 한계점을 해결하려고 했다. 페이퍼가 제안한 해결 방법은 텍스트와 이미지를 joint embedding space로 학습한 CLIP 모델을 이용하여 텍스트 및 이미지의 프롬프트를 추가적인 fine tuning 없이 확장 지.. 2023. 2. 4.
HTTP basic authentication/authorization 키 생성 방법 HTTP 프로토콜을 이용할때 여러가지 authorization 방법들이 있는데 그 중 가장 기본적인 사용자 아이디와 비밀번호를 이용하는 basic authentication 방식은 HTTP 헤더 부분에 Base64 방식으로 encoding된 키를 제공하여 요청하는 사용자가 누구인지를 확인시켜주는 방식이다. 이 키를 생성하는 방식을 찾다보니 잘 안나와서 정리해둔다. 우선 authorization token의 형식은 : 키를 encoding 한다. > echo -ne "dongchankim.io:my_password" | base64 -b 0 ZG9uZ2NoYW5raW0uaW86bXlfcGFzc3dvcmQ= 간단한 설명을 덧붙이면, 사용자 아이디 (dongchankim.io) 와 비밀번호 (my_passwo.. 2023. 1. 31.

티스토리툴바