전체 글64 [LLM/NLP] Banishing LLM Hallucinations Requires RethinkingGeneralization TitleBanishing LLM Hallucinations Requires Rethinking GeneralizationLinksarxivhttps://www.lamini.ai/Summary이 연구는 LLM의 일반적인 hallucination problem (사실과 다른 내용을 그럴듯해 보이게 생성해내는 문제) 에 관하여 어떻게 해결할 수 있을지에 대한 방법 및 새로운 모델 구조를 제안한다. 좀 더 구체적으로 답을 구하는 문제들은,What causes hallucinations?Are there other architectures with low generalization error and low hallucinations?Are they computationally feasible?일반적으로 LLM은.. 2024. 7. 8. [LLM/NLP] A Thorough Examination of Decoding Methods in the Era of LLMs TitleA Thorough Examination of Decoding Methods in the Era of LLMsLinksarxiv A Thorough Examination of Decoding Methods in the Era of LLMsDecoding methods play an indispensable role in converting language models from next-token predictors into practical task solvers. Prior research on decoding methods, primarily focusing on task-specific models, may not extend to the current era of general-parxi.. 2024. 7. 7. 아수스 라우터와 BTV 설정 방법 BTV를 ASUS 라우터/공유기 하에 설치할 경우에 TV 채널이 안나오는 경우가 있다. 이런 경우를 고치기 위한 ASUS 라우터의 설정 방법을 적어둔다. 원하는 구성 방식은 아래 그림처럼 인터넷 단자에서 라우터를 거쳐 BTV 단말기가 연결하여 최종 티비까지 연결되는 구조를 생각했다.이를 위해 우선 공유기의 설정을 바꾸기 위해 공유기의 관리 페이지에 접속해야한다. 공유기에 접속돼있는 컴퓨터에서 아래 주소를 통해 접속하면 된다.http://router.asus.com/접속에 성공하면 아래의 화면을 볼 수 있다.바꾸어야할 설정은 총 3가지며, 두가지 메뉴에 있다.첫번째로 왼쪽 하단에 advanced settings하에 LAN 버튼을 클릭 (1번 박스) 하고 오른쪽 화면 위의 IPTV 탭 (2번 박스) 을 누르.. 2024. 7. 2. 이메일로 중요 정보 안전하게 전달 (Gmail Confidential Mode) 멀리 떨어진 사람에게 중요한 정보를 보내기 위해 이용할 수 있는 방법으로는 보안이 강화된 signal, telegram 등의 메세징 앱을 이용하거나, 파일을 암호화하여 전달하는 방법 등이 있을 것이다. 하지만 이런 방법들은 수신인과 미리 메세징 앱에 등록했거나, 암호화된 파일의 비밀번호를 추가로 알려줘야하는 불편함이 있다. 또한 파일은 수신인의 컴퓨터에 정보를 남겨 추가로 정보 유출의 우려가 있다. 가장 간단하고 직관적인 방법으로는 자가 파괴 (self-destructing) 메세지 혹은 이메일로 보내 수신인이 필요한 정보만 전달한 후, 삭제하는 것이다. onetimesecret.com, privnote.com, 1ty.me 등의 여러 솔루션이 이미 존재하나, 사실 그 회사가 데이터를 얼마나 잘 관리하는.. 2024. 1. 19. [CV] Image Segmentation Using Text and Image Prompts Title Image Segmentation Using Text and Image Prompts Model CLIPSeg Links arxiv git repo Summary 이미지 분할 (image segmentation) 문제는 이미지 상에 존재하는 객체별로 분할하는 문제이다 (참조: huggingface 설명). 그중에서 이 페이퍼에서는 입력 prompt로 받은 object의 이미지를 분할해내는 문제가 미리 정의된 객체들로 학습된 모델로 해결하던 기존의 접근 방법이 모르는 객체로의 확장이 불가능한 한계점을 해결하려고 했다. 페이퍼가 제안한 해결 방법은 텍스트와 이미지를 joint embedding space로 학습한 CLIP 모델을 이용하여 텍스트 및 이미지의 프롬프트를 추가적인 fine tuning.. 2023. 2. 4. HTTP basic authentication/authorization 키 생성 방법 HTTP 프로토콜을 이용할때 여러가지 authorization 방법들이 있는데 그 중 가장 기본적인 사용자 아이디와 비밀번호를 이용하는 basic authentication 방식은 HTTP 헤더 부분에 Base64 방식으로 encoding된 키를 제공하여 요청하는 사용자가 누구인지를 확인시켜주는 방식이다. 이 키를 생성하는 방식을 찾다보니 잘 안나와서 정리해둔다. 우선 authorization token의 형식은 : 키를 encoding 한다. > echo -ne "dongchankim.io:my_password" | base64 -b 0 ZG9uZ2NoYW5raW0uaW86bXlfcGFzc3dvcmQ= 간단한 설명을 덧붙이면, 사용자 아이디 (dongchankim.io) 와 비밀번호 (my_passwo.. 2023. 1. 31. Starbucks at a renovated site 스타벅스 경동시장 1960점 2023. 1. 15. 프로그래밍 언어별 에너지 효율성 비교 정확히 기억나진 않는데, 얼마 전에 LinkedIn에서 재미있는 글을 본 기억이 떠올라 적어본다. 그 글의 내용은 프로그래밍 언어별로 다른 에너지 소비량을 비교 분석하여 보여주는 것이었는데, 다른 것은 다 기억 안 나고 한 가지 아직도 선명한 것은 "C언어가 효율이 좋다"였다. 현대의 프로그래밍 언어들의 발전 방향이 개발자들이 최대한 접근 가능하고, 로직에만 신경 쓸 수 있도록 최대한 똑똑한 언어를 만드는 것이다. 심지어 "노 코드"라고 코드 짤 줄 몰라도 프로그래밍이 가능하게 발전하는 이 시대에, 우리의 지구를 위해 (?) C언어를 이용하자라고 말하는 것처럼 들려 신선한 충격이었다. 약 22년 정도 프로그래밍을 공부 및 직업으로 해오고 있는데, C 언어 같은 로우 레벨 언어 (개발자가 똑똑해서 기계가 .. 2023. 1. 15. [NLP] Joint Embedding of Words and Labels for Text Classification Title Joint Embedding of Words and Labels for Text Classification (2018) Model Label Embedding Attentive Model (LEAM) Links arxiv git repository Summary 이 페이퍼는 래이블의 정보를 함께 이용하여 텍스트 인코딩을 잘 해서 텍스트 분류 작업의 성능을 개선하는 것을 목표로 했다. 가능한 래이블에 대한 임베딩과 단어들의 임베딩 사이에 중요도 (attention score) 를 고려하여 문장을 latent vector로 표현하고 이를 이용하여 텍스트 분류 작업을 하는 방식으로 디자인했다. 최신의 기술들을 적용한 화려한 언어 모델들을 자제하고 최대한 간단한 오퍼레이션을 이용하여 트레이닝/테스팅 .. 2021. 3. 7. 이전 1 2 3 4 ··· 8 다음
