본문 바로가기

전체 글59

FAISS vs Annoy vs Milvus: 고속 벡터 검색 엔진 비교 분석 최근 AI와 머신러닝 기술이 발전하면서, 대량의 데이터를 빠르게 검색하고 처리하는 기술이 중요한 과제가 되었습니다. 특히 자연어 처리(NLP), 이미지 검색, 추천 시스템 등에서 고속 벡터 검색(Approximate Nearest Neighbor Search, ANN)이 핵심적인 역할을 하고 있습니다. 이에 따라 효율적인 벡터 검색을 지원하는 FAISS, Annoy, Milvus 같은 오픈소스 라이브러리가 널리 사용되고 있습니다.이 글에서는 FAISS, Annoy, Milvus의 개념과 특징을 살펴보고, 어떤 상황에서 각각의 검색 엔진이 적합한지 비교 분석해 보겠습니다.1. 벡터 검색 엔진이란?벡터 검색 엔진은 데이터베이스에 저장된 벡터 데이터 중 특정 벡터와 가장 가까운(유사한) 벡터를 빠르게 찾는 기.. 2025. 3. 18.
AI 칩 전쟁! 엔비디아, 구글 TPU, 애플 M 시리즈 비교 분석 AI 기술이 빠르게 발전하면서 이를 뒷받침하는 하드웨어의 중요성도 점점 커지고 있습니다. 특히 AI 연산을 가속화하는 전용 칩들이 등장하면서, 엔비디아(NVIDIA), 구글 TPU(Tensor Processing Unit), 애플 M 시리즈가 주목받고 있습니다. 이들 칩은 모두 AI 연산을 위해 설계되었지만, 사용 목적과 성능, 효율성에서 차이가 있습니다.엔비디아는 AI 연구와 훈련에서 가장 널리 사용되는 GPU(Graphics Processing Unit)를 제공하며, 구글은 AI 연산 전용 프로세서인 TPU를 개발해 대규모 데이터 처리를 최적화했습니다. 반면 애플은 자체 개발한 M 시리즈 칩을 통해 전력 효율과 AI 성능을 개선한 소비자용 디바이스를 만들고 있습니다.그렇다면 이들 칩은 각각 어떤 특징.. 2025. 3. 18.
대형 언어 모델(LLM)이란? 발전 과정과 미래 전망 일상 생활에서 이제 우리는 AI와 대화하고, AI가 작성한 글을 읽으며, AI의 도움을 받아 일하는 시대에 살고 있습니다. 이런 변화의 중심에는 대형 언어 모델(LLM, Large Language Model)이 있습니다. 하지만 LLM이 정확히 무엇인지, 언제부터 본격적으로 발전하기 시작했는지 궁금한 분들도 많을 것이라고 생각합니다.이번 기회에 LLM이 무엇인지 쉽게 설명하고, 언제부터 어떻게 발전해 왔는지 살펴보겠습니다.📌 1. LLM이란?LLM(Large Language Model)은 대량의 텍스트 데이터를 학습하여 인간이 사용하는 언어를 이해하고 생성할 수 있는 AI 모델을 의미합니다. 쉽게 말해, 수많은 문장을 배우고 패턴을 익혀서 자연스럽게 문장을 만들어내는 AI라고 생각하면 됩니다.🔹 LL.. 2025. 3. 18.
Embedding 모델 의미 및 핵심 모델 (Word2Vec, SBERT) 우리가 일상에서 사용하는 단어들은 의미를 가지고 있지만, 컴퓨터에게는 단순한 문자일 뿐입니다. 컴퓨터가 문장을 이해하려면, 단어나 문장을 숫자로 변환해야 합니다. 이때 사용되는 기술이 바로 Embedding 모델입니다.Embedding 모델은 단어나 문장을 고차원 벡터로 변환하여 컴퓨터가 의미를 이해할 수 있도록 도와줍니다. 쉽게 말해, 단어를 숫자로 바꿔서 연관된 단어끼리 비슷한 숫자 배열을 가지도록 만드는 기술입니다. 예를 들어, "강아지"와 "고양이"는 의미적으로 가깝기 때문에 Embedding 모델에서는 이 둘을 비슷한 벡터 값으로 변환합니다. 📌 1. Embedding 모델이 왜 필요할까?우리가 대화할 때, 단어 하나만 보지 않고 문맥을 고려해서 의미를 이해합니다. 하지만 전통적인 컴퓨터 시스.. 2025. 3. 17.
인기 많은 LLM RAG 기술 3가지 - Self-Query, ReAct, Reranker 대형 언어 모델(LLM)은 정보를 생성하는 강력한 도구이지만, 신뢰성과 정확성을 높이기 위해 검색 기반 기술과 결합하는 RAG(Retrieval-Augmented Generation) 방식이 점점 더 주목받고 있습니다. RAG는 모델이 기존에 학습한 데이터뿐만 아니라 실시간 검색을 통해 최신 정보를 활용할 수 있도록 돕는 기술입니다.그중에서도 Self-Query, ReAct, Reranker는 2024년부터 2025년까지 AI 업계를 선도할 핵심 RAG 기술로 손꼽히고 있습니다. 이번 글에서는 이 세 가지 기술의 개념과 작동 방식, 그리고 활용 사례를 누구나 쉽게 이해할 수 있도록 설명하겠습니다. 1️⃣ Self-Query – AI가 스스로 검색 질의를 생성하는 기술기존의 검색 시스템은 사용자가 입력한 .. 2025. 3. 17.
RAG 개념 및 많이 사용되는 3사 모델 (OpenAI, Meta, DeepMind) 대형 언어 모델(LLM)은 다양한 산업에서 활용되며 빠르게 발전하고 있습니다. 그중에서도 RAG(Retrieval-Augmented Generation) 기술은 검색과 생성 AI를 결합해 더욱 정교한 결과를 제공하는 핵심 기술로 주목받고 있습니다.RAG는 어떤 경우에 사용하는지, 간단하게 개념에 대해 설명하겠습니다. RAG는, 기존 LLM에서 상세한 답변을 얻어내기 힘든 특정 도메인 영역, 또는 특정 기관 또는 개인만의 데이터와 같은 부분을 특화하여 학습시켜서, 전문적인 답변을 도출해 내는 방법입니다. 예를 들어, A라는 회사에서는 다른 회사와 다른 사내 규칙을 가지고 있을 것입니다. 연차의 개수, 연차 기안은 언제까지 올려야 하는지, 상조회 규칙은 어떻게 되는지, 취업 시 어떤 부분을 지켜야 하는지 등.. 2025. 3. 17.

티스토리툴바