ElasticSearch

검색 기능은 현대 애플리케이션의 가장 중요한 기능 중 하나입니다. 웹사이트, 전자상거래 플랫폼 또는 데이터 기반 애플리케이션을 구축하든지 간에 말입니다. 하지만 방대한 양의 데이터를 처리하고 신속하게 관련 결과를 제공하는 강력하고 효율적인 검색 엔진을 어떻게 만들 수 있을까요? 그 해답은 오늘날 가장 인기 있고 유연한 검색 엔진 중 하나인 Elasticsearch에 있습니다. 프로젝트에서 Elasticsearch를 활용하는 방법을 배우고 싶다면 이 과정이 완벽한 출발점입니다! 우리는 초보자가 Elasticsearch를 기초부터 이해할 수 있도록 설계된 종합 과정을 freeCodeCamp.org 유튜브 채널에 방금 게시했습니다. 3CodeCampers가 만든 이 과정은 이론과 실습의…

Elasticsearch란 무엇인가요? Elasticsearch는 Apache Lucene 라이브러리를 기반으로 구축된 분산형 오픈 소스 검색 및 분석 엔진입니다. Elasticsearch는 또한 벡터 검색 및 검색 보강 생성(RAG)을 제공하여 현대 AI 애플리케이션을 원활하게 지원합니다. 애플리케이션은 JSON 페이로드를 Elasticsearch 클러스터에 전송하여 정의된 스키마가 있든 없든 구성된 데이터와 비구성된 데이터를 Elasticsearch에 저장할 수 있습니다. Elasticsearch 아키텍처 Elasticsearch 클러스터의 주요 구성 요소는 다음과 같습니다: 문서 문서는 Elasticsearch에 의해 저장되는 정보의 가장 작은 기록이며 JSON으로 표현됩니다. 문서는 서로 다른 유형의 여러 필드(키-값 쌍)로 구성되며, 미리 정의된 스키마를 가질 수…

데이터 생성의 기하급수적인 증가로 특징지어지는 시대에, 조직은 경쟁 우위를 유지하기 위해 이 풍부한 정보를 효과적으로 활용해야 합니다. 고객 데이터를 효율적으로 검색하고 분석하는 것 — 예를 들어 영화 추천을 위한 사용자 선호도 파악 또는 감정 분석 — 는 정보에 기반한 의사 결정을 촉진하고 사용자 경험을 향상시키는 데 중요한 역할을 합니다. 예를 들어, 스트리밍 서비스는 벡터 검색을 활용하여 개인의 시청 기록과 평가에 맞춘 영화를 추천할 수 있으며, 소매 브랜드는 고객의 감정을 분석하여 마케팅 전략을 조정할 수 있습니다. 데이터 엔지니어로서 우리는 이러한 정교한…

ELK 스택은 Elasticsearch, Logstash, Kibana의 약어로, 다음과 같은 기능을 제공합니다: Elasticsearch: 로그 분석 도구 및 애플리케이션 형성 데이터베이스를 가진 확장 가능한 검색 및 분석 엔진으로, 데이터 기반 애플리케이션에 적합합니다. Logstash: 다양한 소스에서 로그를 수집하고, 파싱한 후 Elasticsearch에 저장 및 분석을 위해 전송하는 로그 처리 도구입니다. Kibana: Elasticsearch에 저장된 데이터를 탐색하고 분석하기 위해 대화형 차트, 그래프 및 대시보드를 사용하는 강력한 시각화 도구입니다. Elasticsearch의 인프라 ELK 스택을 배포하기 전에 Elasticsearch의 인프라 중요 구성 요소를 먼저 이해해 보겠습니다: 노드: Elasticsearch는 검색 및 분석…

우버와 같은 회사에서 실시간 데이터는 고객 맞춤 서비스와 내부 서비스 모두의 생명선입니다. 고객은 실시간 데이터를 통해 편리하게 택시를 부르거나 음식을 주문합니다. 내부 팀도 최신 데이터에 의존하여 고객 맞춤 애플리케이션의 기반 인프라를 구동하는데, 이 중에서도 모바일 앱 크래시 분석을 모니터링하는 자체 도구에 중점을 둡니다. 우버는 이 자체 도구를 구동하기 위해 Apache Pinot으로 마이그레이션하여 이전 분석 엔진(Elasticsearch)에 비해 상당한 개선을 경험했습니다. Pinot으로 이전함으로써, 진정한 실시간 분석 플랫폼을 통해 우버는 다음과 같은 이점을 보았습니다: 인프라 비용 70% 감소(연간 $2M 이상 절감) CPU 코어…

Elasticsearch란? Elasticsearch는 Apache Lucene 검색 라이브러리 위에 구축된 고도로 확장 가능하고 분산 검색 및 분석 엔진입니다. 구조화된, 반구조화된, 비구조화된 대량의 데이터를 처리하도록 설계되어 있어 검색 엔진, 로그 분석, 이커머스, 보안 분석 등 다양한 사용 사례에 적합합니다. Elasticsearch는 클러스터 내의 여러 노드에 걸쳐 대량의 데이터를 저장하고 처리할 수 있는 분산 아키텍처를 사용합니다. 데이터는 확장성과 내결함성을 향상시키기 위해 노드에 걸쳐 분산된 샤드에 인덱싱되고 저장됩니다. Elasticsearch는 실시간 검색 및 분석을 지원하므로 사용자는 거의 실시간으로 데이터를 쿼리하고 분석할 수 있습니다. Elasticsearch의 핵심 기능 중…

이 시리즈의 Part 1에서는 가장 신뢰성 있고 견고한 문서 중심의 NoSQL 데이터베이스 중 하나인 MongoDB를 살펴보았습니다. 여기 Part 2에서는 또 다른 피할 수 없는 NoSQL 데이터베이스인 Elasticsearch를 탐구해보겠습니다. mere히 인기 있고 강력한 오픈 소스 분산형 NoSQL 데이터베이스를 넘어, Elasticsearch는 우선 검색 및 분석 엔진입니다. 이는 가장 유명한 검색 엔진 Apache Lucene Java 라이브러리 위에 구축되었으며, 구조화된 데이터와 비구조화된 데이터에 대한 실시간 검색 및 분석 작업을 수행할 수 있습니다. 대량의 데이터를 효율적으로 처리할 수 있도록 설계되었습니다. 다시 한번 이 짧은 글은…

로그는 종종 회사의 데이터 자산 대부분을 차지합니다. 로그의 예로는 사용자 활동 로그 등의 비즈니스 로그와 서버, 데이터베이스, 네트워크 또는 IoT 장치의 운영 및 유지보수 로그가 있습니다. 로그는 비즈니스의 수호천사입니다. 한편으로 시스템 위험 경고를 제공하고 문제 해결에서 엔지니어가 원인을 신속하게 ​​파악하는 데 도움을 줍니다. 반면에 시간 범위를 확대하면 유용한 추세와 패턴을 식별할 수 있을 뿐만 아니라 비즈니스 로그는 사용자 인사이트의 기반이 됩니다. 그러나 로그는 다음과 같은 이유로 관리가 어려울 수 있습니다: 마구 들어옵니다. 모든 시스템 이벤트나 사용자 클릭이 로그를 생성합니다. 회사는…

Elasticsearch는 분산형 전문 검색 및 분석 엔진으로, 대량의 데이터를 빠르게 저장, 검색 및 분석하고 거의 실시간으로 이용할 수 있게 해줍니다. 이 튜토리얼에서는 Elasticsearch가 무엇인지, 어떻게 작동하는지, 어떻게 구성, 설치 및 실행할 수 있는지 알아보게 됩니다. 또한, 이점과 Elasticsearch의 사용 목적에 대해서도 이해할 수 있습니다. 그럼 시작해보겠습니다. ElasticSearch란? Elasticsearch는 오픈 소스 검색 및 분석 엔진으로, 실시간으로 대량의 데이터를 저장, 검색 및 분석할 수 있게 해줍니다. 루센 검색 엔진 라이브러리를 기반으로 하며, 분산 및 확장 가능한 검색 기능을 제공하도록 설계되어 있어 전자상거래,…