Elasticsearch

[ES] Elasticsearch 주요 API 정리

[ES] Elasticsearch 주요 API 정리

[ES] Token filter 정리

[ES] Token filter 정리

[ES] tokenizer 정리

[ES] tokenizer 정리

[ES] Character filters 정리

[ES] Character filters 정리

[ES] 역색인(Inverted Index), Analyzer 정리

[ES] 역색인(Inverted Index), Analyzer 정리

[ES] Elasticsearch 색인 과정 + shard 배치 연계

[ES] Elasticsearch 색인 과정 + shard 배치 연계

[ES] 인덱스와 샤드 개념 정리

[ES] 인덱스와 샤드 개념 정리

[ES] 클러스터와 노드 개념 정리

[ES] 클러스터와 노드 개념 정리

[ES] ElasticSearch란?

[ES] ElasticSearch란?

1. 인덱스(Index)

생성

조회

삭제

인덱스 존재 여부 확인

[ES] Elasticsearch 주요 API 정리

Token Filter란?

tokenizer에서 term 분리 과정 이후에는 분리된 각각의 term들이 지정된 규칙에 따라서 처리되는데 이 역활을 token filter가 진행한다. token filter는 filter항목에 배열로 지정해야 하고, 지정한 배열 순서대로 필터가 동작하기 때문에 순서를 잘 고려해야 한다.

whitespace tokenizer로 나누면

이걸 lowercase, stop 토큰 필터를 적용하면

주요 Token Filter 종류

1. lowercase

모든 term들을 소문자로 바꾼다

[ES] Token filter 정리

Tokenizer란?

Tokenizer는 Elasticsearch Analyzer 중 2번째로 동작하는 구성 요소로써 Character Filter에서 처리된 문자열을 잘게 나누어서 토큰을 만드는 역할을 한다.

예를 들어, “elasticsearch is a search engine” 이라는 문장을 standard tokenizer로 분석하게 되면 아래와 같이 나누어지게 된다.

Tokenizer의 종류

Standard : 공백으로 term을 구분하면서 특수 문자를 제거한다. (default) 

whitespace : 공백으로만 term을 구분

keyword : 문자열 전체를 한 덩어리로 저장

uax_url_email : URL이나 이메일을 하나의 토큰으로 유지

[ES] tokenizer 정리

이번 포스트는 Analyzer중 가장 먼저 동작하는 기능인 Character filter에 대해서 정리해 보려고 한다.

캐릭터 필터란?

캐릭터 필터(Character filter) 란 Elasticsearch Analyzer 중 첫 번째 기능으로 텍스트를 문자 수준에서 전처리를 수행하게 된다.

주요 특징

텍스트 내에서 특정 문자를 치환하거나 제거한다 

HTML, 특수 문자 등을 제거한다

필터 종류

Elasticsearch에서 기본적으로 제공하는 character filter는 다음과 같이 3가지가 있다.

HTML Strip

Mapping

[ES] Character filters 정리

Elasticsearch와 전통적인 관계형 데이터베이스(RDBMS)는 데이터 검색 방식에서 차이를 보인다. Elasticsearch가 DB보다 더 빠른 검색 속도를 보이는 이유는 단순한 데이터 저장이 아닌 색인 과정이 있기 때문인데, 이제 Elasticsearch와 DB의 검색 방식 차이에 대해 살펴보려고 한다.

DB에서는 아래와 같이 데이터가 저장되어 있을 때, Java를 검색하면 1번부터 4번까지의 데이터를 순차적으로 확인하면서 Java라는 단어의 존재 여부를 검사한다. 이러한 구조에서는 결과적으로 2번과 4번 데이터가 조회가 된다.

이러면 데이터가 늘어날 수록 검색 대상도 늘어나기 때문에 시간이 오래 걸리는 단점이 생기게 된다.

역 인덱스 (Inverted Index)

Elasticsearch에서는 저장되는 데이터들을 각 키워드(Term) 별로 분류한 뒤 해당 키워드가 있는 문서의 아이디를 저장한다. 이렇게 되면 사용자가 Java를 검색하면 바로 2, 4번 데이터를 가져올 수 있어서 속도가 매우 빠르다.

그리고 데이터가 추가됐을 때 Term이 가리키는 ID의 배열에 번호만 추가되는 방식이기 때문에 데이터가 추가된다고 해서 속도 변화의 큰 차이가 없다.

[ES] 역색인(Inverted Index), Analyzer 정리

이번 글에서는 색인에 대해서 자세히 정리하기 보다는, 문서가 들어왔을 때 색인되는 과정과 Elasticsearch shard 배치와 연관 지어서 전체적인 흐름을 정리해보려 한다.

색인(Indexing) 이란?

문서를 분석하고 저장하는 과정을 색인이라고 정의한다.
Elasticsearch에서 문서를 분석하고 저장하는 일련의 과정을 색인 이라고 한다.

한 클러스터 안에 3개의 노드가 있고 특정 인덱스가 4개의 샤드로 구성 되어 있다면 아래와 같은 이미지의 형태를 하고 있을 것 이다.

Primary shard는 실제 데이터를 저장하는 기본 단위이며 Replica shard는 Primary shard의 복사본이다. Primary shard와 Replica shard는 장애 복구나 백업, 읽기 부하 분산용으로 반드시 다른 노드에 위치해 있어야 한다.

이때 클라이언트가 문서 색인을 요청하면 Elasticsearch는 문서 ID와 샤드 수를 기반으로 어느 Primary 샤드에 저장할지를 결정한다.

[ES] Elasticsearch 색인 과정 + shard 배치 연계

인덱스(Index)란?

인덱스는 oracle이나 mysql 같이 관계형 데이터베이스의 테이블과 비슷한 개념이다. 인덱스를 설계하는 것이 Elasticsearch를 사용하기 위한 첫 단계이다.

정의

인덱스는 유사한 구조를 가진 문서들의 모음이며,
Elasticsearch에서 데이터를 저장하고 검색하는 논리적인 단위이다.

user_index → 사용자 정보 문서들의 모음

blog_index → 블로그 글 문서들의 집합

log_index → 시스템 로그 데이터 문서들의 집합

특징

하나의 인덱스는 수 많은 문서를 가질 수 있으며, 인덱스는 내부적으로 샤드(shard)라는 단위로 나뉘어져 저장된다.

[ES] 인덱스와 샤드 개념 정리

Elasticsearch의 클러스터란 ?

일반적으로 클러스터(Cluster) 란 한 대 이상의 노드가 연결되어 마치 하나의 시스템처럼 동작하는 구조를 말한다. Elasticsearch에서도 이러한 클러스터 구조를 통해서, 여러 노드가 각자의 역할을 수행하면서 하나의 통합된 시스템처럼 작동하게 된다.

하나의 시스템처럼 동작하는 구조이기 때문에 한 클러스터 안에 어떠한 노드에게 요청을 보내도 모두 동일한 결과를 반환하게 된다.

Elasticsearch에서 클러스터는 하나 이상의 노드로 이루어진 전체 시스템으로 정의 할 수 있는데, 클러스터는 아래와 같은 특징이 있다.

클러스터 이름(cluster name) 으로 고유하게 식별 된다.

클러스터 내부의 모든 노드는 데이터를 공유하고 협력하여, 색인(indexing)과 검색(query) 작업을 처리한다.

사용자 입장에서는 클러스터 전체가 하나의 통합된 시스템처럼 보인다.

노드란?

Elasticsearch에서 노드는 클러스터의 구성 요소이자 실제 작업을 수행하는 하나의 인스턴스이다. 각 노드들은 각자의 역할이 있으며, 데이터 저장, 검색, 색인 등의 작업을 처리하게 된다.

한 마디로 정리하자면, 노드는 클러스터의 구성 요소이자 실제 작업을 수행하는 핵심 단위이다.

[ES] 클러스터와 노드 개념 정리

엘라스틱서치란?

엘라스틱서치(Elasticsearch)는 자바 기반의 아파치 루씬(Apache Lucene) 라이브러리를 바탕으로 개발된 오픈 소스 검색 엔진이며, json 기반의 문서를 저장하고 검색과 분석이 가능하다.

엘라스틱서치의 특징

준 실시간 검색 시스템

고 가용성을 위한 클러스터 구성

동적 스키마 생성

REST API 기반의 인터페이스

ELK 스택의 핵심 구성 요소

Reference

[ES] ElasticSearch란?