ES添加數據：從基礎到進階

ES（ElasticSearch）是一個高可用性、可擴展性的開源全文搜索及分析引擎。在大數據環境下，它是一種性能強大、可擴展的分散式系統，能夠管理和分析PB級別的數據。ES是基於Lucene庫的，在數據分析、搜索引擎等領域被廣泛應用。

一、es添加數據到索引命令

將數據添加到ES中，需要先創建索引。索引是對存儲在ES中數據的邏輯分組，類似於關係型資料庫中的表。在創建索引時，需要定義其相關映射，包括欄位名稱、數據類型等。

PUT /index
{
  "mappings": {
    "properties": {
      "field1": {"type": "text"},
      "field2": {"type": "integer"}
    }
  }
}

以上代碼中，創建了一個名為「index」的索引，並定義了兩個屬性「field1」和「field2」，分別為文本類型和整數類型。

創建索引後，可以通過PUT命令將數據添加到索引中：

PUT /index/_doc/1
{
  "field1": "value1",
  "field2": 123
}

以上代碼中，將數據添加到名為「index」的索引中，其中「1」為數據ID，欄位「field1」的值為「value1」、欄位「field2」的值為「123」。

二、es索引添加數據

1. 單條添加數據

在ES中添加單條數據，可以使用PUT命令，格式為：PUT /index/_doc/{id}。

PUT /index/_doc/1
{
  "field1": "value1",
  "field2": 123
}

以上命令在名為「index」的索引中，添加了一條ID為「1」的數據，其中「field1」的值為「value1」、「field2」的值為「123」。

2. 批量添加數據

在批量添加數據時，可以使用Bulk API。首先需要創建一個包含多條數據的JSON文件，如下所示：

{ "index" : { "_index" : "index", "_id" : "1" } }
{ "field1": "value1", "field2": 123 }
{ "index" : { "_index" : "index", "_id" : "2" } }
{ "field1": "value2", "field2": 456 }

以上代碼中，定義了兩條數據，分別為ID為「1」的數據和ID為「2」的數據。

然後，使用以下命令將文件中的數據批量添加到ES中：

POST _bulk
{data}

其中，{data}為包含多條數據的JSON文件內容。

三、es添加數據時時間存不進去

如果添加數據時，時間屬性無法存儲到ES中，可能存在多種原因。其中一個可能的原因是，時間屬性和ES中已有的時間類型不兼容，需要將格式進行轉換。

例如，如果ES中的時間格式為yyyy-MM-dd HH:mm:ss，而添加的數據中的時間格式為yyyy/MM/dd HH:mm:ss，可以使用以下方法進行轉換：

PUT /index/_doc/1
{
  "field1": "value1",
  "field2": 123,
  "time": {
    "date": "2021/11/11",
    "time": "10:10:10"
  }
}

以上代碼中，在添加數據時，將時間屬性拆分為「date」和「time」兩個屬性進行添加。

四、cass添加數據

Cass（Cassandra）是另一個分散式結構化數據存儲系統，可以管理大量非結構化和結構化數據。與ES不同，Cass的數據模型是基於列家族的，類似於關係型資料庫中的列，可以對數據進行添加、修改、刪除和查詢等操作。

在Cass中添加數據，可以使用以下命令：

INSERT INTO table_name (field1, field2) VALUES ('value1', 123);

以上代碼中，將數據添加到名為「table_name」的表中，其中欄位「field1」的值為「value1」、欄位「field2」的值為「123」。

五、es批量添加數據

在ES中批量添加數據，可以使用Bulk API。首先需要創建一個包含多條數據的JSON文件，格式如下：

{ "index" : { "_index" : "index", "_id" : "1" } }
{ "field1": "value1", "field2": 123 }
{ "index" : { "_index" : "index", "_id" : "2" } }
{ "field1": "value2", "field2": 456 }

然後，使用以下命令將文件中的數據批量添加到ES中：

POST _bulk
{data}

其中，{data}為包含多條數據的JSON文件內容。

六、es刪除數據

在ES中刪除數據，可以使用DELETE命令。格式為DELETE /index/_doc/{id}。

DELETE /index/_doc/1

以上代碼中，刪除了名為「index」索引中ID為「1」的數據。

七、es如何添加數據訪問許可權

在ES中添加數據訪問許可權，可以通過角色和用戶來實現。首先需要創建一個角色，定義該角色的許可權範圍和操作方式。然後，給該角色分配一個或多個用戶。

以下是一個創建角色並給該角色分配用戶的例子：

PUT /_security/role/my_role
{
  "cluster": ["monitor"],
  "indices": [
    {
      "names": ["index1", "index2"],
      "privileges": ["read"]
    }
  ]
}

POST /_security/user/user1
{
  "password" : "password",
  "roles" : [ "my_role" ]
}

以上代碼中，創建了名為「my_role」的角色，該角色可以監控ES集群並對「index1」和「index2」索引進行讀操作。然後，創建了一個名為「user1」的用戶並將「my_role」角色分配給該用戶。

通過以上步驟，即可實現在ES中添加數據訪問許可權。

結語

本文詳細介紹了從基礎到進階的ES添加數據方法，包括索引和數據的創建、添加、查找和刪除等操作。同時，還介紹了添加數據時可能會遇到的問題，以及如何實現數據訪問許可權的管理。希望能夠對大家在ES項目中的數據管理和分析工作有所啟發和幫助。