本文描述问题及解决方法同样适用于 

在处理海量日志或新闻数据时，我们经常面临一个痛点：

数据是有了，但它们是非结构化的。

Elastic 由 Shay Banon 在阿姆斯特丹创立。

对于搜索引擎来说，这只是一串字符。但对于业务分析来说，我们希望系统能自动识别出：

在 Elasticsearch 8.0 之前，实现这一功能通常需要依赖外部的 Python 服务进行预处理，架构复杂且维护成本高。而现在，我们可以利用腾讯云 ES 原生的 NLP 能力，将模型直接部署在集群内部，实现数据写入即处理的闭环。

本文将演示如何将 Hugging Face 上的 BERT 模型部署到 Elasticsearch，并构建自动化的处理管道。

：版本需为 9.1.3，机器学习节点选择 GPU 型；

：配置为8C32G，本地需安装 Docker（推荐）或 Python 环境，用于上传模型。

Elasticsearch 本身不负责训练模型，而是作为一个高效的推理（Inference）引擎。我们需要将训练好的模型从 Hugging Face Hub 导入到集群中。

官方推荐使用 Elastic 的 Python 客户端工具 

 来完成此操作。为了避免本地 Python 环境依赖冲突（PyTorch 版本问题常让人头疼），

elastic/distilbert-base-uncased-finetuned-conll03-english

 模型为例。在一台客户端客户端执行以下命令：

# 请替换 <ES_URL>, <USERNAME>, <PASSWORD> 为你的实际配置
docker run -it --rm elastic/eland \
    eland_import_hub_model \
      --url https://<ES_URL>:9200 \
      -u <USERNAME> -p <PASSWORD> \
      --hub-model-id elastic/distilbert-base-uncased-finetuned-conll03-english \
      --task-type ner \
      --start

模型上传成功后，建议先在 Kibana 中进行一次冒烟测试，确保推理功能正常。

检查 elastic__distilbert-base-uncased-finetuned-conll03-english 的状态是否为 Started。

在测试窗口输入一段英文文本，例如：

"Elastic is a company founded by Shay Banon in Amsterdam."

如果配置正确，你将看到如下结构化输出：

这证明模型已成功加载并可以接受推理请求。

手动测试通过后，我们需要将这一能力集成到数据写入流程中。通过定义一个 

，我们可以让所有经过该管道的文档自动完成实体提取。

PUT _ingest/pipeline/ner-pipeline
{
  "description": "NER inference pipeline",
  "processors": [
    {
      "inference": {
        "model_id": "elastic__distilbert-base-uncased-finetuned-conll03-english",
        "target_field": "ml.ner",
        "field_map": {
          "content": "text_field"
        }
      }
    }
  ]
}

现在，我们创建一个索引并写入一条文档，指定使用刚才创建的管道。

POST my-ner-index/_doc?pipeline=ner-pipeline
{
  "content": "Hello, my name is Josh and I live in Berlin."
}

写入完成后，检索该文档以查看最终存储的数据结构：

可以看到，原始文档被自动丰富了。ml.ner.entities 数组中清晰地标记了 "Josh" 为人名，"Berlin" 为地点，且附带了置信度和字符位置。

通过上述步骤，我们摒弃了复杂的外部中间件，使用腾讯云 Elasticsearch 原生功能就实现了 NLP 落地。这种架构不仅降低了运维复杂度，还显著提升了数据处理的实时性。

如果你正在处理大量的文本数据，不妨尝试将 NLP 模型引入你的 ES 集群，挖掘非结构化数据背后的价值。

别再单独跑 Python 脚本了：手把手教你在腾讯云 Elasticsearch 里直接做命名实体识别 (NER)

在 Elasticsearch 8.0 之前，NER 通常需要依赖外部的 Python 服务进行预处理，架构复杂且维护成本高。而现在，我们可以利用腾讯云 ES 原生的 NLP 能力，将模型直接部署在集群内部，实现数据写入即处理的闭环。

官方产研

大数据

算法

低代码

本文介绍如何利用腾讯云Elasticsearch原生NLP能力实现命名实体识别(NER)，无需外部Python服务。详细演示从Hugging Face导入BERT模型到ES集群，构建自动化处理管道，实现数据写入即分析。通过Ingest Pipeline自动提取人名、地点等实体信息，提升非结构化数据处理效率，适用于日志分析、新闻分类等场景。

Elasticsearch Service

结构化数据

机器学习

数据结构

中间件

Docker

Python

ES特惠专场，新客首购1折起！


4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本文介绍如何利用腾讯云Elasticsearch原生NLP能力实现命名实体识别(NER)，无需外部Python服务。详细演示从Hugging Face导入BERT模型到ES集群，构建自动化处理管道，实现数据写入即分析。通过Ingest Pipeline自动提取人名、地点等实体信息，提升非结构化数据处理效率，适用于日志分...

别再单独跑 Python 脚本了：手把手教你在腾讯云 Elasticsearch 里直接做命名实体识别 (NER)

别再单独跑 Python 脚本了：手把手教你在腾讯云 Elasticsearch 里直接做命名实体识别 (NER)

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐