今天小编就为大家分享一篇python批量从es取数据的方法(文档数超过10000),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

"""
提取文档数超过10000的数据
按照某个字段的值具有唯一性进行升序,
按照@timestamp进行降序,
第一次查询,先将10000条数据取出,
取出最后一个时间戳,
在第二次查询中,设定@timestamp小于将第一次得到的最后一个时间戳,
同时设定某个字段的值具有唯一性进行升序,
按照@timestamp进行降序,
"""

from elasticsearch import Elasticsearch
import os

write_path = "E:\\公司\\案例数据采集\\olt告警案例分析\\10000_data.txt"
es = Elasticsearch(hosts="", timeout=1500)
write_file = open(write_path, "a+")


def _first_query():
  index_ = "gather-010"
  _source = ["TWICE_BOOK_TIME", "@timestamp"]
  try:
    rs = es.search(index=index_, body={
      "size": 10000,
      "query": {
        "match_all": {}
      },
      "sort": [
        {
          "@timestamp": {
            "order": "desc"
          }
        },
        {
          "TASK_RECEIVE_ID.keyword": {
            "order": "asc"
          }
        }
      ],
      "_source": _source
    })
    return rs
  except:
    raise Exception("{0} search error".format(index_))


def _get_first_data(first_rs):
  i = 0
  if first_rs:
    for hit in first_rs['hits']['hits']:
      IptvAccount = hit['_source']['TWICE_BOOK_TIME']
      timestamp = hit['_source']['@timestamp']
      if IptvAccount is None:
        IptvAccount = ""
      write_file.write(IptvAccount + "," + timestamp + "\n")
      i += 1
      if i == 10000:
        return timestamp


def _second_query(timestamp):
  index_ = "gather-010"
  _source = ["TWICE_BOOK_TIME", "@timestamp"]
  try:
    rs = es.search(index=index_, body={
      "size": 10000,
      "query": {
        "bool": {
          "filter": {
            "range": {
              "@timestamp": {
                "lt": timestamp
              }
            }
          }
        }
      },
      "sort": [
        {
          "@timestamp": {
            "order": "desc"
          }
        },
        {
          "TASK_RECEIVE_ID.keyword": {
            "order": "asc"
          }
        }
      ],
      "_source": _source
    })
    return rs
  except:
    raise Exception("{0} search error".format(index_))


if __name__ == "__main__":
  first_rs = _first_query()
  first_timestamp = _get_first_data(first_rs)
  print(first_timestamp)
  while True:
    second_rs = _second_query(first_timestamp)
    first_timestamp = _get_first_data(second_rs)
    if first_timestamp is None:
      break
    print(first_timestamp)

以上这篇python批量从es取数据的方法(文档数超过10000)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
5G新材料市场需求爆发 中国市场独具研发优势

5G新材料市场需求爆发

作为新一代移动通信技术,5G网络将满足2020年以后来自终
媒体:陆金所计划停止网贷业务 将进行转型

媒体:陆金所计划停止网

陆金所计划停止网贷业务,将进行转型。
欧洲央行管委:金融监管不会为创新而牺牲安全

欧洲央行管委:金融监管

欧洲央行管理委员会委员暨法国央行总裁维勒鲁瓦周四称
中国电子联合会发布2019年电子百强企业 华为居首位

中国电子联合会发布20

中国电子信息行业联合会发布了2019年(第33届)电子信息百
滴滴顺风车整改:增加人脸识别频次 无具体上线时间

滴滴顺风车整改:增加人

自2018年滴滴连续发生两起恶性安全事件后,滴滴暂停了顺
作业盒子品牌升级为“小盒科技” D轮融资1.5亿美元

作业盒子品牌升级为“

作业盒子今日举办品牌升级暨战略发布会,作业盒子升级为
最新文章
python+pyqt5实现图片批量缩放工具

python+pyqt5实现图片

这篇文章主要为大家详细介绍了Python+pyqt5实现图片批
python+pyqt5编写md5生成器

python+pyqt5编写md5

这篇文章主要为大家详细介绍了python+pyqt5编写md5生
Python动态赋值的陷阱知识点总结

Python动态赋值的陷阱

在本文中我们给大家整理了关于Python动态赋值的陷阱的
Python中super函数用法实例分析

Python中super函数用

这篇文章主要介绍了Python中super函数用法,结合实例形
Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】

Python操作MySQL数据

这篇文章主要介绍了Python操作MySQL数据库的两种方式,
matplotlib实现区域颜色填充

matplotlib实现区域颜

这篇文章主要为大家详细介绍了matplotlib实现区域颜色