今天小编就为大家分享一篇python批量从es取数据的方法(文档数超过10000),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

"""
提取文档数超过10000的数据
按照某个字段的值具有唯一性进行升序,
按照@timestamp进行降序,
第一次查询,先将10000条数据取出,
取出最后一个时间戳,
在第二次查询中,设定@timestamp小于将第一次得到的最后一个时间戳,
同时设定某个字段的值具有唯一性进行升序,
按照@timestamp进行降序,
"""

from elasticsearch import Elasticsearch
import os

write_path = "E:\\公司\\案例数据采集\\olt告警案例分析\\10000_data.txt"
es = Elasticsearch(hosts="", timeout=1500)
write_file = open(write_path, "a+")


def _first_query():
  index_ = "gather-010"
  _source = ["TWICE_BOOK_TIME", "@timestamp"]
  try:
    rs = es.search(index=index_, body={
      "size": 10000,
      "query": {
        "match_all": {}
      },
      "sort": [
        {
          "@timestamp": {
            "order": "desc"
          }
        },
        {
          "TASK_RECEIVE_ID.keyword": {
            "order": "asc"
          }
        }
      ],
      "_source": _source
    })
    return rs
  except:
    raise Exception("{0} search error".format(index_))


def _get_first_data(first_rs):
  i = 0
  if first_rs:
    for hit in first_rs['hits']['hits']:
      IptvAccount = hit['_source']['TWICE_BOOK_TIME']
      timestamp = hit['_source']['@timestamp']
      if IptvAccount is None:
        IptvAccount = ""
      write_file.write(IptvAccount + "," + timestamp + "\n")
      i += 1
      if i == 10000:
        return timestamp


def _second_query(timestamp):
  index_ = "gather-010"
  _source = ["TWICE_BOOK_TIME", "@timestamp"]
  try:
    rs = es.search(index=index_, body={
      "size": 10000,
      "query": {
        "bool": {
          "filter": {
            "range": {
              "@timestamp": {
                "lt": timestamp
              }
            }
          }
        }
      },
      "sort": [
        {
          "@timestamp": {
            "order": "desc"
          }
        },
        {
          "TASK_RECEIVE_ID.keyword": {
            "order": "asc"
          }
        }
      ],
      "_source": _source
    })
    return rs
  except:
    raise Exception("{0} search error".format(index_))


if __name__ == "__main__":
  first_rs = _first_query()
  first_timestamp = _get_first_data(first_rs)
  print(first_timestamp)
  while True:
    second_rs = _second_query(first_timestamp)
    first_timestamp = _get_first_data(second_rs)
    if first_timestamp is None:
      break
    print(first_timestamp)

以上这篇python批量从es取数据的方法(文档数超过10000)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
线上盲盒“双11”热销 火爆并非偶然争议仍不断

线上盲盒“双11”热销

要问当下年轻人最潮最烧钱的大众消费是什么?盲盒一定要
欢聚时代第三季度营收69亿元 净利同比降83%

欢聚时代第三季度营收

报告显示,欢聚时代第三季度净营收为人民币68.822亿元(约
“双11”线下的新来者:蔓延的数字崇拜

“双11”线下的新来者

家乐福中国、翠微百货、银泰百货、物美多点……在“双
对话联发科管理层: 产品从“孤岛”走向“互联”

对话联发科管理层: 产

随着5G、AI等一批技术从“前沿科技”走向“商用落地”
直播带货不要走上电视购物老路

直播带货不要走上电视

“直播带货”火了,天猫“双11”淘宝直播的爆发成为品牌
“周杰伦效应”显现 腾讯音乐付费用户增42%

“周杰伦效应”显现

腾讯音乐娱乐集团的付费用户同比增长了42.2%,这背后无
最新文章
python实现在cmd窗口显示彩色文字

python实现在cmd窗口

今天小编就为大家分享一篇python实现在cmd窗口显示彩
解决python xx.py文件点击完之后一闪而过的问题

解决python xx.py文件

今天小编就为大家分享一篇解决python xx.py文件点击完
pandas DataFrame 交集并集补集的实现

pandas DataFrame 交

这篇文章主要介绍了pandas DataFrame 交集并集补集的
pandas计数 value_counts()的使用

pandas计数 value_cou

这篇文章主要介绍了pandas计数 value_counts()的使用,
详解python深浅拷贝区别

详解python深浅拷贝区

在本篇文章里小编给大家整理了关于python深浅拷贝区别
详解10个可以快速用Python进行数据分析的小技巧

详解10个可以快速用Py

这篇文章主要介绍了详解10个可以快速用Python进行数据