python elasticsearch环境搭建

windows linux环境搭建

windows下载zip
linux下载tar
下载地址:https://www.elastic.co/downloads/elasticsearch

解压后运行:bin/elasticsearch (or bin\elasticsearch.bat on Windows)
检查是否成功:访问 http://localhost:9200

linux下不能以root用户运行,
普通用户运行报错:
java.nio.file.AccessDeniedException

原因:当前用户没有执行权限
解决方法: chown linux用户名 elasticsearch安装目录 -R
例如:chown ealsticsearch /data/wwwroot/elasticsearch-6.2.4 -R
PS:其他Java软件报.AccessDeniedException错误也可以同样方式解决,给 执行用户相应的目录权限即可

代码实例

如下的代码实现类似链家网小区搜索功能。
从文件读取小区及地址信息写入es,然后通过小区所在城市code及搜索关键字 匹配到对应小区。
代码主要包含三部分内容:
1.创建索引
2.用bulk将批量数据存储到es
3.数据搜索
注意:
代码的es版本交低2.xx版本,高版本在创建的索引数据类型有所不同

#coding:utf8
from __future__ import unicode_literals
import os
import time
import config
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch.helpers import bulk

class ElasticSearch():
    def __init__(self, index_name,index_type,ip ="127.0.0.1"):
        '''
        :param index_name: 索引名称
        :param index_type: 索引类型
        '''
        self.index_name =index_name
        self.index_type = index_type
        # 无用户名密码状态
        #self.es = Elasticsearch([ip])
        #用户名密码状态
        self.es = Elasticsearch([ip],http_auth=('elastic', 'password'),port=9200)
    def create_index(self,index_name="ftech360",index_type="community"):
        '''
        创建索引,创建索引名称为ott,类型为ott_type的索引
        :param ex: Elasticsearch对象
        :return:
        '''
        #创建映射
        _index_mappings = {
            "mappings": {
                self.index_type: {
                    "properties": {
                        "city_code": {
                            "type": "string",
                            # "index": "not_analyzed"
                        },
                        "name": {
                            "type": "string",
                            # "index": "not_analyzed"
                        },
                        "address": {
                            "type": "string",
                            # "index": "not_analyzed"
                        }
                    }
                }

            }
        }
        if self.es.indices.exists(index=self.index_name) is True:
            self.es.indices.delete(index=self.index_name)
        res = self.es.indices.create(index=self.index_name, body=_index_mappings)
        print res

    def build_data_dict(self):
        name_dict = {}
        with open(os.path.join(config.datamining_dir,'data_output','house_community.dat')) as f:
            for line in f:
                line_list = line.decode('utf-8').split('\t')
                community_code = line_list[6]
                name = line_list[7]
                city_code = line_list[0]
                name_dict[community_code] = (name,city_code)

        address_dict = {}
        with open(os.path.join(config.datamining_dir,'data_output','house_community_detail.dat')) as f:
            for line in f:
                line_list = line.decode('utf-8').split('\t')
                community_code = line_list[6]
                address = line_list[10]
                address_dict[community_code] = address

        return name_dict,address_dict

    def bulk_index_data(self,name_dict,address_dict):
        '''
        用bulk将批量数据存储到es
        :return:
        '''
        list_data = []
        for community_code, data in name_dict.items():
            tmp = {}
            tmp['code'] = community_code
            tmp['name'] = data[0]
            tmp['city_code'] = data[1]

            if community_code in address_dict:
                tmp['address'] = address_dict[community_code]
            else:
                tmp['address'] = ''

            list_data.append(tmp)
        ACTIONS = []
        for line in list_data:
            action = {
                "_index": self.index_name,
                "_type": self.index_type,
                "_id": line['code'], #_id 小区code
                "_source": {
                    "city_code": line['city_code'],
                    "name": line['name'],
                    "address": line['address']
                    }
            }
            ACTIONS.append(action)
            # 批量处理
        success, _ = bulk(self.es, ACTIONS, index=self.index_name, raise_on_error=True)
        #单条写入 单条写入速度很慢
        #self.es.index(index=self.index_name,doc_type="doc_type_test",body = action)

        print('Performed %d actions' % success)

    def delete_index_data(self,id):
        '''
        删除索引中的一条
        :param id:
        :return:
        '''
        res = self.es.delete(index=self.index_name, doc_type=self.index_type, id=id)
        print res

    def get_data_id(self,id):
        res = self.es.get(index=self.index_name, doc_type=self.index_type,id=id)
        # # 输出查询到的结果
        print res['_source']['city_code'], res['_id'],  res['_source']['name'], res['_source']['address']

    def get_data_by_body(self, name, city_code):
        # doc = {'query': {'match_all': {}}}
        doc = {
            "query": {
                "bool":{
                    "filter":{
                        "term":{
                        "city_code": city_code
                        }
                    },
                    "must":{
                        "multi_match": {
                            "query": name,
                            "type":"phrase_prefix",
                            "fields": ['name^3', 'address'],
                            "slop":1,

                            }

                    }
                }
            }
        }
        _searched = self.es.search(index=self.index_name, doc_type=self.index_type, body=doc)
        data = _searched['hits']['hits']
        return data

if __name__=='__main__':
    #数据插入es
    obj = ElasticSearch("ftech360","community")
    obj.create_index()
    name_dict, address_dict = obj.build_data_dict()
    obj.bulk_index_data(name_dict,address_dict)

    #从es读取数据
    obj2 = ElasticSearch("ftech360","community")
    obj2.get_data_by_body(u'保利','510100')

原文地址:https://www.cnblogs.com/i-love-python/p/11443978.html

时间: 2024-10-17 05:43:00

python elasticsearch环境搭建的相关文章

Python自动化环境搭建

安装配置 Eclipse + PyDev + Robotframework 集成开发环境 1.安装JDK安装目录下的jdk-7u17-windows-i586.exe文件(JAVA开发.运行环境)安装完毕后,在系统变量(右键点击计算机->属性->高级系统设置->环境变量->)中找到path变量,在变量值最后面添加“C:\Program Files\Java\jre7;”,点击保存打开CMD,输入JAVA -version 若显示当前JDK版本,则表示安装成功 2.安装python在

Python Flask环境搭建

Python Flask环境搭建 尽管之前多次部署过Python的Flask环境,由于没有做文档输出工作,导致后面部署时每次都得重新去填之前填过的坑,为了方便自己,也为了工作效率的提升,于是自己花了一点时间重新实验并且整理出来部署的文档,包括一键部署Flask环境脚本install.sh,和Flask环境需要的扩展的安装包packages.txt! 全部贴在代码区域! 下面是一键安装脚本install.sh #! /usr/bin/bash #version v1.0 # by andy.zhu

Python开发环境搭建(win7)

一.安装配置Python 其实在开发python最好在ubuntu环境下,简单也便于扩展各个package.这次来讲一下如何在win7上搭建Python开发环境.由于python的跨平台性.在windows下和ubuntu下基本上没什么差别.下面从几个不步骤来搭建开发环境. 1.下载(https://www.python.org/downloads/)安装python.2.7.8. python有2.7的版本和3.x版本,建议还是使用python-2.7.x 版本,因为python的各大框架都支

selenium + python + windows 环境搭建

主要参考虫师的文章,但他的文章里面有一些问题说得不是很详细,并且有些我遇到的问题他也没有说明,所以记录一下我遇到的问题. 下载python并安装,并配置环境变量. 下载的话,建议大家下载2.7的版本.地址是: https://www.python.org/download/releases/2.7.8/ ,并选择自己需要的版本,例如64的系统选择 Windows X86-64 MSI Installer (2.7.8) 安装就直接安装就行了.环境变量的配置也很方便,在path变量中添加pytho

python学习之python开发环境搭建

Python简介 Python是一种面向对象.解释型计算机程序设计语言.Python语法简洁而清晰,具有丰富和强大的类库等等众多的特性,这是来自百度百科的介绍,在百度百科还能看到它的更详细的介绍信息,包括设计初衷.代码风格.发展历史.基本语法和相关开发的IDE等.在国外Python使用的还是比较多的,而在国内它用的也是比较多的,啄木鸟社区是国内最大的Python社区,在这里你可以找到关于Python的一切,如果你有什么问题也可以得到很好地回答.它简洁而清晰的语法是我喜欢这门语言的原因. 安装配置

个人python开发环境搭建

一.环境 ubuntu10.4 mysql5.1.60 python.6.6 java7 二.搭建 1. 安装ubuntu10.4,并更新软件包 2. sudo su- 切换到root用户下 安装mysql5.1.60 groupadd mysql useradd -g mysql mysql ./configure --prefix=/usr/local/mysql --with-unix-socket-path=/usr/local/mysql/var/mysql.sock --syscon

Python + Appium 环境搭建

---恢复内容开始--- Appium自动化公司内部测试培训1-环境搭建 课程目的 一.Python + Appium 环境搭建 课程内容 1    安装前准备工作 搭建环境所需要的安装文件已经下载好,从SVN上获取即可,解压,如下 2   Appium环境搭建 Appium是一个开源的,适用于原生或者移动网络和混合应用程序在 iOS 和 Android 平台上的的开源自动化测试框架. 2.1  安装Node.js 点击安装文件,下一步下一步直接安装,安装成功后,输入cmd打开windows的命

python服务器环境搭建Flask,uwsgi和nginx

python服务器环境搭建Flask,uwsgi和nginx 环境配置 服务器配置 [部署系统环境Ubuntu] 使用python的Flask框架搭建好网页后台后,便要开始将网站部署到服务器平台了.为了部署python服务器,我选择使用uwsgi和nginx. 使用Nginx和uWSGI来运行Python应用 Nginx Nginx是高效的Web服务器和反向代理服务器,同时并发高,部署简单,内存消耗小,最重要的是,支持uWSGI的uwsgi协议,可以直接使用,一个简单的uwsgi_pass就可以

Python 开发环境搭建

Python分别有两个大的版本,分别是2和3 下载地址:Python-3.6.2   Python-2.7.13 现在安装路径:D:\Program Files\Python 安装完成以后要安装 pip-9.0.1 pip文件是tar.gz类型,对其进行解压,进入目录执行如下命令: python setup.py install 查看版本: D:\Program Files\Python\pip-9.0.1 λ pip --version pip 9.0.1 from D:\Program Fi