从老solr导入新solr

#!/usr/bin/python

import solr

import re

import urllib

import pycurl

import cStringIO

import collections

import operator

import string

import json

import pysolr

def solr_update(value):

pass

def function(value):

value_1={}

keys=value.keys()

t1=value[keys[0]]

t2=keys[0]

for ii in range(len(keys)-1):

if t1 < value[keys[ii+1]]:

t1=value[keys[ii+1]]

t2=keys[ii+1]

del value[t2]

value_1[t2]=t1

return (value_1,value)

def dict_sort(value):

result={}

i=0

while True:

aaa=function(value)

i+=1

result[i]=aaa[0]

if len(aaa[1]) == 1:

result[i]=aaa[1]

break

return result

def solr_1(value):

test_1=‘http://10.67.15.63:8800/solr/collection1/select?q=userid:‘+value+‘&wt=json&indent=true‘

buf=cStringIO.StringIO()

c=pycurl.Curl()

c.setopt(c.URL,test_1)

c.setopt(c.WRITEFUNCTION,buf.write)

c.perform()

d=buf.getvalue()

e=d.split(‘\n‘)

for i in e:

if i.find(‘numFound‘) != -1:

num=i.split(":")[1].split(",")[0]

num_1=num.split(" ")

num_2=num_1[0].split("<")[0]

if value not in ak_list_time:

ak_list_time[num_2]=num_1[2].split("=")[1]

return ak_list_time

def solr_data(value):

test_2=‘http://10.67.15.63:8800/solr/collection1/select?q=userid:‘+value+‘&wt=json&indent=true‘

buf=cStringIO.StringIO()

c=pycurl.Curl()

c.setopt(c.URL,test_2)

c.setopt(c.WRITEFUNCTION,buf.write)

c.perform()

d=buf.getvalue()

e=json.loads(d)

solr_data=e[‘response‘][‘docs‘]

#print solr_data

return solr_data

#for item in e[‘response‘][‘docs‘]:

#       print item[‘content‘]

if __name__ == ‘__main__‘:

ak_list_time={}

dict_1={}

list_1=[]

a=open(‘/home/mysql.txt‘,‘r‘)

b=a.readlines()

s=pysolr.Solr(‘http://10.13.144.225:8983/solr/‘)

for d in b:

k=solr_1(d)

for kk in k.keys():

dict_1[kk]=int(k[kk][1:-1])

dd=sorted(dict_1.iteritems(),key=operator.itemgetter(1))

print dd

for kkk in dd:

if kkk[1] != 0:

g=solr_data(kkk[0])

for item_2 in g:

del item_2[‘_version_‘]

s.add(g)

从老solr导入新solr,布布扣,bubuko.com

时间: 2024-10-13 01:28:11

从老solr导入新solr的相关文章

(solr系列:四)将mysql数据库中的数据导入到solr中

在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 准备工作: 1.mysql数据源:myuser库中的user表(8条数据) /* Navicat MySQL Data Transfer Source Server         : localhost Source Server Version : 50521 Source Host           : local

solr创建新的Core

1.  在example目录下创建taotao-solr文件夹: 2.  将./solr下的solr.xml拷贝到taotao-solr目录下: 3.  在taotao-solr下创建taotao目录,并且在taotao目录下创建conf和data目录: 4.  将example\solr\collection1\core.properties文件拷贝到example\taotao-solr\taotao下,并且修改name=taotao: 5.  将example\solr\collectio

solr入门之solr安全控制的研究和实践(二)

Permission Attributes(权限属性) 每个用户又一个或者几个权限组成,每个权限由几个定义过可以做哪些事的属性组成. 下面有一些不能被修改的预定义权限: Pre-defined Permissions 有一些预定义的权限.这些固定的默认值,不能修改,无法添加新属性.要使用这些属性,只需定义一个角色,包括这个权限, 然后给一个用户分配角色. security-edit: 该许可允许编辑安全配置,这意味着任何更新的操作修改security.json 通过api将被允许. securi

Solr学习总结 Solr的安装与配置

接着前一篇,这里总结下Solr的安装与配置 1.准备 1.安装Java8 和 Tomcat9 ,java和tomcat 的安装这里不再重复.需要注意的是这两个的版本兼容问题.貌似java8 不支持,tomcat7 以下版本. 2.下载 solr安装包,目前的最新版本是  5.3.1 下载地址:http://www.apache.org/dyn/closer.lua/lucene/solr/5.3.1 2.安装 1.  将 solr 压缩包解压,并将solr-5.3.1\server\solr-w

pycharm导入新的包

步骤:pycharm——file——settings——project interpreter——‘+’号,导入新的包 网址:https://mo.mbd.baidu.com/5sjol7n?f=cp 此外,还可在anaconda cloud 官网上下载所需要的包.网址:https://anaconda.org/.例如,plantcv软件. 在plantcv中替换新的包,例如learn包可以在 这两个文件目录下进行替换(具体是哪个不清楚,两个都替换也行的). 原文地址:https://www.c

SpringBoot整合log4j2导入新的依赖出现jar冲突解决

1.问题复现: 之前在SpringBoot中配置整合了log4j2,今天在pom文件中,导入新的依赖(依赖如下)之后, <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.7</version> </dependency> 重启SpringBoot项目时,出

solr 导入不相关的表

主键重复,发生覆盖 在导入不相关的表时,如果主键重复了,会导致doc 覆盖,因此需要为doc 指定一个不重复的主键. 目前使用的方法是在导入时使用mysql 的uuid() 方法生成一个uuid 字段,然后在solrconfig 中指定主键为uuid的字段. 查询多个表 这样又出现了一个新的问题,查询的时候如何查询特定的表,目前的想法是在导入的时候为每个entity 增加一个字段作为区分,使用solr 进行查询的时候带上这个条件. 后记: 在网上查了一下,还可以使用多个core 的方式,在查询的

solr导入数据库数据-tinyint数据转boolean

solr在导入mysql数据库数据时,遇到一个问题:数据类型为tinyint的数据对应不到solr中的数据类型,因此就需要将tinyint转一下. 修改db-data-config.xml文件,如下: 1 <dataSource type=”JdbcDataSource” driver=”com.mysql.jdbc.Driver” user=”dbuser” password=”dbpassword” batchSize=”-1″ 2 url=”jdbc:mysql://db_host/dat

Solr导入数据库数据

接Solr-4.10.2与Tomcat整合.1.在solrconfig.xml中添加数据导入节点,solrconfig.xml路径为D:\solr\data\solr\collection1\conf\solrconfig.xml.    <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">        <l