win10 配置pylucene

参考文章

http://lxsay.com/archives/269

Windows 10 64 Bit 编译安装 PyLucene 6.2, 6.4 或 6.5

POSTED ON 2017-02-16 BY CHICCS

update 2017.07: 添加了对 Python 3 的支持

这可能是互联网上第一篇详细介绍 Windows 下安装新版本 Pylucene 的文章。PyLucene 4 以下原本都有提供 windows 下的安装包,但是新版本没有了。

网上那些说 Pylucene 在 Windows 系统上只能装 32 位版本的文章,纯属以讹传讹。

本文允许带修改的转载,但转载时请注明原文出处: lxsay.com

本文也适用于 32 位的 Windows 系统,只要把安装的软件都改成 32 位的版本就可以了

前提条件:

  1. 安装 python ( 本文以 Python 2.7.13 为例,Python 3 也可以 ) 环境(推荐 Anaconda,自带 gensim, numpy, scipy 等在 Windows 下比较难安装的库).
  2. 安装 JDK 1.8 ( 64 位版本) 并配置环境变量 (推荐按照这篇文章操作:http://www.cnblogs.com/shinge/p/5500002.html),并且配置JRE的环境变量(将 JAVA_HOME/jre/bin/server 这个路径也加进 path 环境变量)
  3. 安装 VC for Python 2.7 ( www.microsoft.com/en-hk/download/details.aspx?id=44266 )。如果是 Python 3,安装 Visual C++ 2015 Build Tools (http://landinghub.visualstudio.com/visual-cpp-build-tools)

步骤1.   安装 Apache Ant 并配置环境变量(在 path 环境变量中添加 Ant 安装主目录下的 bin 目录路径,和后面配置的 ant 可执行文件路径不一样)

步骤2.  安装 cygwin 64 bit (用于在 windows 系统中执行 linux 的命令),安装时在选择 packages 的窗口将 “Devel” 项由 “Default” 改为 “Installed”。 并且配置 cygwin 64 的环境变量(在 path 环境变量中添加 cygwin 64 安装主目录下的 bin 目录路径),重启电脑使之生效

步骤3.  下载并解压 pylucene 的 源代码 (一般解压出来的文件夹叫作 pylucene-6.4.1 之类)

步骤4.   进入 pylucene 安装文件夹下的 JCC 文件夹,修改 setup.py文件, 在 CFLAGS 配置这里,在 ‘win32‘ 后面添加 "/bigobj" 这个参数,如下面所示

CFLAGS = {
‘darwin‘: [‘-fno-strict-aliasing‘, ‘-Wno-write-strings‘,
‘-mmacosx-version-min=10.5‘],
‘ipod‘: [‘-Wno-write-strings‘],
‘linux2‘: [‘-fno-strict-aliasing‘, ‘-Wno-write-strings‘],
‘sunos5‘: [‘-features=iddollar‘,
‘-erroff=badargtypel2w,wbadinitl,wvarhidemem‘],
‘win32‘: ["/EHsc", "/D_CRT_SECURE_NO_WARNINGS","/bigobj"], # MSVC 9 (2008)
‘mingw32‘: [‘-fno-strict-aliasing‘, ‘-Wno-write-strings‘],
‘freebsd7‘: [‘-fno-strict-aliasing‘, ‘-Wno-write-strings‘],
}

如果不添加 "/bigobj" 参数, 在编译 pylucene 时会提示文件过大,编译器无法编译

update: 在 pylucene 6.5 中,这个问题已经被解决,不需要添加此参数

步骤5.   在命令行下进入 jcc 文件夹,输入 python setup.py build ,如果没有错误信息,继续输入 python setup.py install 安装 JCC 。重启电脑

步骤6.    进入 pylucene-6.2.0 文件夹(根据要安装的版本而定,比如 pylucene-6.4.1 之类),修改 Makefile文件

首先注释掉(通过在每行前面添加‘#‘符号) 这一段默认配置

# Mac OS X 10.12 (64-bit Python 2.7, Java 1.8)
PREFIX_PYTHON=/Users/vajda/apache/pylucene/_install
ANT=/Users/vajda/tmp/apache-ant-1.9.3/bin/ant
PYTHON=$(PREFIX_PYTHON)/bin/python
JCC=$(PYTHON) -m jcc.__main__ --shared --arch x86_64
NUM_FILES=8

然后插入

PREFIX_PYTHON=D:/Progra~2/Anaconda2
ANT=D:/apache-ant-1.9.7/bin/ant
JAVA_HOME=C:/Progra~1/Java/jdk1.8.0_101
PYTHON=$(PREFIX_PYTHON)/python.exe
#JCC=$(PYTHON) -m jcc --shared --find-jvm-dll
JCC=$(PYTHON) -m jcc --shared
NUM_FILES=8

update: 在 pylucene 6.5 中 JCC 项不再接受 shared 参数,因此应该改为 JCC=$(PYTHON) -m jcc, 否则安装时会出错

其中 PREFIX_PYTHON 是 python 的安装主目录,如果你创建了一个新的 Anaconda 环境并在该环境下编译,请将 PREFIX_PYTHON 换成该环境的根目录 (一般是 Anaconda2/envs/环境名)

ANT 是 ant 的二进制可执行文件的路径(注意不是安装目录而是可执行文件路径)

NUM_FILES 参数用于指定中间文件的分割数, 使得编译器可以处理大的文件,但是如果修改为其他数值可能会引起错误。 因此最好的办法还是在前一步指定 vc的参数 "/bigobj"

另外需要注意的是,Makefile 不接受带有空格的路径,因此如果路径带有空格的话请用命令行使用的缩写路径(又叫做 dos path, 比如上面这段就采用了这种写法)

步骤7.   运行 make 进行编译(注意:如果之前没有安装并配置 cygwin64 的话,这一步会无法进行下去)

步骤8.   编译完成后运行 make test 进行测试,由于项目的一些 bug,有几个检测 PyLucene 异常抛出的测试不会通过,但并无大碍。

步骤9.   运行 make install 进行安装

常见问题:

1. 编译安装 JCC 时无法使用 MSVC 编译,python 总是自动用 gcc 进行编译:要改成用 visual studio c++ 编译的话,需要编辑 python安装主目录\Lib\distutils下的distutils.cfg文件,将文件内容修改为下面所示

[build]
compiler=msvc

[build_ext]
compiler=msvc

其实本质上就是修改 setuptools 的配置文件

第二种办法是运行 setup.py 文件安装时添加参数变为  python setup.py build --compiler=msvc   但是此方法在接下来编译安装 pylucene 时会失效,因为 make 无法指定 python 使用的 C/C++ 编译器

2. make test 给出 error 123:     linux 下出错的原因在于 Lucene 的测试代码使用了旧版 python 的异常。将 test_Pylucene.py 中的 WindowsError 改为 OSError 就可以。  Windows 下出错的原因也是如此,但是涉及的文件比较多,改起来比较麻烦,所以直接忽略

3.  make 时提示 from jcc import _jcc 找不到 dll:原因是找不到 jvm.dll,将包含 jvm.dll 的 JRE 目录路径加入 path 环境变量即可(如JRE\bin\server)。如果在编译安装 JCC 这一步之前没有设定好 JDK 的系统变量,也会出现这类错误。 建议设定环境变量后重启电脑一次。如果设定环境变量后仍出现这样的错误,可以修改 JCC 目录下的 setup.py 文件,将 ‘JAVAHOME‘ 修改为 JDK 的实际目录路径

4. 用 pylucene 6.2 和 6.4 建立的索引可以互相兼容 , 但 pylucene 4 建立的索引不能在 6.2 以上版本使用(需要使用 IndexUpdater 包处理)。程序代码也是,因为很多函数和定义在新版本中被移除了

遇到的问题有

在C:\Python27\Lib\site-packages\JCC-3.0-py2.7-win-amd64.egg\jcc\windows.py中

的add_jvm_dll_directory_to_path

找不到 jvm.dll

解决方法 :

将dll_path写死进去,

def add_jvm_dll_directory_to_path():

path = os.environ[‘Path‘].split(os.pathsep)
dll_path = get_jvm_dll_directory()
dll_path=‘D:\programs\java\jdk1.8.0\jre\bin\server\jvm.dll‘
if dll_path is not None:
path.append(dll_path)
os.environ[‘Path‘] = os.pathsep.join(path)
return True

raise ValueError, "jvm.dll could not be found"

如上

遇到的另一个问题是

java.lang.ExceptionInInitializerError
Caused by: java.lang.RuntimeException: WARNING: Can not find lexical dictionary directory! This will cause unpredictable exceptions in your application! Please refer to the manual to download the dictionaries.
at org.apache.lucene.analysis.cn.smart.AnalyzerProfile.init(AnalyzerProfile.java:73)

解决方法参考:

http://blog.csdn.net/dsbatigol/article/details/14448151

原因是,在添加smartcn那个分词器时,相应配置没弄好

在Pylucene根目录下进入makefile,

  1. 找到这么一行

    #JARS+=$(SMARTCN_JAR)            # smart chinese analyzer
    

    删掉这个#

  2. 找到
    --exclude org.apache.lucene.sandbox.queries.regex.JakartaRegexpCapabilities 

    在附近加入一句:

    --exclude org.apache.lucene.analysis.cn.smart.AnalyzerProfile

重新make和make install覆盖安装,搞定!

总结就是,碰到问题,要从错误分析,

时间: 2024-10-10 03:00:05

win10 配置pylucene的相关文章

Win10配置ADB工具教程

1.在该网站下载adb工具 http://pcedu.pconline.com.cn/748/7481463.html 2. Win10怎么配置ADB环境?Win10怎么安装ADB工具?这想必是很多安卓玩家都关心的问题.特别是Nexus设备的用户,大量的刷机.玩机操作都需要借助ADB和Fastboot命令来实现.Win10要如何配置ADB和Fastboot呢?今天就让小编来分享一些方法吧. ?Win10配置ADB教程 首先,我们需要正确安装ADB/Fastboot驱动.一般来说,Win10联网的

专治编译器编辑器vscode中文乱码输出 win10 配置系统默认utf-8编码

VS Code输出会出现乱码,很多人都遇到过.这是因为VS Code内部用的是utf-8编码,cmd/Powershell是gbk编码.直接编译,会把“你好”输出成“浣犲ソ”.如果把cmd的活动代码页改成65001,会出现汉字只能显示一半的问题,而且怎么修改成UTF8还是个问题 Windows系统默认字符编码为gbk编码,开发项目编码一般为UTF-8,在我们执行程序及进行程序编码过程中编码问题时常困扰着我们,如果更改系统默认编码为UTF-8后则可以解决控制台展示乱码等问题,便于应用的开发调试.w

win10配置java开发环境

目录 Win10配置Java开发环境 安装Java(JDK) 下载JDK 安装 配置环境变量 测试环境 安装IDEA 下载IDEA 安装 激活 方法一 方法二 安装eclipse 下载eclipse 下载安装 eclipse汉化 eclipse设置 Win10配置Java开发环境 安装Java(JDK) 下载JDK Oracle官网下载地址 选择JavaSE > Downloads 目前使用最多的是Java8,也就是Java SE 8u221,点击JDK下面的Download 选中Accept

win7&win10 配置wlan热点

win7 & win10 系统自带wlan功能,配置方法如下: 命令行输入: 1. netsh wlan set hostednetwork mode = allow ssid = "Haha" key=12345678 2. netsh wlan start hostednetwork netsh wlan show hostednetwork

在win10配置环境变量

从win7升级成win10后找不到在哪配置环境变量...手动再见ヾ( ̄▽ ̄)Bye~,废话不多说,下面开始图文模式: 1)打开文件资源管理器,点左上角的"计算机" 2)点“系统属性” 3)点“高级系统设置” 4)环境变量,ok啦~ 完成~感觉自己棒棒哒~^^

java win10 配置jdk的环境变量,project sdk is not defined报错

系统升级后原先设置的环境变量需要重新配置,在win10里面配置环境变量的时候碰到了一些麻烦,第一次配置环境变量的时候使用传统的配置方式设置了 CLASSPATH为.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; JAVA_HOME为C:\Program Files\Java\jdk1.8.0_60 PATH为%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin 配置完成后yunx java -version 提示找不到命令

tomcat Win10 配置环境变量详解

在Win10系统总该如何配偶之tomcat 环境变量?今天win10之家给大家带来了关于win10系统中配置tomcat环境的操作方法.在配置之前我们需要做以下几点: 步骤:安装和配置好了Java 的jdk (单机版) 1.下载Tomcat,解压到短一些路径的英文文件夹中,如:D:\Program Files\Tomcat : 2.在开始按钮单击鼠标右键,选择[系统]如图:www.w10zj.com 3.接着点击"高级系统设置": 4.点击"高级"选项卡,在右下角点

win10配置JAVA和tomacat环境变量

一.配置JAVA_HOME 二.配置CATALINA_HOME (tomacat的环境变量) 三.配置PATH 四.命令行检验配置结果: 1.命令行输入java 2.命令行输入javac 3.命令行输入startup.bat 注:如果以上三个命令无报错表示配置成功

win10配置Tomcat

Tomcat下载地址: http://tomcat.apache.org/ windows可直接选择安装版本 打开安装目录下的Tomcatw.exe 点击启动 若启动失败,检查java 环境配置 若java环境配置正常,下载低版本tomcat 启动成功后,浏览器中输入http://localhost:8080,显示如下 打开conf/tomcat-users文件,配置账户信息 <role rolename="manager"/> <role rolename=&quo