Sphinx+MySQL高速全文检索安装记录(安装好的搜索引擎支持中文)

Web、Mail、Ftp、DNS、Proxy、VPN、Samba、LDAP 等基础网络服务
回复
xf22cn
帖子: 75
注册时间: 2007-08-01 12:35

Sphinx+MySQL高速全文检索安装记录(安装好的搜索引擎支持中文)

#1

帖子 xf22cn » 2010-01-01 0:55

论坛关站期间,某个朋友突然提起要安装 Sphinx FOR MySQL,以便对网站数据库进行管理。
当时就觉得有点难,因为Sphinx这东西对中文支持不好,还要安装第三方补丁,整合起来是个大麻烦。
为了方便大家试验,将软件附后。
经过几天的调试、安装,目前总算是弄好了,现在把心得和大家分享下:

开发环境:UBUNTU9.10 安装及源配置省略

一、编译依赖包安装

  apt-get install autoconf automake autotools-dev cpp curl gawk gcc lftp libc6-dev linux-libc-dev make libpcre3-dev libpcrecpp0 g++ libtool libncurses5-dev
  aptitude install libmysql++-dev libmysqlclient15-dev checkinstall
  apt-get install python python-dev
apt-get install patch

二、安装所需文件

所需文件列表
mmseg-0.7.3.tar.gz 中文分词
mysql-5.1.26-rc.tar.gz mysql-5.1.26源代码
sphinx-0.9.8-rc2.tar.gz sphinx-0.9.8-rc2源代码
fix-crash-in-excerpts.patch sphinx支持分词补丁
sphinx-0.98rc2.zhcn-support.patch sphinx支持分词补丁

三、开始安装
上述文件全部拷贝到/root文件夹下面
  1、 mmseg-0.7.3 安装
  先解压安装文件

cd /root
tar -zxvf mmseg-0.7.3.tar.gz
  cd mmseg-0.7.3/
  ./configure

make之前还要做一步:
sudo gedit src/css/UnigramCorpusReader.cpp
在这个文件的第一行加上:
#include <string.h>
保存后退出,然后

  make
  make install

  mmseg安装完毕

2、 安装MySQL 5.1.26-rc、Sphinx、SphinxSE存储引擎
  
前期准备工作:
先解压 mysql和sphinx源文件

cd /root
  tar zxvf mysql-5.1.26-rc.tar.gz
  tar zxvf sphinx-0.9.8-rc2.tar.gz

然后给sphinx打上补丁,这个是支持中文必须打的补丁

  cd sphinx-0.9.8-rc2/
patch -p1 < ../sphinx-0.98rc2.zhcn-support.patch
  patch -p1 < ../fix-crash-in-excerpts.patch

接着将sphinx下的mysqlse 文件夹下的数据拷贝到mysql-5.1.26-rc/storage/sphinx 下面(这样才能在编译mysql的时候把SphinxSE存储引擎编译进去)

  cp -rf mysqlse ../mysql-5.1.26-rc/storage/sphinx

  到/mysql-5.1.26-rc/storage/sphinx目录下确认文件是否已经拷贝成功

  cd /root/mysql-5.1.26-rc/storage/sphinx
ls -al

确保该文件夹下面的内容与/root/sphinx-0.9.8-rc2/mysqlse文件夹内容一致。

安装MYSQL:
下面我们来编译安装mysql-5.1.26-rc

  cd /root/mysql-5.1.26-rc

以下这步至关重要,请勿遗漏

  sh BUILD/autorun.sh

  使用configure命令确认安装

  ./configure --with-plugins=sphinx,innobase,heap --prefix=/usr/local/mysql --enable-assembler --with-charset=utf8 --with-extra-charsets=all --enable-thread-safe-client --with-big-tables --with-readline --with-ssl --with-embedded-server --enable-local-infile

  确认是否提示可使用make编译,如果是。
  执行

  make

  这步执行时间比较长,请耐心等待。
  编译成功后.再执行安装命令

  make install

  这样mysql就已经安装完毕了下面我们来配置和启动mysql
添加mysql用户组和用户

  groupadd mysql
  useradd mysql -g mysql

  给mysql所在目录添加mysql用户权限

  chown -R mysql:mysql /usr/local/mysql

  将my-medium.cnf 拷贝到安装根目录

  cp /usr/local/mysql/share/mysql/my-medium.cnf /usr/local/mysql/my.cnf

  给my.cnf文件添加mysql用户权限

  chown mysql:mysql /usr/local/mysql/my.cnf

然后修改my.cnf配置

gedit /usr/local/mysql/my.cnf
  
在skip-locking上面插入(配置可以自定义)

user = mysql
pid-file = /usr/local/mysql/mysql.pid
socket = /tmp/mysql.sock
port = 3306
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
tmpdir = /tmp

为了能在ubuntu系统下方便的使用mysql, 我们还需要安装 mysql-client-5.0 (客户端)

apt-get install mysql-client-5.0

  初始化数据库

  /usr/local/mysql/bin/mysql_install_db --defaults-file=/usr/local/mysql/my.cnf --user=mysql

  执行结果

  Installing MySQL system tables...

  080917 14:36:16 [Warning] Storage engine 'SPHINX' has conflicting typecode. Assigning value 42.

  OK

  Filling help tables...

  080917 14:36:16 [Warning] Storage engine 'SPHINX' has conflicting typecode. Assigning value 42.

  OK

  ………………..

  以上提示表示执行成功
此时你会发现/user/local/mysql 目录下多了一个data文件夹,这文件夹里存放的是mysql数据内容

我们需要给该目录赋予用户权限和写的权限

chown mysql:mysql -R /usr/local/mysql/data/
chmod -R o+w /usr/local/mysql/data/

将mysql.server 拷贝成 /etc/init.d/mysqld 文件

cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld

并给mysqld添加执行权利

chmod 700 /etc/init.d/mysqld

在正式启动MYSQL之前,执行以下命令:

cp /usr/local/mysql/my.cnf /etc/mysql/

通过执行

/etc/init.d/mysqld start 启动mysql

启动后输入

mysql

在Mysql>提示符后面输入

show engines;

如果输出的信息中包含:

| SPHINX | YES | Sphinx storage engine 0.9.8

表示SPHINX已经被编译进了MYSQL中。

安装sphinx:
接着我们来安装sphinx-0.9.8-rc2

cd /root/sphinx-0.9.8-rc2/

设置环境变量:

CPPFLAGS=-I/usr/include/python2.4
LDFLAGS=-lpython2.4

开始生成配置文件之前,做一件事情,我靠,还真麻烦:

gedit /usr/local/include/mmseg/freelist.h

在这个文件的最顶端,添加一句

#include <string.h>

然后开始

./configure --prefix=/usr/local/sphinx --with-python --with-mysql --with-mmseg-includes=/usr/local/include/mmseg/ --with-mmseg-libs=/usr/local/lib/
make
make install
cd ../

安装完成后

将sphinx.conf.dist拷贝成sphinx.conf文件

cp /usr/local/sphinx/etc/sphinx.conf.dist /usr/local/sphinx/etc/sphinx.conf

修改sphinx.conf中的配置如下:(配置可以自定义)

gedit /usr/local/sphinx/etc/sphinx.conf

sql_host = localhost
sql_user = root
sql_pass =
sql_db = test
sql_port = 3306
sql_sock = /tmp/mysql.sock

保存后执行:

ln -s /usr/local/mysql/lib/mysql/libmysqlclient.so.16 /usr/lib/libmysqlclient.so.16

给libmysqlclient.so.16 建立软链接

加载索引

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf --all

开始测试之前,先拷贝测试数据库文件,将sphinx.conf自带的example.sql脚本倒入的mysql中

mysql < /usr/local/sphinx/etc/example.sql

这样我们就创建了一个test库,并建立了documents测试表和数据

再通过

/usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf

开启索引监听

到此安装部分基本结束。
回复