coreseek+php之sphinx扩展安装+php调用示例

发布时间:2017-07-04 14:02:20编辑:丝画阁阅读(391)

sphinx与mysql的配置

创建sphinx统计表,在coreseek_test库中执行。
[sql
  1. CREATE TABLE sph_counter
  2. (
  3. counter_id INTEGER PRIMARY KEY NOT NULL,
  4. max_doc_id INTEGER NOT NULL
  5. );
创建配置sphinx与mysql的配置文件
[plain
  1. # vi /usr/local/coreseek/etc/csft_mysql.conf
[plain]
  1. #MySQL数据源配置,详情请查看:http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-reference

  2. #源定义
  3. source main
  4. {
  5. type                    = mysql

  6. sql_host                = localhost
  7. sql_user                = root
  8. sql_pass                = 123456
  9. sql_db                  = coreseek_test
  10. sql_port                = 3306
  11. sql_query_pre           = SET NAMES utf8
  12. sql_query_pre           = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;
  13. sql_query               = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) #sql_query第一列id需为整数
  14. #title、content作为字符串/文本字段,被全文索引 (注:执行报错的话把下面的几行注释掉)
  15. sql_attr_uint            = id                        #从SQL读取到的值必须为整数
  16. sql_attr_uint            = from_id                #从SQL读取到的值必须为整数,不支持全文检索
  17. sql_attr_uint            = link_id                #从SQL读取到的值必须为整数,不支持全文检索
  18. sql_attr_uint            = add_time                #从SQL读取到的值必须为整数,不支持全文检索
  19. sql_field_string         = link_url                 #字符串字段(可全文搜索,可返回原始文本信息)
  20. sql_field_string         = company_name          #字符串字段(可全文搜索,可返回原始文本信息)
  21. sql_field_string         = type_name             #字符串字段(可全文搜索,可返回原始文本信息)
  22. sql_field_string         = trade_name             #字符串字段(可全文搜索,可返回原始文本信息)
  23. sql_field_string         = email                 #字符串字段(可全文搜索,可返回原始文本信息)
  24. sql_field_string         = description             #字符串字段(可全文搜索,可返回原始文本信息)

  25. sql_query_info_pre       = SET NAMES utf8         #命令行查询时,设置正确的字符集
  26. sql_query_info           = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time  FROM hr_spider_company  WHERE id=$id                     #命令行查询时,从数据库读取原始数据信息
  27. }

  28. source delta : main
  29. {
  30. sql_query_pre           = SET NAMES utf8
  31. sql_query               = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
  32. sql_query_post_index    = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company
  33. }



  34. #index定义
  35. index main
  36. {
  37. source                = main  #对应的source名称
  38. path                  = /usr/local/coreseek/var/data/mysql  #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
  39. docinfo               = extern
  40. mlock                 = 0
  41. morphology            = none
  42. min_word_len          = 1
  43. html_strip            = 0

  44. #中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/
  45. charset_dictpath     = /usr/local/mmseg3/etc/          #BSD、Linux环境下设置,/符号结尾
  46. charset_type        = zh_cn.utf-8
  47. }

  48. index delta : main
  49. {
  50. source          = delta
  51. path            = /usr/local/coreseek/var/data/delta
  52. }


  53. #全局index定义
  54. indexer
  55. {
  56. mem_limit            = 128M
  57. }

  58. #searchd服务定义
  59. searchd
  60. {
  61. listen              = 9312
  62. read_timeout        = 5
  63. max_children        = 30
  64. max_matches         = 1000
  65. seamless_rotate     = 0
  66. preopen_indexes     = 0
  67. unlink_old          = 1
  68. pid_file     = /usr/local/coreseek/var/log/searchd_mysql.pid  #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
  69. log          = /usr/local/coreseek/var/log/searchd_mysql.log  #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
  70. query_log    = /usr/local/coreseek/var/log/query_mysql.log    #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
  71. binlog_path  =                                                #关闭binlog日志
  72. }
我的测试表名为hr_spider_company,你只需要根据实际需求更改为自己的表名即可。

调用命令列表:

启动后台服务(必须开启)

[plain]
  1. # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf

执行索引(查询、测试前必须执行一次)

[plain]
  1. /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

执行增量索引

[plain]
  1. /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate

合并索引

[plain]
  1. /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0

(为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0)


后台服务测试

[plain]
  1. # /usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf  aaa

关闭后台服务

[plain]
  1. # /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop
自动化命令:
[plain]
  1. crontab -e
[plain]
  1. */1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate
  2. */5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0
  3. 30 1 * * *  /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate
以下任务计划的意思是:每隔一分钟执行一遍增量索引,每五分钟执行一遍合并索引,每天1:30执行整体索引。

Sphinx扩展安装安装

Coreseek官方教程中建议php使用直接include一个php文件进行操作,事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx!)已经进入了php的官方函数库,而且效率的提升不是一点点!但php模块依赖于libsphinxclient包。

[第一步] 安装依赖libsphinxclient

[plain]
  1. # cd /var/install/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/
  2. # ./configure  --prefix=/usr/local/sphinxclient

  3. configure: creating ./config.status
  4. config.status: creating Makefile
  5. config.status: error: cannot find input file: Makefile.in   #报错configure失败

  6. //处理configure报错
  7. 编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误,然后运行下列指令再次编译就能通过了:
  8. # aclocal
  9. # libtoolize --force
  10. # automake --add-missing
  11. # autoconf
  12. # autoheader
  13. # make clean

  14. //从新configure编译
  15. # ./configure=====>./configure  --prefix=/usr/local/sphinxclient

  16. # make && make install

[第二步] 安装sphinx的PHP扩展

[plain]
  1. http://pecl.php.net/package/sphinx
  2. # wget http://pecl.php.net/get/sphinx-1.3.0.tgz
  3. # tar zxvf sphinx-1.3.0.tgz
  4. # cd sphinx-1.3.0

  5. # phpize======================>根据自己PHP安装文件来确定,比如我的安装地址是 /usr/local/php/bin/phpize

  6. # ./configure --with-php-config=/usr/bin/php-config --with-sphinx=/usr/local/sphinxclient
  7. 我自己执行的是 ./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinxclient

  8. # make && make install
  9. # cd /etc/php.d/
  10. # cp gd.ini  sphinx.ini
  11. # vi sphinx.ini

  12. extension=sphinx.so

  13. # service php-fpm restart
打开phpinfo看一下是否已经支持了sphinx模块。

php调用sphinx示例:

[php]
  1. <?php    
  2.     $s = new SphinxClient;    
  3.     $s->setServer("127.0.0.1", 9312);    
  4.     
  5.     $s->setMatchMode(SPH_MATCH_PHRASE);    
  6.     $s->setMaxQueryTime(30);    
  7.     $res = $s->query("宝马",'main'); #[宝马]关键字,[main]数据源source    
  8.     $err = $s->GetLastError();    
  9.     var_dump(array_keys($res['matches']));    
  10.     echo "<br>"."通过获取的ID来读取数据库中的值即可。"."<br>";    
  11.         
  12.     echo '<pre>';    
  13.     var_dump($res);    
  14.     var_dump($err);    
  15.     echo '</pre>';    
调用示例二:支持分页
[php]
  1. <?php    
  2.     header("Content-type: text/html; charset=utf-8");    
  3.     require("./sphinxapi.php");    
  4.     $s = new SphinxClient;    
  5.     $s->setServer("192.168.252.132", 9312);    
  6.         
  7.     //SPH_MATCH_ALL, 匹配所有查询词(默认模式); SPH_MATCH_ANY, 匹配查询词中的任意一个; SPH_MATCH_EXTENDED2, 支持特殊运算符查询    
  8.     $s->setMatchMode(SPH_MATCH_ALL);    
  9.     $s->setMaxQueryTime(30);                             //设置最大搜索时间    
  10.     $s->SetArrayResult(false);                           //是否将Matches的key用ID代替    
  11.     $s->SetSelect ( "*" );                               //设置返回信息的内容,等同于SQL    
  12.     $s->SetRankingMode(SPH_RANK_BM25);                   //设置评分模式,SPH_RANK_BM25可能使包含多个词的查询的结果质量下降。     
  13.     //$s->SetSortMode(SPH_SORT_EXTENDED);                //发现增加此参数会使结果不准确    
  14.     //$s->SetSortMode(SPH_SORT_EXTENDED,"from_id asc,id desc");  //设置匹配项的排序模式, SPH_SORT_EXTENDED按一种类似SQL的方式将列组合起来,升序或降序排列。    
  15.     $weights = array ('company_name' => 20);    
  16.     $s->SetFieldWeights($weights);                        //设置字段权重    
  17.     $s->SetLimits ( 0, 30, 1000, 0 );      //设置结果集偏移量  SetLimits (便宜量,匹配项数目,查询的结果集数默认1000,阀值达到后停止)    
  18.     //$s->SetFilter ( $attribute, $values, $exclude=false );     //设置属性过滤    
  19.     //$s->SetGroupBy ( $attribute, $func, $groupsort="@group desc" );    //设置分组的属性    
  20.     $res = $s->query('@* "汽车"','main','--single-0-query--'); #[宝马]关键字,[news]数据源source    
  21.         
  22.         
  23.     //代码高亮    
  24.     $tags = array();    
  25.     $tags_name = array();    
  26.     foreach($res['matches'as $key=>$value){    
  27.         $tags[] = $value['attrs'];    
  28.         $company_name[] = $value['attrs']['company_name'];    
  29.         $description[] = $value['attrs']['description'];    
  30.     }    
  31.     $company_name = $s->BuildExcerpts ($company_name'main''汽车'$opts=array() );     //执行高亮,这里索引名字千万不能用*    
  32.     $description = $s->BuildExcerpts ($description'main''汽车'$opts=array() );       //执行高亮,这里索引名字千万不能用*    
  33.     foreach($tags as $k=>$v)    
  34.     {    
  35.         $tags[$k]['company_name'] = $company_name[$k];  //高亮后覆盖    
  36.         $tags[$k]['description'] = $description[$k];    //高亮后覆盖    
  37.     }    
  38.         
  39.     // 高亮后覆盖    
  40.     $i = 0;    
  41.     foreach($res['matches'as $key=>$value){    
  42.         $res['matches'][$key] = $tags[$i];    
  43.         $i++;    
  44.     }    
  45.         
  46.     $err = $s->GetLastError();    
  47.         
  48.     echo '<pre>';    
  49.     var_export($res);    
  50.     var_export($err);    
  51.     echo '</pre>';    

******************************************************************************************************************

错误:FATAL: failedto lock pid file '/home/zhangjie_z.pt/local/sphinx/var/log/searchd.pid':Resource temporarily unavailable (searchd already running?)

意思就是你已经打开了一个search进程,你需要找到相关进程号ps -e|grep searchd,然后kill PID杀死之前的进程,再启动新进程)


启动 searchd 服务时提示如下错误:
index 'test1': search error: failed to open /var/lib/sphinx/test1.sph: sphinx 错误解决 index 'test1': search error: failed to open /var/lib/sphinx/test.sph:No such file or directory; NOT SERVING
这个错误可能是没有建立好索引导致的,所以 indexer --all 很重要

关键字