Sphinx 配置文件的说明

发布时间:2017-07-04 13:58:01编辑:丝画阁阅读(1044)

  1. ## 数据源src1
  2. source src1
  3. {
  4. ## 说明数据源的类型。数据源的类型可以是:mysql,pgsql,mssql,xmlpipe,odbc,python
  5. ## 有人会奇怪,python是一种语言怎么可以成为数据源呢?
  6. ## python作为一种语言,可以操作任意其他的数据来源来获取数据,更多数据请看:(http://www.coreseek.cn/products-install/python/)
  7. type            = mysql

  8. ## 下面是sql数据库特有的端口,用户名,密码,数据库名等。
  9. sql_host        = localhost
  10. sql_user        = test
  11. sql_pass        =
  12. sql_db          = test
  13. sql_port        = 3306

  14. ## 如果是使用unix sock连接可以使用这个。
  15. # sql_sock      = /tmp/mysql.sock

  16. ## indexer和mysql之间的交互,需要考虑到效率和安全性。
  17. ## 比如考虑到效率,他们两者之间的交互需要使用压缩协议;考虑到安全,他们两者之间的传输需要使用ssl
  18. ## 那么这个参数就代表这个意思,0/32/2048/32768  无/使用压缩协议/握手后切换到ssl/Mysql 4.1版本身份认证。
  19. # mysql_connect_flags   = 32

  20. ## 当mysql_connect_flags设置为2048(ssl)的时候,下面几个就代表ssl连接所需要使用的几个参数。
  21. # mysql_ssl_cert        = /etc/ssl/client-cert.pem
  22. # mysql_ssl_key     = /etc/ssl/client-key.pem
  23. # mysql_ssl_ca      = /etc/ssl/cacert.pem

  24. ## mssql特有,是否使用windows登陆
  25. # mssql_winauth     = 1

  26. ## mssql特有,是使用unicode还是单字节数据。
  27. # mssql_unicode     = 1 # request Unicode data from server

  28. ## odbc的dsn串
  29. # odbc_dsn      = DBQ=C:\data;DefaultDir=C:\data;Driver={Microsoft Text Driver (*.txt; *.csv)};

  30. ## sql某一列的缓冲大小,一般是针对字符串来说的。
  31. ## 为什么要有这么一种缓冲呢?
  32. ## 有的字符串,虽然长度很长,但是实际上并没有使用那么长的字符,所以在Sphinx并不会收录所有的字符,而是给每个属性一个缓存作为长度限制。
  33. ## 默认情况下非字符类型的属性是1KB,字符类型的属性是1MB。
  34. ## 而如果想要配置这个buffer的话,就可以在这里进行配置了。
  35. # sql_column_buffers    = content=12M, comments=1M

  36. ## indexer的sql执行前需要执行的操作。
  37. # sql_query_pre     = SET NAMES utf8

  38. ##对于MySQL数据源,在预查询中禁用查询缓冲(query cache)是有用的,因为索引查询一般并会频繁地重新运行,缓冲它们的结果是没有意义的
  39. # sql_query_pre     = SET SESSION query_cache_type=OFF

  40. ## indexer的sql执行语句
  41. sql_query       = \
  42. SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content \
  43. FROM documents

  44. ## 有的时候有多个表,我们想要查询的字段在其他表中。这个时候就需要对sql_query进行join操作。
  45. ## 而这个join操作可能非常慢,导致建立索引的时候特别慢,那么这个时候,就可以考虑在sphinx端进行join操作了。
  46. ## sql_joined_field是增加一个字段,这个字段是从其他表查询中查询出来的。
  47. ## 这里封号后面的查询语句是有要求的,如果是query,则返回id和查询字段,如果是payload-query,则返回id,查询字段和权重。
  48. ## 并且这里的后一个查询需要按照id进行升序排列。
  49. # sql_joined_field  = tags from query; SELECT docid, CONCAT('tag',tagid) FROM tags ORDER BY docid ASC
  50. # sql_joined_field  = wtags from payload-query; SELECT docid, tag, tagweight FROM tags ORDER BY docid ASC

  51. ## 外部文件字段,意思就是一个表中,有一个字段存的是外部文件地址,但是实际的字段内容在文件中。比如这个字段叫做content_file_path。
  52. ## 当indexer建立索引的时候,查到这个字段,就读取这个文件地址,然后加载,并进行分词和索引建立等操作。
  53. # sql_file_field        = content_file_path

  54. ## 当数据源数据太大的时候,一个sql语句查询下来往往很有可能锁表等操作。
  55. ## 那么我么就可以使用多次查询,那么这个多次查询就需要有个范围和步长,sql_query_range和sql_range_step就是做这个使用的。
  56. ## 获取最大和最小的id,然后根据步长来获取数据。比如下面的例子,如果有4500条数据,这个表建立索引的时候就会进行5次sql查询。
  57. ## 而5次sql查询每次的间隔时间是使用sql_ranged_rhrottle来进行设置的。单位是毫秒。
  58. # sql_query_range       = SELECT MIN(id),MAX(id) FROM documents
  59. # sql_range_step        = 1000
  60. # sql_ranged_throttle   = 0

  61. ## 下面都是些不同属性的数据了
  62. ## 先要了解属性的概念:属性是存在索引中的,它不进行全文索引,但是可以用于过滤和排序。

  63. ## uint无符号整型属性
  64. sql_attr_uint       = group_id

  65. ## bool属性
  66. # sql_attr_bool     = is_deleted

  67. ## 长整型属性
  68. # sql_attr_bigint       = my_bigint_id

  69. ## 时间戳属性,经常被用于做排序
  70. sql_attr_timestamp  = date_added

  71. ## 字符串排序属性。一般我们按照字符串排序的话,我们会将这个字符串存下来进入到索引中,然后在查询的时候比较索引中得字符大小进行排序。
  72. ## 但是这个时候索引就会很大,于是我们就想到了一个方法,我们在建立索引的时候,先将字符串值从数据库中取出,暂存,排序。
  73. ## 然后给排序后的数组分配一个序号,然后在建立索引的时候,就将这个序号存入到索引中去。这样在查询的时候也就能完成字符串排序的操作。
  74. ## 这,就是这个字段的意义。
  75. # sql_attr_str2ordinal  = author_name

  76. ## 浮点数属性,经常在查询地理经纬度的时候会用到。
  77. # sql_attr_float        = lat_radians
  78. # sql_attr_float        = long_radians

  79. ## 多值属性(MVA)
  80. ## 试想一下,有一个文章系统,每篇文章都有多个标签,这个文章就叫做多值属性。
  81. ## 我要对某个标签进行查询过滤,那么在建立查询的时候就应该把这个标签的值放入到索引中。
  82. ## 这个字段,sql_attr_multi就是用来做这个事情的。
  83. # sql_attr_multi        = uint tag from query; SELECT docid, tagid FROM tags
  84. # sql_attr_multi        = uint tag from ranged-query; \
  85. #   SELECT docid, tagid FROM tags WHERE id>=$start AND id<=$end; \
  86. #   SELECT MIN(docid), MAX(docid) FROM tags

  87. ## 字符串属性。
  88. # sql_attr_string       = stitle

  89. ## 文档词汇数记录属性。比如下面就是在索引建立的时候增加一个词汇数的字段
  90. # sql_attr_str2wordcount    = stitle

  91. ## 字符串字段,可全文搜索,可返回原始文本信息。
  92. # sql_field_string  = author

  93. ## 文档词汇数记录字段,可全文搜索,可返回原始信息
  94. # sql_field_str2wordcount   = title

  95. ## 取后查询,在sql_query执行后立即操作。
  96. ## 它和sql_query_post_index的区别就是执行时间不同
  97. ## sql_query_post是在sql_query执行后执行,而sql_query_post_index是在索引建立完成后才执行。
  98. ## 所以如果要记录最后索引执行时间,那么应该在sql_query_post_index中执行。
  99. # sql_query_post        =

  100. ## 参考sql_query_post的说明。
  101. # sql_query_post_index  = REPLACE INTO counters ( id, val ) \
  102. #   VALUES ( 'max_indexed_id', $maxid )

  103. ## 命令行获取信息查询。
  104. ## 什么意思呢?
  105. ## 我们进行索引一般只会返回主键id,而不会返回表中的所有字段。
  106. ## 但是在调试的时候,我们一般需要返回表中的字段,那这个时候,就需要使用sql_query_info。
  107. ## 同时这个字段只在控制台有效,在api中是无效的。
  108. sql_query_info      = SELECT * FROM documents WHERE id=$id

  109. ## 比如有两个索引,一个索引比较旧,一个索引比较新,那么旧索引中就会有数据是旧的。
  110. ## 当我要对两个索引进行搜索的时候,哪些数据要按照新的索引来进行查询呢。
  111. ## 这个时候就使用到了这个字段了。
  112. ## 这里的例子(http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-sql-query-killlist)给的非常清晰了。
  113. # sql_query_killlist    = SELECT id FROM documents WHERE edited>=@last_reindex

  114. ## 下面几个压缩解压的配置都是为了一个目的:让索引重建的时候不要影响数据库的性能表现。
  115. ## SQL数据源解压字段设置
  116. # unpack_zlib       = zlib_column
  117. ## MySQL数据源解压字段设置
  118. # unpack_mysqlcompress  = compressed_column
  119. # unpack_mysqlcompress  = compressed_column_2
  120. ## MySQL数据源解压缓冲区设置
  121. # unpack_mysqlcompress_maxsize  = 16M


  122. ## xmlpipe的数据源就是一个xml文档
  123. # type          = xmlpipe

  124. ## 读取数据源的命令
  125. # xmlpipe_command       = cat /home/yejianfeng/instance/coreseek/var/test.xml

  126. ## 字段
  127. # xmlpipe_field     = subject
  128. # xmlpipe_field     = content

  129. ## 属性
  130. # xmlpipe_attr_timestamp    = published
  131. # xmlpipe_attr_uint = author_id

  132. ## UTF-8修复设置
  133. ## 只适用xmlpipe2数据源,数据源中有可能有非utf-8的字符,这个时候解析就有可能出现问题
  134. ## 如果设置了这个字段,非utf-8序列就会全部被替换为空格。
  135. # xmlpipe_fixup_utf8    = 1
  136. }

  137. ## sphinx的source是有继承这么一种属性的,意思就是除了父source之外,这个source还有这个特性
  138. source src1throttled : src1
  139. {
  140. sql_ranged_throttle = 100
  141. }

  142. ## 索引test1
  143. index test1
  144. {
  145. ## 索引类型,包括有plain,distributed和rt。分别是普通索引/分布式索引/增量索引。默认是plain。
  146. # type          = plain

  147. ## 索引数据源
  148. source          = src1
  149. ## 索引文件存放路径
  150. path            = /home/yejianfeng/instance/coreseek/var/data/test1

  151. ## 文档信息的存储模式,包括有none,extern,inline。默认是extern。
  152. ## docinfo指的就是数据的所有属性(field)构成的一个集合。
  153. ## 首先文档id是存储在一个文件中的(spa)
  154. ## 当使用inline的时候,文档的属性和文件的id都是存放在spa中的,所以进行查询过滤的时候,不需要进行额外操作。
  155. ## 当使用extern的时候,文档的属性是存放在另外一个文件(spd)中的,但是当启动searchd的时候,会把这个文件加载到内存中。
  156. ## extern就意味着每次做查询过滤的时候,除了查找文档id之外,还需要去内存中根据属性进行过滤。
  157. ## 但是即使这样,extern由于文件大小小,效率也不低。所以不是有特殊要求,一般都是使用extern
  158. docinfo         = extern

  159. ## 缓冲内存锁定。
  160. ## searchd会讲spa和spi预读取到内存中。但是如果这部分内存数据长时间没有访问,则它会被交换到磁盘上。
  161. ## 设置了mlock就不会出现这个问题,这部分数据会一直存放在内存中的。
  162. mlock           = 0

  163. ## 词形处理器
  164. ## 词形处理是什么意思呢?比如在英语中,dogs是dog的复数,所以dog是dogs的词干,这两个实际上是同一个词。
  165. ## 所以英语的词形处理器会讲dogs当做dog来进行处理。
  166. morphology      = none

  167. ## 词形处理有的时候会有问题,比如将gps处理成gp,这个设置可以允许根据词的长度来决定是否要使用词形处理器。
  168. # min_stemming_len  = 1

  169. ## 词形处理后是否还要检索原词?
  170. # index_exact_words = 1

  171. ## 停止词,停止词是不被索引的词。
  172. # stopwords     = /home/yejianfeng/instance/coreseek/var/data/stopwords.txt

  173. ## 自定义词形字典
  174. # wordforms     = /home/yejianfeng/instance/coreseek/var/data/wordforms.txt

  175. ## 词汇特殊处理。
  176. ## 有的一些特殊词我们希望把它当成另外一个词来处理。比如,c++ => cplusplus来处理。
  177. # exceptions        = /home/yejianfeng/instance/coreseek/var/data/exceptions.txt

  178. ## 最小索引词长度,小于这个长度的词不会被索引。
  179. min_word_len        = 1

  180. ## 字符集编码类型,可以为sbcs,utf-8。对于Coreseek,还可以有zh_cn.utf-8,zh_ch.gbk,zh_ch.big5
  181. charset_type        = sbcs

  182. ## 字符表和大小写转换规则。对于Coreseek,这个字段无效。
  183. # 'sbcs' default value is
  184. # charset_table     = 0..9, A..Z->a..z, _, a..z, U+A8->U+B8, U+B8, U+C0..U+DF->U+E0..U+FF, U+E0..U+FF
  185. #
  186. # 'utf-8' default value is
  187. # charset_table     = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F

  188. ## 忽略字符表。在忽略字符表中的前后词会被连起来当做一个单独关键词处理。
  189. # ignore_chars      = U+00AD

  190. ## 是否启用通配符,默认为0,不启用
  191. # enable_star       = 1

  192. ## min_prefix_len,min_infix_len,prefix_fields,infix_fields都是在enable_star开启的时候才有效果。
  193. ## 最小前缀索引长度
  194. ## 为什么要有这个配置项呢?
  195. ## 首先这个是当启用通配符配置启用的前提下说的,前缀索引使得一个关键词产生了多个索引项,导致索引文件体积和搜索时间增加巨大。
  196. ## 那么我们就有必要限制下前缀索引的前缀长度,比如example,当前缀索引长度设置为5的时候,它只会分解为exampl,example了。
  197. # min_prefix_len        = 0
  198. ## 最小索引中缀长度。理解同上。
  199. # min_infix_len     = 0

  200. ## 前缀索引和中缀索引字段列表。并不是所有的字段都需要进行前缀和中缀索引。
  201. # prefix_fields     = filename
  202. # infix_fields      = url, domain

  203. ## 词汇展开
  204. ## 是否尽可能展开关键字的精确格式或者型号形式
  205. # expand_keywords       = 1

  206. ## N-Gram索引的分词技术
  207. ## N-Gram是指不按照词典,而是按照字长来分词,这个主要是针对非英文体系的一些语言来做的(中文、韩文、日文)
  208. ## 对coreseek来说,这两个配置项可以忽略。
  209. # ngram_len     = 1
  210. # ngram_chars       = U+3000..U+2FA1F

  211. ## 词组边界符列表和步长
  212. ## 哪些字符被看做分隔不同词组的边界。
  213. # phrase_boundary       = ., ?, !, U+2026 # horizontal ellipsis
  214. # phrase_boundary_step  = 100

  215. ## 混合字符列表
  216. # blend_chars       = +, &, U+23
  217. # blend_mode        = trim_tail, skip_pure

  218. ## html标记清理,是否从输出全文数据中去除HTML标记。
  219. html_strip      = 0

  220. ## HTML标记属性索引设置。
  221. # html_index_attrs  = img=alt,title; a=title;

  222. ## 需要清理的html元素
  223. # html_remove_elements  = style, script

  224. ## searchd是预先打开全部索引还是每次查询再打开索引。
  225. # preopen           = 1

  226. ## 字典文件是保持在磁盘上还是将他预先缓冲在内存中。
  227. # ondisk_dict       = 1

  228. ## 由于在索引建立的时候,需要建立临时文件和和副本,还有旧的索引
  229. ## 这个时候磁盘使用量会暴增,于是有个方法是临时文件重复利用
  230. ## 这个配置会极大减少建立索引时候的磁盘压力,代价是索引建立速度变慢。
  231. # inplace_enable        = 1
  232. # inplace_hit_gap       = 0 # preallocated hitlist gap size
  233. # inplace_docinfo_gap   = 0 # preallocated docinfo gap size
  234. # inplace_reloc_factor  = 0.1 # relocation buffer size within arena
  235. # inplace_write_factor  = 0.1 # write buffer size within arena

  236. ## 在经过过短的位置后增加位置值
  237. # overshort_step        = 1

  238. ## 在经过 停用词 处后增加位置值
  239. # stopword_step     = 1

  240. ## 位置忽略词汇列表
  241. # hitless_words     = all
  242. # hitless_words     = hitless.txt

  243. ## 是否检测并索引句子和段落边界
  244. # index_sp          = 1

  245. ## 字段内需要索引的HTML/XML区域的标签列表
  246. # index_zones       = title, h*, th
  247. }

  248. index test1stemmed : test1
  249. {
  250. path            = /home/yejianfeng/instance/coreseek/var/data/test1stemmed
  251. morphology      = stem_en
  252. }

  253. index dist1
  254. {
  255. type            = distributed

  256. local           = test1
  257. local           = test1stemmed

  258. ## 分布式索引(distributed index)中的远程代理和索引声明
  259. agent           = localhost:9313:remote1
  260. agent           = localhost:9314:remote2,remote3
  261. # agent         = /var/run/searchd.sock:remote4

  262. ## 分布式索引( distributed index)中声明远程黑洞代理
  263. # agent_blackhole       = testbox:9312:testindex1,testindex2

  264. ## 远程代理的连接超时时间
  265. agent_connect_timeout   = 1000

  266. ## 远程查询超时时间
  267. agent_query_timeout = 3000
  268. }

  269. index rt
  270. {
  271. type            = rt

  272. path            = /home/yejianfeng/instance/coreseek/var/data/rt

  273. ## RT索引内存限制
  274. # rt_mem_limit      = 512M

  275. ## 全文字段定义
  276. rt_field        = title
  277. rt_field        = content

  278. ## 无符号整数属性定义
  279. rt_attr_uint        = gid

  280. ## 各种属性定义
  281. # rt_attr_bigint        = guid
  282. # rt_attr_float     = gpa
  283. # rt_attr_timestamp = ts_added
  284. # rt_attr_string        = author
  285. }

  286. indexer
  287. {
  288. ## 建立索引的时候,索引内存限制
  289. mem_limit       = 32M

  290. ## 每秒最大I/O操作次数,用于限制I/O操作
  291. # max_iops      = 40

  292. ## 最大允许的I/O操作大小,以字节为单位,用于I/O节流
  293. # max_iosize        = 1048576

  294. ## 对于XMLLpipe2数据源允许的最大的字段大小,以字节为单位
  295. # max_xmlpipe2_field    = 4M

  296. ## 写缓冲区的大小,单位是字节
  297. # write_buffer      = 1M

  298. ## 文件字段可用的最大缓冲区大小,字节为单位
  299. # max_file_field_buffer = 32M
  300. }

  301. ## 搜索服务配置
  302. searchd
  303. {
  304. # listen            = 127.0.0.1
  305. # listen            = 192.168.0.1:9312
  306. # listen            = 9312
  307. # listen            = /var/run/searchd.sock

  308. ## 监听端口
  309. listen          = 9312
  310. listen          = 9306:mysql41

  311. ## 监听日志
  312. log         = /home/yejianfeng/instance/coreseek/var/log/searchd.log

  313. ## 查询日志
  314. query_log       = /home/yejianfeng/instance/coreseek/var/log/query.log

  315. ## 客户端读超时时间
  316. read_timeout        = 5

  317. ## 客户端持久连接超时时间,即客户端读一次以后,持久连接,然后再读一次。中间这个持久连接的时间。
  318. client_timeout      = 300

  319. ## 并行执行搜索的数目
  320. max_children        = 30

  321. ## 进程id文件
  322. pid_file        = /home/yejianfeng/instance/coreseek/var/log/searchd.pid

  323. ## 守护进程在内存中为每个索引所保持并返回给客户端的匹配数目的最大值
  324. max_matches     = 1000

  325. ## 无缝轮转。防止 searchd 轮换在需要预取大量数据的索引时停止响应
  326. ## 当进行索引轮换的时候,可能需要消耗大量的时间在轮换索引上。
  327. ## 但是启动了无缝轮转,就以消耗内存为代价减少轮转的时间
  328. seamless_rotate     = 1

  329. ## 索引预开启,是否强制重新打开所有索引文件
  330. preopen_indexes     = 1

  331. ## 索引轮换成功之后,是否删除以.old为扩展名的索引拷贝
  332. unlink_old      = 1

  333. ## 属性刷新周期
  334. ## 就是使用UpdateAttributes()更新的文档属性每隔多少时间写回到磁盘中。
  335. # attr_flush_period = 900

  336. ## 索引字典存储方式
  337. # ondisk_dict_default   = 1

  338. ## 用于多值属性MVA更新的存储空间的内存共享池大小
  339. mva_updates_pool    = 1M

  340. ## 网络通讯时允许的最大的包的大小
  341. max_packet_size     = 8M

  342. ## 崩溃日志文件
  343. # crash_log_path        = /home/yejianfeng/instance/coreseek/var/log/crash

  344. ## 每次查询允许设置的过滤器的最大个数
  345. max_filters     = 256

  346. ## 单个过滤器允许的值的最大个数
  347. max_filter_values   = 4096

  348. ## TCP监听待处理队列长度
  349. # listen_backlog        = 5

  350. ## 每个关键字的读缓冲区的大小
  351. # read_buffer       = 256K

  352. ## 无匹配时读操作的大小
  353. # read_unhinted     = 32K

  354. ## 每次批量查询的查询数限制
  355. max_batch_queries   = 32

  356. ## 每个查询的公共子树文档缓存大小
  357. # subtree_docs_cache    = 4M

  358. ## 每个查询的公共子树命中缓存大小
  359. # subtree_hits_cache    = 8M

  360. ## 多处理模式(MPM)。 可选项;可用值为none、fork、prefork,以及threads。 默认在Unix类系统为form,Windows系统为threads。
  361. workers         = threads # for RT to work

  362. ## 并发查询线程数
  363. # dist_threads      = 4

  364. ## 二进制日志路径
  365. # binlog_path       = # disable logging
  366. # binlog_path       = /home/yejianfeng/instance/coreseek/var/data # binlog.001 etc will be created there

  367. ## 二进制日志刷新
  368. # binlog_flush      = 2

  369. ## 二进制日志大小限制
  370. # binlog_max_log_size   = 256M

  371. ## 线程堆栈
  372. # thread_stack          = 128K

  373. ## 关键字展开限制
  374. # expansion_limit       = 1000

  375. ## RT索引刷新周期
  376. # rt_flush_period       = 900

  377. ## 查询日志格式
  378. ## 可选项,可用值为plain、sphinxql,默认为plain。
  379. # query_log_format      = sphinxql

  380. ## MySQL版本设置
  381. # mysql_version_string  = 5.0.37

  382. ## 插件目录
  383. # plugin_dir            = /usr/local/sphinx/lib

  384. ## 服务端默认字符集
  385. # collation_server      = utf8_general_ci
  386. ## 服务端libc字符集
  387. # collation_libc_locale = ru_RU.UTF-8

  388. ## 线程服务看守
  389. # watchdog              = 1
  390. ## 兼容模式
  391. # compat_sphinxql_magics    = 1
  392. }


参考:http://www.coreseek.cn/docs/coreseek_4.1-sphinx_2.0.1-beta.html#conf-reference

关键字