无证程序员ao-CSDN博客

原创 solr4.10+tomcat7+mmseg4j中文分词搭建过程

概念： Collection：在SolrCloud集群中逻辑意义上的完整的索引。它常常被划分为一个或多个Shard，它们使用相同的Config Set。如果Shard数超过一个，它就是分布式索引，SolrCloud让你通过Collection名称引用它，而不需要关心分布式检索时需要使用的和Shard相关参数。Config Set: Solr Core提供服务必须的一组配置文件。每个config s

2016-08-10 14:27:02 558

原创 solr之commit和softcommit

在solrconfig.xml里有两个配置项，autoCommit和autoSoftCommit，他们是干什么的呢？他们是solr提交文档的两种方式。1. commit一般提交又或者叫硬提交(hard commit), 使用这种提交会把文档立即持久化到磁盘，并可以让你能立马查询到它，因为它会开启一个新的searcher,但是它缺点很明显，就是很耗性能，并会阻塞到提交任务完成，使用它是非常昂贵的操作。

2016-07-01 18:07:11 6457

原创 solr之字段数据类型

solr提供了内建的一些数据类型比如numbers, dates, geo location等类型；详情如下每种数据类型都有一个Java类来管理。这里主要讲讲以下几种类型 1. String fields 2. Date fields 3. Numeric fields1. String fields<fieldType name="string" class="solr.S

2016-06-30 18:00:53 15193

原创 solr之建立索引

关于solr的倒排索引原理这里不涉及，这里只说明当我们向solr提交一个文档后发生了什么，一张图搞定大致过程就是通过http post把文档提交到solr把出入的文档转换为solr支持的文档格式solr对文档按照schema.xml里配置的字段信息进行解析，这个地方比较重要和复杂，这里会对文本进行分词，分词是建立倒排索引的关键，也就是整个搜索引擎的关键把解析后的分词信息建立索引

2016-06-30 16:31:29 528

原创 solr之fields配置

我们定义一个文档由那些字段就是通过配置schema.xml里的部分来决定的，它就相当于关系型数据库里的字段一样。这里主要有5种字段，分别是：Required fieldsMultivalued fieldsDynamic fieldsCopy fieldsUnique key field

2016-06-30 16:17:57 1902

原创 solr之模糊搜索(Fuzzy matching)

solr的模糊搜索主要有通配符，范围查询，近距离搜索等几类。下面分别探讨一下用法。1. 通配符查询通配符只是对单个term有效，对短语不起作用，ps：短语就是在查询条件上加双引号，比如 title:"xxx yyy"。其实也就跟一般的通配符的匹配方式差不多了，比如我要查询title里有evaluat开头的文档：title:evaluat*Note that:查询语句里一定要用小写，还没研究清楚大小

2016-06-23 17:11:41 8975

转载 MySql的一些优化策略

转原文链接：http://www.cnblogs.com/MR_ke/archive/2011/05/29/2062085.html我们做软件开发的，大部分人都离不开跟数据库打交道，特别是erp开发的，跟数据库打交道更是频繁，存储过程动不动就是上千行，如果数据量大，人员流动大，那么我们还能保证下一段时间系统还能流畅的运行吗？我们还能保证下一个人能看懂我们的存储过程吗？那么我结合公司平时的培训和平时

2016-06-21 15:16:11 605

原创 Linux 搭建redis-cluster

安装一些依赖包这不是必须的，但有的机器上没有这些包 sudo apt-get install build-essential sudo apt-get install gcc搭建过程以下是给老美写的一个搭建过程的英文版，基本上都是每一步的命令 1. Create directory sudo mkdir /opt/redis cd /opt/redis 2. Download in

2016-06-08 18:13:50 895

原创 zend studio 用xdebug在chrome上远程调试

上一篇文章已经搞定zend framework的搭建，以及用xdebug在zend studio 里进行远程调试，但是zend studio自带的浏览器很忧伤，于是想在chrome浏览器里直接进行调试，这是xdebug helper插件就登场了。1. 在chrome上安装xdebug helper插件直接在chrome应用商店里搜索并添加即可

2016-06-03 15:15:08 1133

原创 zend studio 13创建zend framework工程并用xdebug 调试zend framework

zend studio 13创建zend framework工程并用xdebug 调试zend framework从Python转PHP，在Python里可以直接用Pycharm IDE进行服务器单步调试，当然也可以去看服务器日志来定位问题，但是如果直接在IDE里就能看到每一句代码的执行结果岂不是更好。本来搞Python的，但PHP岗位一直招不到人，boss让我来学习PHP并接手相关开发，于是……

2016-06-02 12:19:01 2568

原创 AWS EMR上搭建HBase环境

AWS的EMR服务为客户提供的托管 Hadoop 框架可以让您轻松、快速、经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理大量数据。您还可以运行其他常用的分发框架（例如 Amazon EMR 中的 Spark 和 Presto）与其他 AWS 数据存储服务（例如 Amazon S3 和 Amazon DynamoDB）中的数据进行互动。Amazon EMR 能够安全可靠地处理大

2016-05-06 15:48:05 8086

原创 Python 执行MySQL 脚本

自己写好代码，还写好了部署文档给老美，可是他嫌各种配置，脚本执行麻烦，于是让我搞个自动化部署，只需傻瓜似的下一步下一步就行了，其中里面有一个执行很多sql脚本文件步骤；用Python subprocess模块来执行命令，直接上代码file_path = "/usr/local/web/sql/test.sql"cmd = ["mysql", "-h", ip, "-u", username, "-

2016-04-01 14:57:46 6156

原创 pycharm 切换github远程分支

pycharm 切换github远程分支在github上创建一个分支在pycharm里如下操作然后

2016-03-18 23:24:04 9492

原创 Python实现向solrclould提交pdf文件

根据官方文档，可以通过culr向solr提交文件，https://wiki.apache.org/solr/ExtractingRequestHandler 具体原理请阅读官方wiki 那么如何通过Python来实现呢？ 1. 在solrconfig.xml里配置ExtractingRequestHandler<requestHandler name="/update/extract" cla

2016-01-28 14:58:13 538

转载 [转]简明网络I/O模型---同步异步阻塞非阻塞之惑

转自http://www.jianshu.com/p/55eb83d60ab1网络I/O模型人多了，就会有问题。web刚出现的时候，光顾的人很少。近年来网络应用规模逐渐扩大，应用的架构也需要随之改变。C10k的问题，让工程师们需要思考服务的性能与应用的并发能力。网络应用需要处理的无非就是两大类问题，网络I/O，数据计算。相对于后者，网络I/O的延迟，给应用带来的性能瓶颈

2016-01-10 12:09:56 513