- 博客(40)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 python开发导入第三方依赖包
python开发导入第三方依赖包：分别以Pycharm 和 Mac OS为例来说明导入包的方法；MAC OS下 python 配置开发环境 安装mysql-connector-python
2017-04-17 11:21:51
5191
原创 Linux下安装memcached服务器
memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。
2017-02-28 19:59:34
518
原创 调用百度短网址API接口进行短网址的转换(Java程序的实现)
调用百度短网址API接口进行短网址的转换(Java程序的实现)1、功能说明：把需要给用户发的短信：您周围已有39位同行入驻买卖网, 生存危机一触即发,买卖网流量不容错过,即刻享受流水0抽成!详情查看:http://baidu.com/?ch=mt&mId=jU5LVV 回复TD退订";中的url转换为短网址形式，转换后短信内容为："您周围已有39位同行入驻买卖网, 生存危机一触即发,买卖网流量不容错过,即刻享受流水0抽成!详情查看:http://dwz.cn/5pHynG 回复TD退订"2、现实思路：
2017-02-28 18:59:45
6342
原创 php 提取字符串中指定内容及将手机号内容替换
php 提取字符串中指定<msg></msg>之间的内容，并将手机号、身份证等敏感信息替换为******：
2017-02-28 17:27:43
2694
原创 KMP算法（字符串匹配算法）之PHP语言实现
KMP算法（模式匹配算法）：该算法的关键是求出P0···Pi的最大相同前后缀长度k（部分匹配表）：首先，要了解两个概念："前缀"和"后缀"。 "前缀"指除了最后一个字符以外，一个字符串的全部头部组合；"后缀"指除了第一个字符以外，一个字符串的全部尾部组合。"部分匹配"的实质是，有时候，字符串头部和尾部会有重复。比如，"ABCDAB"之中有两个"AB"，那么它的"部分匹配值"就是2（"AB"的长度）。搜索词移动的时候，第一个"AB"向后移动4位（字符串长度6 - 部分匹配值2 = 4），就可以来到第二个"
2016-01-30 15:40:40
3804
原创 PHP实现归并排序（合并排序）--算法原理分析
归并排序：时间复杂度为~O(nlogn)—又称合并排序归并（Merge）排序法是将两个（或两个以上）有序表合并成一个新的有序表，即把待排序序列分为若干个有序的子序列，再把有序的子序列合并为整体有序序列。提供一种稳定的排序方式，及对算法原理进行了一定的分析
2015-10-18 17:56:25
5068
1
原创 php多维数组的去重（针对任意的键值进行去重）--二维数组的唯一--时间复杂度~O(n)
php多维数组的去重（针对任意的键值进行去重）--二维数组的唯一性灵活针对任意键值，可以指定需要的任意的键值来进行去重；时间复杂度为~O(n)，只需要一个foreach循环即可开发实例：优惠券去重（以 优惠金额-订单金额 字段不能重复 去除重复项）要求：优惠金额和订单金额都一样的优惠券要求只展示一张给用户选择，并且展示最快到期的那张：
2015-09-19 17:12:53
7592
转载 PHP中this,self,parent的区别
感觉不错，可以看看！{一}PHP中this,self,parent的区别之一this篇 面向对象编程(OOP,Object OrientedProgramming)现已经成为编程人员的一项基本技能。利用OOP的思想进行PHP的高级编程，对于提高PHP编程能力和规划web开发构架都是很有意义的。PHP5经过重写后，对OOP的支持额有了很大的飞跃，成为了具备了大部分面
2015-08-26 23:42:06
516
原创 PHP二维数组去重的方法（保留各个键值的同时去除重复的项）-- 二维数组的唯一性
PHP二维数组去重的方法（保留各个键值的同时去除重复的项）-- 二维数组的唯一性 1、 二维数组内部的一维数组中的值不能完全相同，删除其中重复的项：2、 二维数组内部的一维数组因某一个键值不能相同，删除重复项：
2015-08-26 22:36:40
16118
1
原创 Yaf 结合用户自定义的视图（模板）引擎Smarty（Yaf + Smarty）
Yaf结合自定义视图（模板）引擎smarty入口文件：/public/index.php；在引导程序Bootstrap.php中定义自已的视图引擎Smarty（/application/Bootstrap.php）；添加Smarty的适配器即Smarty_Adapter类，使Yaf和Smarty之间能进行适配，把你需要view做的功能实现在Smarty_Adapter类里面实现，yaf通过他们来操作smarty的特性。首先下载smarty源码包（如: smarty-2.6.29.tar.gz），将其上传
2015-08-02 10:12:50
7086
原创 Redis的安装、使用以及php中扩展redis并实现php操作redis的一个例子
Redis的安装、使用以及php中扩展redis并实现php操作redis的一个例子从结果中可以看出，redis并没有起到作用，后来分析分析，由于之前在redis.conf文件中配置了密码登录redis的限制，现在只需要把redis.conf里面的 requirepass 20082009 这句注释掉即可：#requirepass 20082009，然后重启redis：service redis restart再次执行php文件，显示如下结果，表明php操作redis成功；slave开启了只读模式，
2015-07-20 14:30:48
2892
原创 LNMP（Linux+Nginx+Mysql+PHP）环境下安装yaf框架并编写一个MVC例子
LNMP（Linux+Nginx+Mysql+PHP）环境下安装yaf框架并编写一个MVC例子1、下载yaf源码包yaf-2.2.9.tar.gz，并将其上传到服务器指定的位置，然后解压并安装2、利用Yaf自带的快速代码生成工具 yaf_code_generator 生成代码入口文件：是所有请求的入口，一般都借助于rewrite规则，把所有的请求都重定向到这个入口文件，一个经典的入口文件index.php配置文件：在Yaf中， 配置文件支持继承，支持分节。 并对PHP的常量进行支持， 不用担心配置文
2015-07-14 14:46:22
3367
原创 PHP开发环境的配置(Linux平台上安装Apache和PHP)
PHP开发环境的配置(Linux平台上安装Apache和php):下载Apache (httpd-2.4.12.tar.gz)、下载PHP(php-5.6.9.tar.gz)、下载与PHP安装相关的libxml2(libxml2-2.7.8.tar.gz)、下载与Apache安装相关的三个文件：apr(apr-1.5.2.tar.gz)、apr-util(apr-util-1.5.4.tar.gz)、pcre (pcre-8.10.zip)
2015-05-20 19:07:07
709
原创 C/C++编写一个定时往串口（虚拟串口）发送数据的程序
利用C/C++来设计一个定时往串口（虚拟串口）发送数据的程序，包括虚拟串口的配置与串口的接收显示数据：下载一个串口调试工具：由于程序中选择的串口为COM3，而虚拟串口中COM3和COM4是相通的，所以串口调试工具应该选择COM4来显示程序往COM3发送的数据
2015-04-30 21:18:04
19056
5
原创 关于JLable列表的自动滚动条的显示：当JLable列表的内容超出JPanel面板所规定的高度时，自动显示滚动条的方法
关于JLable列表的自动滚动条的显示：当JLable列表的内容超出JPanel面板所规定的高度时，自动显示滚动条的方法;通过下面的方式把JLable表的宽度和高度锁死，不能根据列表内容的增加而自动出现滚动条;列表会显示不出全部内容，所以必须采用自动获取列表高度的方法;这样列表的滚动条出来了，但是列表的标题却没显示出来，经过分析发现是只获取列表的高度，会把标题占用的高度覆盖，所以才显示不出来.
2015-04-23 10:07:52
2781
原创 Eclipse下导出java程序可执行的jar包图片无法显示问题的一种解决方法
Eclipse下导出java程序可执行的jar包图片无法显示问题的解决方法：说明：在eclipse中运行java程序的时候一切正常，可是当把jar包导出的时候却发现图片没法显示，这估计是java程序的各种配置和路径问题所导致，后来找到一种解决方法，供遇到这方面问题的学习java程序的鞋同参考：
2015-04-12 15:29:49
7276
转载 Cassandra集群各个节点之间的通讯
Cassandra集群没有中心节点，各个节点的地位完全相同，它们通过一种叫做gossip的协议维护集群的状态。通过gossip，每个节点都能知道集群中包含哪些节点，以及这些节点的状态，这使得Cassandra集群中的任何一个节点都可以完成任意key的路由，任意一个节点不可用都不会造成灾难性的后果。一、Gossip算法背景 Gossip算法如其名，灵感来自办公室八卦，只要一个人
2015-03-28 22:58:06
4664
转载 cassandra的数据模型
我们来深入了解一下cassandra的数据模型。cassandra是一种NoSQL数据库，NoSQL并不是指没有SQL语句，而是指No Relational。cassandra的数据模型结合了Dynamo的key/value和BigTable 的面向列的特点，主要被设计为存储大规模的分布式数据。一、cassandra数据模型的特点 1.它基于key-value
2015-03-28 17:22:44
1713
原创 通过eclipse方法来操作Hadoop集群上cassandra数据库（包括创建Keyspace对象以及往数据库写入数据）
通过eclipse方法来操作Hadoop集群上cassandra数据库（包括配置cassandra，创建Keyspace对象以及往数据库写入数据）；创建map/reduce工程，命名为CassandraPro,需要把cassandra的lib目录下的jar包拷贝到hadoop的lib目录下；然后创建class，命名为TestClient；
2015-03-28 14:07:52
1074
转载 Apache Pig的一些基础概念及用法总结
转载出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解
2015-03-26 22:31:18
1946
原创 Hadoop集群上基于Pig的通话记录的查询及错误排解（ERROR 2998: Unhandled internal error. name）
问题说明：由于电信公司一般把通话记录CDR存放在传统的关系数据库中,需要统计或者查询时，只需要简单的几条sql语句即可查找出来；但是随着数据量的不断增大，特别数据量达到海量级别时，如果还是从传统数据库来进行查找的话，将是非常费时的；由于查询可以分解为过滤，聚合，统计等步骤，用分布式（mapreduce）的方式来处理是十分适合的。因为操作对每一条记录都是独立的，因此可以将表中所有数据存放在hdfs的一个文件cdr.txt中，由于cdr.txt在HDFS中是存放在多台计算机中，之间没有相关性，因此可以将计算分布
2015-03-25 20:39:02
1456
原创 基于Hive的hadoop日志的分析及错误排解(eclipse上运行出现错误：Access denied for user ... (using password: YES))
基于Hive的hadoop集群日志的分析及错误排解（eclipse上运行出现错误：Access denied for user 'hivenew'@'172.16.2.36' (using password: YES)）;设计思路：利用hive的方法将hadoop中的指定日志存放在hive表中，然后再把hive表中保存的数据进行筛选后导入mysql数据库（对外可以访问的主机上），以供其他人进行访问。(本文主要是建立过程和执行程序的一些细节展示，包含eclipse和hadoop集群运行程序的情况以及错误排解
2015-03-24 11:17:45
1712
原创 Hive的UDAF编程：计算几何平均值
Hive的UDAF编程：计算几何平均值（1）eclipse上创建Map/Reduce工程，命名为GeoMeanPro，在创建前，先把hive/lib目录下的jar包复制到hadoop/lib目录下面；（2）在创建的工程上添加class，新建包com.hive.geomean.udaf,并在包下建立GeoMean.java;（3）GeoMean.java代码见如下；（4）将工程export出jar包，并命名为geomean.jar，然后上传到/home/hadoop/class目录下；（5）Hive
2015-03-23 22:43:44
1268
原创 Hadoop集群之hive集成mysql作为元数据的方法及错误排解（hive-site.xml文件无法生效）
Hadoop集群之hive集成mysql作为元数据的方法及错误排解（hive-site.xml文件无法生效）：hive集成mysql的本地模式不起作用，还发现该目录下生成了metastore_db文件，即derby的默认数据库；证明刚才配置的文件都没有生效；这样的问题继续了好几天，期间也怀疑是不是hive的版本不对，还是安装的mysql版本不匹配，或者mysql的jdbc驱动版本不对，试过很多方法，但是都没有解决问题；通过调试 hive -hiveconf hive.root.logger=DEBUG,c
2015-03-22 14:57:33
4192
原创 创建Hbase索引表之在eclipse上运行与直接在hadoop集群上运行的程序编写的差异
创建Hbase索引表之在eclipse上运行与直接在hadoop集群上运行的程序编写的差异目的：主要是区分在eclipse上编写程序与直接在集群hadoop上编写程序的差异，以更好的理解hadoop的工作原理；它们的差别主要是，在eclipse上编写程序时需要配置mapreduce和配置hbase，并且需要设置输入表的信息以及输出表的信息TableOutputFormat：
2015-03-15 15:00:03
583
原创 通过hadoop实现单词的统计，并将统计结果保存到Hbase以及错误排解：org.apache.hadoop.io.compress.SnappyCodec not found
通过hadoop实现单词的统计，并将统计结果保存到Hbase以及错误排解：java.lang.ClassNotFoundException: org.apache.hadoop.io.compress.SnappyCodec设计思想：通过MR框架来统计给定文件的单词数目，然后把统计结果保存到hbase中
2015-03-12 17:02:18
4031
1
转载 StringTokenizer使用讲解
StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。一.构造函数。1. StringTokenizer(String str)：构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’)”。2. StringTokenizer(Stri
2015-03-10 21:43:46
1082
原创 Hbase运行时出现的问题（There could be a mismatch with the one configured in the master.）及其解决方法：
Hbase运行时出现的问题（There could be a mismatch with the one configured in the master.）及其解决方法
2015-03-10 16:18:44
1899
原创 Hbase的完全分布式环境的搭建及常见错误的排解（hbase启动后自动关闭的问题分析）
Hbase的完全分布式环境的搭建及常见错误的排解（hbase启动后自动关闭的问题分析）
2015-03-09 23:01:27
811
原创 ul通过input标签来控制翻页 可以任意设置每页的li个数
设计每页放置一定数量的图片等元素时，可以通过input标签来控制ul li 来实现，如下为每页放置7个图片的案例，通过修改下面的代码可以实现每页任意数量的元素
2015-01-25 21:34:35
947
原创 Flume例子：使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道
Hadoop集群上使用netcat和exec作为信源，logger和file作为信宿，并分别为每对信源和信宿实现一个信道
2015-01-05 10:53:56
2101
1
原创 Hadoop群集与关系数据库RDBMS之间的协同工作
本文主要讨论hadoop集群通过sqoop工具实现与关系数据库RDBMS之间的协同工作，实现了通过sqoop把mysql的数据导入到HDFS；实现了通过sqoop把mysql数据导入到hive里面；文章中还就一下常见的错误进行排解，主要是主机与从机之间的访问权限的设置，必须设置成远程无密码访问，并把操作数据库的权限赋予给群集上其他所有的从机。
2014-12-29 10:52:52
903
原创 Hadoop集群上安装Hive并运行一个例子
主要讨论hadoop与hive的联合使用，提供了一种安装方法，成功通过安装并运行了一个例子，以及常见错误的排解
2014-12-28 20:07:21
916
基于Hive的hadoop集群日志的分析及错误排解
2015-03-24
Hadoop集群上安装hive并运行一个例子
2014-12-25
hive-0.8.1-bin.tar.gz
2014-12-25
Hadoop集群上安装hive并运行一个例子的排错分析
2014-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人