- 博客(73)
- 收藏
- 关注
RSS订阅转载 Spark Core: sc.textFile vs sc.WholeTextFiles
While loading a RDD from source data, there are two choices which look similar.scala> val movies = sc.textFile("movies")scala> val movies = sc.wholeTextFiles("m
2015-09-08 15:10:27
2977
转载 php curl 设置超时
php curl超时设置详解 本文介绍下，在php中使用curl时，进行超时设置的详细方法，大家参考下，希望对大家有一定的帮助. 访问HTTP方式很多，可以使用curl, socket, file_get_contents() 等方法。 在访问http时，需要考虑超时的问题。 一、CURL 访问HTT
2014-07-30 22:57:29
14498
转载 php put数据
Just been doing that myself today... here is code I have working for me...$data = array("a" => $a);$ch = curl_init($url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);curl_setopt($ch, CURLOPT_CU
2014-07-19 19:28:54
609
转载 elasticsearch的基本用法
最大的特点：1. 数据库的 database, 就是 index2. 数据库的 table, 就是 tag3. 不要使用browser， 使用curl来进行客户端操作. 否则会出现 java heap ooxx...curl: -X 后面跟 RESTful ： GET, POST ...-d 后面跟数据。 (d = data to send)1. crea
2014-07-19 15:58:59
953
转载 elasticsearch的一些基本概念
elasticsearch的一些基本概念需要我们注意的是，这些概念理解只是解释其含义，不推荐强制翻译成中文。Index：这是ES存储数据的地方，类似于关系数据库的database。Document type：嗯，类似关系数据库的表，主要功能是将完全不同schema（这个概念以后会讲到，不急）的数据分开，一个index里面可以有若干个Document type。Doc
2014-07-19 15:06:52
10495
2
原创 pig good
grunt> res = load '/user/hive/warehouse/0hk8ubfx/' >> as (guid:chararray, rate:double);grunt> ret = filter res by rate>0.0;grunt> ret = limit res 500;grunt> dump ret;
2014-07-10 13:37:07
415
转载 MySQL用Load Data local infile 导入部分数据后中文乱码(character set utf8)
今天在两台MySQL服务器之间导数据，因为另一个MySQL服务器是测试用的，差一个月的数据，从现有MySQL服务器select到一个文件，具体语句是：select * from news where ine_time>='2010-02-01' and ine_time 然后scp到另一个MySQL Server上导入到对应的表中，具体语句如下：load data l
2014-06-19 11:30:07
16224
转载 JSON Hijacking漏洞
漏洞描述 CGI以JSON形式输出数据，黑客控制的第三方站点以CSRF手段强迫用户浏览器请求CGI得到JSON数据，黑客可以获取敏感信息 漏洞检测 使用工具获取json数据。漏洞修复 可使用以下任意办法防御JSON Hijacking攻击1、在请求中添加token（随机字符串）2、请求referer验证(限制为合法站点，并且不为空)注意
2014-05-04 09:11:05
3124
原创 常用进程相关操作
查看使用指定端口的进程lsof -i TCP:9001COMMAND PID USER FD TYPE DEVICE SIZE NODE NAMEjava 11704 webroot 74u IPv6 3655631084 TCP *:etlservicemgr (LISTEN)
2014-03-05 12:29:17
647
原创 常用网络设置
1，配置host配置或者添加/etc/hosts文件，添加一行：192.168.3.89 www.abc.com2，配置DNS配置或者添加/etc/resolv.conf文件，添加一行：nameserver 192.168.3.89
2014-03-04 20:41:38
658
原创 nd的执行远程主机程序的方法
#!/usr/bin/expect spawn ssh [email protected] "/data/t/busi/q/aa.sh"expect "assword:"send "xxxxxxx\r"interact
2014-02-27 19:11:11
610
原创 PHP 类的反射使用
对于每个频道获取相应的类来执行相应的操作 foreach($this->chs as $ch) { $className = $this->chsMap[$ch]; if($className) { // 如果是合法的类名 // 获取反射类 $class
2014-02-14 16:24:53
764
转载 MySQL 主键与索引的联系与区别分析
转自：http://www.educity.cn/shujuku/692954.html关系数据库依赖于主键，它是数据库物理模式的基石。主键在物理层面上只有两个用途： 惟一地标识一行。 作为一个可以被外键有效引用的对象。 索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分)，它们包含着对数据表里所有记录的引用指针。下面是主键和索引的一些区别与联系。
2014-01-09 09:18:29
642
转载 MySQL数据库索引中的单列索引与多列索引
原文：http://blog.163.com/xiao_hua_jc/blog/static/312499420126127165935/以下的文章主要介绍的是MySQL数据库索引，即单列索引与多列索引的介绍，以及对多列索引的SQL命令的示例，以下就是这些内容的介绍，望你在浏览之后会对MySQL数据库索引的相关内容有更深入的了解。为了提高搜索效率，我们需要考虑运用多列MySQL数据库索引。
2014-01-08 20:43:06
4304
转载 Mysql设计索引的原则
设计索引的原则1. 搜索的索引列，不一定是所要选择的列。换句话说，最适合索引的列是出现在 WHERE 子句中的列，或连接子句中指定的列，而不是出现在 SELECT 关键字后的选择列表中的 列 。2. 使用惟一索引。考虑某列中值的分布。对于惟一值的列，索引的效果最好，而具有多个重复值的列，其索引效果最差。例如，存放年龄的列具有不同值，很容易区分各行。而用来记录性别的列，只含有 “ M
2014-01-08 17:16:51
4778
转载 设置hadoop Job允许map task失败的比例
设置hadoop Job允许map task失败的比例 故事背景：hadoop任务分为map task和reduce task，当map task执行失败后会重试，超过重试次数（mapred.map.max.attempts指定，默认为4），整个job会失败，这是我们不想看到的。解决办法：hadoop提供配置参数“mapred.max.map.failures.percen
2013-12-24 19:49:04
1396
1
原创 查看 MySQL 数据库中每个表占用的空间大小
如果想知道MySQL数据库中每个表占用的空间、表记录的行数的话，可以打开MySQL的 information_schema 数据库。在该库中有一个 TABLES 表，这个表主要字段分别是：TABLE_SCHEMA : 数据库名TABLE_NAME：表名ENGINE：所使用的存储引擎TABLES_ROWS：记录数DATA_LENGTH：数据大小INDEX_LENGTH：索引大
2013-12-12 18:42:50
715
转载 linux zip/unzip命令
命令名： zip 功能说明：压缩文件。语 法：zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b 工 作目录>][-ll][-n 字 尾字符串>][-t 日 期时间>][-压 缩效率>][压 缩文件][文件...][-i 范本样式>][-x 范本样式>]补充说明：zip是个使用广泛的压缩程序，文件经它压缩后会另外产生具 有".zip"扩展名 的压缩文件
2013-12-02 20:16:12
471
转载 Kmeans 文本聚类
参考文档：http://blog.csdn.net/lawrencesgj/article/details/8606570 源代码：https://github.com/shenguojun/hadoop/tree/master/WebKmeans/src/edu/sysu/shen/hadoophttps://github.com/shenguojun/hadoop/b
2013-11-25 22:26:53
1049
原创 Java 程序编译与执行
javac -classpath lib/jedis-2.1.0.jar ./Test.java-classpath : 编译时指定的第三方包 java -cp .:./lib/jedis-2.1.0.jar Test -cp:-cp指定的是java这个命令所搜索的类路径。
2013-11-20 10:49:14
551
原创 编写Mahout程序流程
1，编写java程序2，编译：javac -classpath /home/hadoop/hadoop-0.20.2/hadoop-0.20.2-core.jar:${MAHOUT_HOME}/mahout-examples-0.8-job.jar -d /usr/local/webboss/tubd/mahout/myhout ./MyKmeansJob.java3，打包程序
2013-10-04 20:15:14
1444
原创 Eclipse、maven、m2eclipse安装
1，安装JDK及Maven；http://jingyan.baidu.com/article/5d368d1e306a913f61c05743.html2，安装m2eclipsehttp://blog.csdn.net/chenxuejiakaren/article/details/7955348
2013-10-04 20:07:30
350
原创 Python 学习笔记
1，字符串,列表切片a='hello'a[2:4]; 表示llob=['b', 'a', 3, 5, 6];b[1:1];表示['a']2，居然可以这样a, b = b, a+b； 一行表达式里计算多个值变量赋值前，右边首先完成计算。右边的表达式从左到右计算。3，缩进是 Python 是 Python 组织語句的方法。 Python (
2013-08-03 11:26:46
507
转载 php调用shell
由于PHP基本是用于WEB程序开发的，所以安全性成了人们考虑的一个重要方面。于是PHP的设计者们给PHP加了一个门：安全模式。如果运行在安全模式下，那么PHP脚本中将受到如下四个方面的限制： 执行外部命令在打开文件时有些限制连接MySQL数据库基于HTTP的认证在安全模式下，只有在特定目录中的外部程序才可以被执行，对其它程序的调用将被拒绝。这个目录可以在php.ini文件中
2013-07-11 20:27:06
501
转载 Extjs的Requiers作用
有的时候项目中要写一些扩展组件，随着扩展组件的增加，会造成有的页面需要使用，而有的页面不需要使用的问题，这对组件的js文件的引用造成了烦恼：如果每个页面都去引用的时候会造成浏览器打开页面的流量的增加而影响资源，如果需要的时候引用管理起来又很麻烦，Extjs4.0帮我们解决了这个问题，那就是Ext.requires。它可以实现根据我们的需要动态加在所需要的组件文件，很灵活也很方便。下面我们用例子进行
2013-07-01 20:35:59
689
原创 Hive常用语句
drop table if exists res_henrie_category_follow; create table if not exists res_henrie_category_follow (qq bigint, cate int, status int, ftime bigint) partitioned by(ds strin
2013-06-28 11:10:14
480
原创 Extjs4 定义及继承类
ExtJs4使用Ext.define来定义类：Ext.define(String className,Object data, [Function createdFn] ) :Ext.BaseExt.define andExt.ClassManager.create are almost aliasesof each other, with the only e
2013-06-28 10:09:57
1310
转载 Mysql 修改编码
mysql数据库修改数据库编码，字段编码与表编码1.修改数据库的编码 将数据库（test）的编码方式修改为utf8，如： ALTER DATABASE `test` DEFAULT CHARACTER SET utf8 COLLATE utf8_bin; 2.修改表的编码 将表（test）的编码方式修改为utf8，如： ALTER TABLE `test
2013-06-25 10:18:49
431
转载 PHP 常用时间函数
PHP语言中的函数有许多种，各种应用方式不同，实现的功能也不尽相同。我们在本文种为大家总结了PHP时间戳函数，希望能作为参考学习对象。一，PHP时间戳函数获取指定日期的unix时间戳 strtotime(”2009-1-22″) 示例如下：echo strtotime(”2009-1-22″) 结果：1232553600说明：返回2009年1月22日0点0分0秒时间戳
2013-06-13 20:14:34
615
原创 脚本添加crontab
#加入crontabecho "* * * * * ${InstallDir}bin/boss_broker_check.sh >/dev/null 2>&1">>crontab.tmp1#加载新的crontabcrontab crontab.tmp1
2013-06-12 18:24:04
750
转载 Awk与Shell互相传值
awk中使用shell中的变量一："'$var'"这种写法大家无需改变用'括起awk程序的习惯，是老外常用的写法。如：var="test"awk 'BEGIN{print "'$var'"}'这种写法其实际是双括号变为单括号的常量，传递给了awk。如果var中含空格，为了shell不把空格作为分格符，便应该如下使用：var="this is a test"awk '
2013-06-11 16:55:52
9002
原创 Replace into与Insert update
Replace intoreplace into 跟 insert 功能类似，不同点在于：replace into 首先尝试插入数据到表中，1. 如果发现表中已经有此行数据（根据主键或者唯一索引判断）则先删除此行数据，然后插入新的数据。2. 否则，直接插入新数据。要注意的是：插入数据的表必须有主键或者是唯一索引！否则的话，replace into 会直接插入数据，这将导致表
2013-06-11 15:38:40
16228
1
原创 PHP 获取参数的方法
PHP接受通过HTML表单提交的信息时，会将提交的数据保存在全局数组中，我们可以调用系统特定的自动全局变量数组来获取这些值。常用的自动全局变量如下所示：$_GET，$_POST，$_REQUEST$_GET变量$_GET变量是一个包含名称[name]和值[value]的数组（这些名称和值是通过HTTP GET方法发送的，且都可以利用）。$_GET变量使用“method=get”
2013-06-11 12:49:07
3987
原创 通过插入mysql数据来实现多机互锁
#在执行流程之前可以加一般锁，shell枷锁函数如下，如果成功则会返回0，否则返回非0值function get_lock(){ local dataId="${1}" local dataDate="${2}" local sql="insert intot_trans_lock (dataId, dataDate) values('${dat
2013-06-06 20:30:57
847
转载 MySQL 启动常用参数
mysql [options] [database]options是可用的选项，可以一次写一个或者多个，甚至可以不写databases一次只能写一个或者不写，如果不写，连接成功后需要用use命令来进入要操作的数据库连接选项-u，--user=name-p，--password指定密码-h，--host=name指定服务器IP或者域名-P ，--port 指定连接
2013-05-31 16:06:23
3305
转载 PHP 回调函数的使用
这里的全局函数的意思，是直接使用function定义的函数，它不包含在任何对象或类之中。请看下面的例子 示例代码function fnCallBack( $msg1 , $msg2 ){ echo 'msg1:'.$msg1; echo "\n"; echo 'msg2:'.$msg2;}$fnName = "fnCallBack";$
2013-05-28 19:26:59
474
原创 MySQL 备份与还原
备份mysqldump -u user -P port -p db tab1 tab2 > db.sql 恢复 mysql -u user -P port -p db < db.sql
2013-05-28 18:55:17
463
转载 PHP 获取域名的方法
//方法一(用 系统变量) //缺点不使用传递过来的地址和不支持系统变量的主机 echo $_SERVER['HTTP_HOST']; //方法二(用自带函数) $url = ‘http://www.51php.net/index.php?referer=51php.net’; $arr_url = parse_url($url); echo $ar
2013-05-27 19:10:25
545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人