- 博客(43)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 鸡汤书单
信不信？读完这些书，你的眼界和眼光，立即赶超硕士博士 如果你想通过阅读提升自己的知识面，提高眼界，提升谈吐水平，甚至……比那些读了四年、七年大学和研究生的人，看问题时眼光更毒辣，下面这个书单就是为你准备的。 男生借助这个书单，可以变得更加成熟，更加有智慧； 女生借助这个书单，可以变得更加有气质，提升才气；
2016-11-13 15:50:08
584
转载 hadoop 四种压缩格式
1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个g
2016-10-08 09:55:35
1024
转载 mongodb的查询语句学习摘要
左边是mongodb查询语句，右边是sql语句。对照着用，挺方便。db.users.find() select * from usersdb.users.find({"age" : 27}) select * from users where age = 27db.users.find({"username" : "joe", "age" : 27}) select * f
2016-09-08 17:31:11
318
转载 Hadoop下将大量小文件生成一个sequenceFile文件
概念：SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output 的format时被使用。在map/reduce过程中，map处理文件的临时输出就是使用SequenceFile处理过的。 所以一般的SequenceFile均是在FileSystem中生成，供map调用的原始文件。1.
2016-09-08 11:56:27
4564
转载 Linux下设置MongoDB开机自启动
将MongoDB服务加入随机启动vi /etc/rc.local使用vi编辑器打开配置文件，并在其中加入下面一行代码/usr/local/mongodb/bin/mongod -dbpath=/usr/local/mongodb/data/db --fork --port 27017 --logpath=/usr/local/mongodb/log/work.log --l
2016-09-08 09:55:21
7879
原创 hadoop yarn配置错误修正
hadoop执行log查看IP错误 yarn.resourcemanager.address bigdata01:8032 yarn.resourcemanager.scheduler.address bigdata01:8030 yarn.resourcemanager.resource-tracker.add
2016-09-07 17:08:03
5476
1
转载 职场关注：挣百万年薪的15种能力
托尔斯泰有一句名言：“成功的人都是相似的，不成功的人，各有各的失败。”大凡成功人士身上都有独特的个人能力和人格魅力，这或许正是一般人所缺乏的，年薪百万的牛人所具备的能力可概括为以下15点。1、逆向思维能力面对工作中遇到的新问题，或许连上司也没有锦囊妙计。此时，牛人们擅长用逆向思维办法去探索解决问题的途径。他们清楚具体业务执行者比上司更容易找出问题的结点，是人为的，还是客观的；是技术
2016-09-07 16:30:06
268
转载 scala调用jdbc连接数据库
from：http://mkaz.com/solog/scala/using-scala-with-jdbc-to-connect-to-mysql.htmlUsing Scala with JDBC to connect to MySQLDate: May 27, 2011A howto on connecting Scala to a MySQL database us
2016-09-07 15:58:56
3503
转载 向CDH5集群中添加新的主机节点
向CDH5集群中添加新的主机节点步骤一：首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python.步骤二：上传cloudera-manager文件到/opt目录，修改agent配置文件： vi /opt/cm-5.0.0/etc/cloudera-s
2016-09-07 13:33:04
5725
转载 csdn如何转载别人的文章
转载地址：http://blog.csdn.net/jiangping_zhu/article/details/180441091、找到要转载的文章，用chrome浏览器打开，右键选择审查元素2、在chrome中下方的框里找到对应的内容，html脚本中找到对应的节点，选中节点，网页上被选中内容会被高亮显示，然后右键菜单选中 Copy as HTML3、进入个人”
2016-09-07 09:59:37
225
转载 linux下使用find xargs grep查找文件及文件内容
1，在某个路径下查文件。在/etc下查找“*.log”的文件find /etc -name “*.log”2，扩展，列出某个路径下所有文件，包括子目录。find /etc -name “*”3，在某个路径下查找所有包含“hello abcserver”字符串的文件。find /etc -name “*” | xargs grep “hello abc
2016-09-07 09:53:10
5451
转载 centOS 6.5关闭防火墙步骤
centOS 6.5关闭防火墙步骤关闭命令： service iptables stop 永久关闭防火墙：chkconfig iptables off两个命令同时运行，运行完成后查看防火墙关闭状态 service iptables status
2016-09-07 09:34:07
80805
2
转载 java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
使用flume的时候出现的问题。 sink是hdfs，然后使用目录自动生成功能。出现如题的错误，看官网文档说的是需要在每个文件记录行的开头需要有时间戳，但是时间戳的格式可能比较难调节，所以亦可设置hdfs.useLocalTimeStamp这个参数，比如以每个小时作为一个文件夹，那么配置应该是这样： a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/fl
2016-09-06 17:33:04
815
转载 Gerrit代码审核服务器搭建全过程
Gerrit代码审核服务器搭建全过程转载请标明出处：http://blog.csdn.net/ganshuyu/article/details/8978614环境：Ubuntu12.xx1、建立专有帐户 sudo adduser gerrit sudo passwd gerrit su gerrit2、配置Jav
2016-09-06 17:02:48
1037
转载 整合Kafka到Spark Streaming——代码示例和挑战
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
2016-09-02 17:36:32
797
转载 打开MySQL数据库远程访问的权限
在我们使用mysql数据库时，有时我们的程序与数据库不在同一机器上，这时我们需要远程访问数据库。缺省状态下，mysql的用户没有远程访问的权限。下面介绍两种方法，解决这一问题。1、改表法 可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，从
2016-09-02 17:20:25
242
转载 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序，在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序，但毕竟编写代码不方便。使用 Eclipse，我们可以直接对 HDFS 中的文件进行操作，可以直接运行代码，省去许多繁琐的命令。本教程由厦门大学数据库实验室出品，转载请注明。
2016-09-02 16:44:45
434
转载 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hado
2016-09-02 16:42:40
287
转载 RocketMQ与Kafka对比（18项差异）
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，
2016-09-02 10:49:23
241
转载 分布式消息队列RocketMQ部署与监控
==========================================================================================一、RocketMQ简介==========================================================================================
2016-09-02 10:47:07
1460
转载 Hive的内置服务和hiveserver/hiveserver2的比较
版权声明：[+]一：Hive的几种内置服务 执行bin/hive --service help 如下： [html] view plain copy [master@master1 hive]$ bin/hive --service help ls: 无法访问/opt/spar
2016-09-01 16:55:27
2512
转载 TFS文件系统
TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bit Linux OS上，TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。
2016-09-01 16:47:05
4981
转载 使用keepalived实现双机热备
通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。下面来以keepalived结合tomcat来实现一个web服务器的双机热备。keepalived的工作原理是VRRP（Virtual Router Redundancy Protocol）虚拟路由冗余协议。在VRRP中有
2016-09-01 16:45:23
861
1
转载 淘宝TFS文件系统配置（集群）
对于拥有大量图片和小文件的站点,如电子商务网站,用tfs是非常理想的,淘宝就是NB. 四台服务器，系统都为Centos 5.6 一、基础环境的设置（只需在dataserver两台服务器上配置）1.加载ext4模块，让系统支持ext4文件系统modprobe ext42.安装ext4格式工具yum –y install e4fsprogs e
2016-09-01 16:43:27
5754
转载 oracle窗口函数的使用
窗口函数可以计算一定 记录范围内、一定值域内、或者一段时间内的累计和以及移动平均值等等.之所以使用窗口这个术语，是因为对结果的处理使用了一个滑动的查询结果集范围。窗口可以与下面这些函数结合使用：sum(),avg(),max(),min(),count(),variance()和stddev();窗口也可以和first_value()与last_value()结合使用，这时候返回窗口中的第一个
2016-09-01 16:36:50
762
转载 TFS的原理及应用
最近的一个项目由于原先的nas服务停了，所以没有办法，只能迁移到TFS上。这本来是一个内部的分享的。TFS本身也是开源了，所以就拿出来分享一下吧。这里大部分内容出自TFS的开源网站及内部的wiki，下面是TFS的项目TFS开源项目：http://code.taobao.org/p/tfs/wiki/index/TFS是taobao filesystem的简称，是一个分布式的文件系统
2016-09-01 16:34:51
3350
转载 Jersey框架初体验
一、背景 最近，Jersey学习群组的朋友越来越多，很多朋友问一些非常基础的问题，我看这种现象普遍存在，原因是进入群中的同学们大部分是Jersey的初学者，更有甚者，可能是java的初学者，他们带着对REST webservice的好奇，闯入了Jersey这个框架的学习领域，然而，由于是新手，感觉老虎吃天，无法下爪！为了引导新手们学习，后续我将写几篇关于Jersey入门级的博客，敬请大家期
2016-09-01 16:13:33
439
转载 【Flume】flume中sink到hdfs，文件系统频繁产生文件，文件滚动配置不起作用？
本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下：a1.sinks.k1.type=hdfsa1.sinks.k1.channel=c1a1.sinks.k1.hdfs.useLocalTimeStamp=truea1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%
2016-09-01 15:14:10
3049
转载 CentOS7.2.1511 gcc4.8.5 通过编译的 tfs2.2.16
环境信息：Docker version 1.8.2-fc22, build cb216be/1.8.2Fedora release 22 (Twenty Two)Linux localhost.localdomain 4.0.4-301.fc22.x86_64 #1 SMP Thu May 21 13:10:33 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux
2016-09-01 11:48:11
1373
转载 TFS部署：create_block allocate space error. ret: -1, error: 28, error desc: No space left on device
在CentOS 6.5 下安装完TFS部署的过程中，执行“./scripts/stfs format 1”命令时，出现错误：ERROR create_block (blockfile_manager.cpp:1315) [140688549848864] allocate space error. ret: -1, error: 28, error desc: No space left
2016-09-01 11:36:42
667
原创 淘宝TFS安装
系统版本CentOS6.5 64位操作系统1，依赖包yum install -y readline-devel.x86_64 zlib-devel.x86_64 libuuid-devel mysql-devel e2fsprogs-devel libuuid-devel ncurses-devel uuid-devel gcc-c++ libtool2，tc
2016-09-01 11:17:59
262
转载 怎么解决mysql不允许远程连接的错误
最近使用Navicat for MySQl访问远程mysql数据库，出现报错，显示“1130 - Host'xxx.xxx.xxx.xxx' is not allowed to connect to this MySQL server“。解决办法如下：方法/步骤首先看报错窗口。
2016-09-01 11:03:52
675
转载 mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended
解决办法 vi /etc/my.cnf 把 [mysqld_safe] err-log=/var/log/mysqld.log pid-file=/var/lib/run/mysql/mysqld.pid 改成 [mysqld_safe] err-log=/var/log/mysqld.log pid-file=/var/lib/mysql/mysqld.pid
2016-09-01 10:46:36
7449
转载 ubuntu install gcc 4.1.2
1. 下载&解压源码$ wget http://ftp.gnu.org/gnu/gcc/gcc-4.1.2/gcc-4.1.2.tar.bz2$ tar xvjf gcc-4.1.2.tar.bz22. 安装依赖库, 以及软件$ sudo apt-get install libc6-dev libgmp-dev libmpfr-dev texinfo
2016-08-26 15:53:11
612
转载 ubuntu apt-get用法
如何在ubuntu下面直接查找想要安装的软件？比如我想安装tomcat，但是我又不知道ubuntu里面有哪些版本，也不知道都需要装什么，但是我能确认我装的是tomcat，那么我就可以用搜索命令：例如：apt-cache search tomcat，这样我就会得到以下的结果：libtomcat5-java - Java Servlet engine -- core librariesto
2016-08-26 11:37:43
216
转载 Ubuntu系统中安装RPM格式包的方法
Ubuntu的软件包格式为deb,而RPM格式的包则是Red Hat 相关系统所用的软件包。当我们看到一个想用的软件包时，如果他是RPM格式，而你的操作系统是Ubuntu，那岂不是很遗憾？其实，在Ubuntu系统中通过一定的方法也是可以很有效的安装RPM格式包的，本文就针对此加以介绍：首先，我们要安装alien这一软件：$sudo apt-get install alien
2016-08-26 09:48:40
327
转载 Cygwin运行nutch报错：Failed to set permissions of path
错误信息：Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\官方BUG参考：https://issues.apache.org/jira/browse/HADOOP-7682
2015-06-25 16:34:34
385
转载 Spark快速入门指南
Spark快速入门指南(Quick Start Spark)最近打算学习spark，正好看到这篇文档，记录下来，这个文档只是简单的介绍如何快速地使用Spark。在下面的介绍中我将介绍如何通过Spark的交互式shell来使用API。转自过往记忆（http://www.iteblog.com/）Basics Spark shell提供一种简单的方式来学习它的AP
2015-06-11 14:04:04
1485
转载 solr MoreLikeThis的原理分析
在solr中有两种方式实现MoreLikeThis：MoreLikeThisHandler和在SearchHandler中的MoreLikeThisComponent。两种方式大同小异：一是：将MoreLikeThis作为一个单独的Handler来处理，体现主体地位。二是：将MoreLikeThis作为一个组件放到SearchHandler中，为Search加入了MLT的功
2015-06-10 17:36:01
659
EPLAN Electric P8 Reference Handbook 第三版_EN
2016-12-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人