- 博客(54)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 ambari-server启动时的警告解决方法，WARNING: setpgid(5947, 0) failed - [Errno 13] Permission denied
ambari-server启动时的警告XZ@AM:$ sudo ambari-server startUsing python /usr/bin/python2Starting ambari-serverAmbari Server running with administrator privileges.Organizing resource files at /v
2016-01-22 09:41:45
3198
转载 Scala 强大的集合数据操作示例
Scala是数据挖掘算法领域最有力的编程语言之一，语言本身是面向函数，这也符合了数据挖掘算法的常用场景：在原始数据集上应用一系列的变换，语言本身也对集合操作提供了众多强大的函数，本文将以List类型为例子，介绍常见的集合变换操作。一、常用操作符（操作符其实也是函数）++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个
2015-11-26 09:36:25
716
转载 ZooKeeper系列之二:Zookeeper常用命令
ZooKeeper服务命令: 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh status3. 停止ZK服务: sh bin/zkServer.sh stop4. 重启ZK服务:
2015-11-24 14:12:12
691
转载 hadoop 文件目录操作
可以用bin/Hadoop fs -ls 来读取HDFS上的文件属性信息。也可以采用HDFS的API来读取。如下：import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.f
2015-10-12 17:08:47
2716
转载 Linux 关于Transparent Hugepages的介绍
透明大页介绍Transparent Huge Pages的一些官方介绍资料：Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to allocate hugepages whenever possible and any Li
2015-09-24 17:37:16
2506
转载 ambari安装以及基于ambari的hadoop集群搭建
http://www.toxingwang.com/hadoop/hadoop-hadoop/2510.html
2015-09-22 15:46:22
853
转载 安装配置实践Ganglia-监控集群
Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。Ganglia集群主要用来监控系统性能，它由RRDTool工具处理数据，并生成相应的监控相关的图形，并提供一个Web控制台来直观地提供给客户端，管理员可以通过丰富的图形来对整个被监控的物理机器集群节点进行评估。Ganglia能够监控的内容
2015-09-15 15:07:11
3028
原创 git教程 搭建GIT服务器
http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/00137583770360579bc4b458f044ce7afed3df579123eca000
2015-08-25 10:20:14
452
转载 HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置参考 ：Hadoop2.4的ResourceManager HA高可用配置hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA注意：apache提供的hadoop-2.6.0的安
2015-08-21 09:32:32
777
转载 Pssh使用方法
pssh是一个python编写可以在多台服务器上执行命令的工具，同时支持拷贝文件，是同类工具中很出色的，类似pdsh pdsh使用方法 。为方便操作，使用前请在各个服务器上配置好密钥认证访问。项目地址: parallel-ssh安装wget http://parallel-ssh.googlecode.com/files/pssh-2.3.1.tar.gz tar zxvf p
2015-08-19 23:01:27
2951
转载 linux 添加用户、权限
# useradd –d /usr/sam -m sam此命令创建了一个用户sam，其中-d和-m选项用来为登录名sam产生一个主目录/usr/sam（/usr为默认的用户主目录所在的父目录）。 假设当前用户是sam，则下面的命令修改该用户自己的口令：# passwdOld password:******New password:*******
2015-08-17 10:13:12
418
转载 定时器mysql自动备份脚本
按天备份#!/bin/shDATE_STR=`date +%Y%m%d`DATA_DIR=/home/hadoop/mysql/backupday/mysqldump -uqiniu -p123456 hainiu --skip-lock-tables > ${DATA_DIR}hainiu_${DATE_STR}.sql DATE_STR=`date --date="-3
2015-07-31 10:33:11
719
转载 GIT常用命令
Git常用命令查看、添加、提交、删除、找回，重置修改文件git help # 显示command的helpgit show # 显示某次提交的内容 git show $idgit co -- # 抛弃工作区修改git co . # 抛弃工作区修改git add # 将工作文件修改提交到本地暂存区git add . # 将所有修改过的工作文件提交暂存
2015-07-30 10:22:30
381
原创 jeecg项目源码maven工程搭建
1、安装nexus环境，官网下载最新版本包，全用默认配置即可2、系统环境安装好maven，下载下来配置环境变量即可。3、把jeecg默认的jar包库放到对应的maven仓库中，最关键的一步就是jeecg maven项目pom文件中一定要配置好nexus的访问地址。把snapshotshttp://127.0.0.1:8081/nexus/content/groups/pu
2015-07-18 22:48:34
1984
原创 根据URL的value找rowkey或者其他数据
scan 'newsContent1', {COLUMNS => ['cf1:href', 'cf1:title:toString'], FILTER => "SingleColumnValueFilter('cf1', 'href', =, 'substring:http://finance.sina.com.cn')"}scan 'PDF', {COLUMNS => ['cf1:Url',
2015-07-09 08:42:27
464
原创 /hbase shell 操作
显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsanput 'user
2015-07-06 17:06:37
624
转载 scala 精确到小数点的多数位
2.9. Formatting Numbers and CurrencyProblemYou want to format numbers or currency to control decimal places and commas, typically for printed output.Solution
2015-06-27 17:03:23
16667
原创 java scala 简体 繁体相互转换及其判断是否为简体
主要是使用开源库jpinyin ，我主要是用下面第5点。 1、目前在百度或谷歌上搜索“java汉字转拼音”，主要有以下三种：1）、piny4j：搜索结果介绍文章最多的，然而此类库对生僻字支持不好，转换时会报空指针（java.lang.NullPointerException）错误，如汉字“栆”2）、unidecode：介绍较少，google的han2piny
2015-06-24 23:36:56
2929
转载 hbase权威指南阅读随手笔记二之过滤器
base过滤器的比较操作符：LESS LESS_OR_EQUAL EQUAL =NOT_EQUAL GREATER_OR_EQUAL >=GREATER >NO_OP no operation比较器：BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[])
2015-06-19 17:05:57
556
转载 Scala数组操作
scala中的数组比java的数组强大很多 1、定长数组：长度不变的数组Array，如：声明一个长度为10的整形数组，val arr = Array[Int](10)；声明并初始化一个字符串数组： val arrStr = Array(“wo”,”cha”,”yo”)。访问数组方式:访问arrStr第一个元素，arrStr(1)即可 2、变长数组（即数组缓冲）：j
2015-06-18 15:20:01
578
转载 Scala学习笔记5 （集合 Collections）
5. util包5.1. 架构http://www.scala-lang.org/docu/files/collections-api/collections.htmlThe following figure shows all collections in package scala.collection. These are all high-lev
2015-06-10 15:05:47
1124
转载 在集群中Java 通过调用API操作HBase 0.98
在集群中Java 通过调用API操作HBase 0.98本文的内容是在集群中创建java项目调用api来操作hbase，主要涉及对hbase的创建表格，删除表格，插入数据，删除数据，查询一条数据，查询所有数据等操作。具体流程如下：1.创建项目2.获取jar包到项目的lib目录下（这边试用的事hbase 0.98 lib目录下的所有jar包）3.编写java程序4.编
2015-06-07 19:58:23
710
转载 cmd连接mysql的方法详解
连接：mysql -h主机地址 -u用户名 －p用户密码 （注:u与root可以不用加空格，其它也一样）断开：exit （回车）创建授权：grant select on 数据库.* to 用户名@登录主机 identified by \"密码\"修改密码：mysqladmin -u用户名 -p旧密码 password 新密码删除授权: revoke select,insert,up
2015-06-05 12:49:08
522
转载 hbase行键过滤器RowFilter
RowFilter是用来对rowkey进行过滤的,比较符如下:OperatorDescriptionLESS小于LESS_OR_EQUAL小于等于EQUAL等于NOT_EQUAL不等于GREATER_OR_EQUAL
2015-06-04 15:53:41
2480
转载 Git客户端（Windows系统）的使用
本文环境： 操作系统：Windows XP SP3 Git客户端：TortoiseGit-1.8.14.0-32bit 一、安装Git客户端 全部安装均采用默认！ 1. 安装支撑软件 msysgit: http://msysgit.github.i
2015-06-02 16:54:40
2153
转载 scala 及eclipse 插件安装
刚刚开始学习spark，需要用到scala，所以打算开始自学scala。前提是已经安装好jdk。（1）安装scala在官网上下载scala，本人下载scala-10.04 http://www.scala-lang.org/download/all.html其中windows下有两个版本。msi和exe，具体区别可百度查看。这边随便找了一个说明http://zhidao.baid
2015-06-01 13:43:50
1041
转载 centos 卸载自带的 java
一般情况下，我们都要将linux自带的OPENJDK卸载掉，然后安装SUN的JDK首先：查看Linux自带的JDK是否已安装 # java -version ／／ 查看已经安装的JAVA版本信息 一般将获得如下信息： java version "1.6.0" OpenJDK Runtime
2015-06-01 10:23:35
665
原创 STS初始化环境搭建
一、编码设为UTF-8 window->general->workspace二、设置maven user Settings 引用文件 window->maven->user Setting三、设置编码风格 window->java->code style 使用备用模版四、导入maven工程项目。五、配置server (tomcat)四、extjs插件引用 导入插件
2015-05-14 12:54:15
2223
原创 hbase入门
1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 //告诉hbase使用外部的zk expo
2015-05-06 16:41:55
422
原创 sqoop入门
一、安装sqoop 把安装包上传到linux系统，把数据库链接包（mysql-connector-java.jar)上传到sqoop目录的lib下面。二、到入数据 1 ./sqoop import --connect jdbc:mysql://192.168.1.100:3306/orcl --username system --passw
2015-05-05 21:28:07
462
转载 部署与管理ZooKeeper(转)
本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方面，可以查看《ZooKeeper快速搭建》。1.部署本章节主要讲述如何部署ZooKeeper
2014-12-01 16:35:33
519
转载 安装eclipse maven插件m2eclipse
安装eclipse maven插件m2ehttp://www.eclipse.org/m2e/Maven的Eclipse插件m2eclipse的安装The goal of the m2ec project is to provide a first-class Apache Maven support in the Eclipse IDE, making it easier to
2014-10-31 11:31:56
582
原创 oracle导出数据命令
exp czwms/czwms@orcl buffer=64000 file=/home/oracle/czwms2014-08-20.dmp owner=czwms
2014-08-20 16:16:07
572
原创 java掉plc串口通信helloworld源码
import spr.uhf.*;import spr.uhf.server.Collector;import spr.uhf.server.SocketListener;public class TestClass implements TagEvent,Runnable{ @Override public void TagArrived(AlienReader di
2014-07-16 10:16:27
5958
原创 plsql连接oracle12
经过3个小时的折腾，终于在64位win8系统下成功安装了Oracle 12c。这篇文章主要把安装过程中遇到的一些问题总结一下，以便帮助后来人参考。首先我把我的机器的主要配制情况列举出来：1、 系统：win8，64位2、 内存：8G一、下载Oracle 12c直接到Oracle官网进行下载就可以了，地址为：http://www.oracle.com/technetwork/dat
2014-05-18 17:39:42
4109
原创 hadoop中hdfs通讯原理
1、对hdfs的操作方式：hadoop fs fs *****hadoop fs -ls / 查看hdfs的跟目录下的内容hadoop fs -lsr / 递归hdfs的根目录下的内容hadoop fs mkdir /d1 在hdfs上创建文件夹 hadoop fs -put xxx ****** 把linux数据从xxxxx上次到hdfs
2014-04-24 16:51:16
727
原创 hadoop
1、对hdfs的操作方式：hadoop fs fs *****hadoop fs -ls / 查看hdfs的跟目录下的内容hadoop fs -lsr / 递归hdfs的根目录下的内容hadoop fs mkdir /d1 在hdfs上创建文件夹 hadoop fs -put xxx ****** 把linux数据从xxxxx上次到hdfs
2014-04-24 16:50:34
720
原创 linux下hadoop初始化环境搭建
使用root用户登录一、开始设置静态Ip, 1. 在桌面右上角的图标上右键修改 2.重启网卡，执行命令service network restart 3.执行命令查看ip是否配置成功ifconfig,二、主机名修改 1.修改当前会话主机名，执行命令hostname ****(hadoop)
2014-04-22 13:44:59
1618
转载 Ext4.2.1学习历程之一：环境搭建及Hello ExtJS4.2
1、从官网下载ExtJS4.2资源包，解压开有源代码、API文档、演示程序；2、官网地址：http://www.sencha.com/products/extjs3、在Eclipse中新建项目，我这是建的maven项目4、将下载的extjs需要的资源文件复制到项目中，我放的是在webapp下的resources/js/ext4.2中，那么的资源文件不需要全导入，只需要导入我们用的如
2014-04-17 11:27:23
1536
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人