撸依天-CSDN博客

原创 CDH5 安装过程中的一些问题总结

在安装过程中出错，或者中断，想从头再来安装的，可执行下面的一些操作： master节点：关闭server、agent /opt/cm-5.5.0/etc/init.d/cloudera-scm-server stop /opt/cm-5.5.0/etc/init.d/cloudera-scm-agent stop rm -rf /opt/cloudera/parcel-cache

2015-12-16 15:15:30 2762

原创 CM离线安装CDH5.5.0

环境准备：本机：mac 虚拟机软件：parallels desktop 虚拟机系统：Linux-CentOS 6.5 64位主节点：master（1台）从节点：slave1（1台）原先设置了俩台从节点，资源太紧张，导致各种问题。做实验只能先部署俩台了。mster节点内存最少4G，slave1最少 1G。系统准备：1. 修改主机名： vim /etc/sysconfig

2015-12-16 14:55:04 1814

原创 MAC下安装与配置MySQL

一：下载mysql 访问MySQL的官网http://www.mysql.com/downloads/ 选择Cummunity 点击download，进入下载页面（http://dev.mysql.com/downloads/mysql/）选择需要的版本，如果你是用的Mac OS来访问的话那么就会默认为你选好了Mac OS X 平台：

2015-11-17 16:14:29 556

原创在shell中操作mysql

mysql -h(IP地址) -u(用户名) -p(密码) -P(端口) -D(数据库) -e “sql语句”mysql -h 172.25.25.42 -uroot -pmypassword -P3306 -D wyLoging -e "update Task t set t.content='$line' where t.taskid='$5' and t.username='$4'"

2015-10-28 09:55:09 372

转载 MyEclipse 编译卡顿

优化一下MyEclipse1 、关闭MyEclipse的自动validation windows > perferences > myeclipse > validation,将Build下全部勾取消需要验证某个文件的时候，可以单独去验证。方法是：在需要验证的文件上( 右键 -> MyEclipse -> Run Validation 。2、启动

2015-10-16 10:32:37 613

原创 Scala深入浅出实战经典：20,Scala中的本地函数与作为语言一等公民的函数详解

object FunctionOps { def main(args: Array[String]){ val width = args(0).toInt for(arg <- args(1)) processData(arg.toString(),width) } def processData(filename:Strin

2015-09-29 11:40:20 320

原创 Scala深入浅出实战经典：19,Scala中的正则表达式、与模式匹配结合的的Reg代码实战

object RegExpressOps { def main(args: Array[String]): Unit = { val regex = """([0-9]+) ([a-z]+)""".r val numPattern = "[0-9]+".r val numberPattern = """\s+[0-9]+\s+""".r

2015-09-29 10:51:36 360

原创 Scala深入浅出实战经典：18,Scala中文件的读取、写入、控制台输入操作代码实战

import scala.io.Sourceimport java.io.PrintWriterimport java.io.File/** * @author Lewis */object FileOps { def main(args: Array[String]): Unit = { //读取本地文件 val file = Source.from

2015-09-29 09:55:55 500 1

原创 Scala深入浅出实战经典：17,Scala中包、类、对象、成员、伴生类、伴生对象访问权限实战彻底详解

Scala包、类、对象、成员访问权限package spark{ package navigation{ private[spark] class Navigator{ protected[navigation] def useStarChart(){} class LegOfJourney{ p

2015-09-28 18:07:59 427

原创 Scala深入浅出实战经典：16,Scala中包的定义、包对象、包的引用、包的隐式引用代码实战

//包对象 package com.scala.spark package object people { val defaultName = "Scala" } package people{ //包对象中的类可以任意引用包对象内容 class people{ var name = defaultN

2015-09-28 17:42:50 400

原创 Scala深入浅出实战经典：15,Scala多重继承、多重继承构造器执行顺序及AOP实现

package com.wy.scala.oop/** * @author Lewis *///AOPtrait Action{ def doAction}trait TBeforeAfter extends Action { abstract override def doAction{ println("AAAAAAAAAa") supe

2015-09-25 17:16:59 436

原创 Scala 分布式计算数据与加减乘除相运算

先看一个程序：def main(args: Array[String]): Unit = { val str = "spark,hadoop,scala,java" val st = str.split(",") val map = new HashMap[String,Int]() var ps = "%" var sum = 17

2015-09-25 09:53:18 3281

原创 Scala深入浅出实战经典：14,Scala中作为接口的trait、在对象中混入trait代码实战

package com.wy.scala.oop/** * @author Lewis *//** * trait 类似于java中的interface接口 */trait Logger{ //抽象方法 //def log (msg:String) //带实现的抽象方法 def log(msg:String){}}//如果只是继承一个接口，用extends关键

2015-09-17 17:35:46 456

原创 Scala深入浅出实战经典：13,抽象类、抽象字段、抽象方法

package com.wy.scala.oop/** * @author Lewis */class AbstractClassOps{ var id : Int = _ //错误写法，在普通类中定义变量或常亮，需要赋值 //var id : Int }//定义一个抽象类abstract class SuperTeacher(val name:String){ //抽

2015-09-17 16:38:18 338

原创 Scala深入浅出实战经典：12,Scala中的继承：超类的构造、重写字段、重写方法代码实战

package com.wy.scala.oop/** * @author Lewis */class Persion1(val name:String,var age:Int){ println("The Class is father Person1") val school = "BJU" def sleep = "8 hours" override def t

2015-09-17 13:44:57 494

原创 Scala深入浅出实战经典：11,Scala中的apply实战详解

package com.wy.scala.oop/** * @author Lewis */class ApplyTest{ def apply() = println("I am into Spark so much !!!") def haveATry{ println("I want try on apply !") }}object ApplyTe

2015-09-17 12:09:03 344

原创 Scala深入浅出实战经典：10,Scala单例对象、伴生对象实战详解

package com.wy.scala.oop/** * @author Lewis *///伴生类class University{ val id = University.studentNo private var number = 0 def aClass(number:Int){this.number += number}}//伴生对象//Object里的对象全是静态

2015-09-17 11:43:01 326

原创 Scala深入浅出实战经典：9,Scala的内部类实战详解

package com.wy.scala.oop/** * @author Lewis */class Outer(val name:String){ outer => class Inner(val name :String){ def foo(b:Inner) = println("Outer: "+outer

2015-09-17 10:55:26 332

原创 Scala深入浅出实战经典：8,Scala主构造器、私有构造器、构造器重载实战详解

class Teacher(){//默认主构造器,无参的话可省略()}class Teacher{ var name : String _ //占位符 private var age = 27 private[this] val gender = "male" //构造器(附属构造器，附属构造器在最终形态上必定调用主构造器) def this（name:Stri

2015-09-11 18:22:45 472

原创 Scala深入浅出实战经典：7,Scala类的属性和对象私有字段实战详解

class Person { private var age = 0 def increment(){age += 1} def current = age}class Student { //var是private级别的，并且scala默认已经给声明了getter/setter var age = 0 //外部是调用不了privateAge的，只能被内部的isYounge

2015-09-11 18:09:15 394

原创 Scala深入浅出实战经典：6,Map、Tuple、Zip实战解析

视频下载地址：http://yunpan.cn/cmxUWhNukuXaM 访问密码 6790 大数据微信公众账号：DT_SparkMap操作， //> 标记是因为在scala worksheet上即时显示执行结果的标识符，类似shell命令行//定义一个可变的mapval map = scala.collection.mutable.Map("book"->10,"Run"->12,"IP

2015-09-02 14:31:28 357

原创 Scala深入浅出实战经典：5, Scala数组操作实战详解

/* *定长数组 */ val s = Array("Hello","World") //> s : Array[String] = Array(Hello, World) s(0)="GoleBye" s //> res0: Array[String] = Array(GoleBye, World) //int类型数组，是默认0 val num

2015-09-01 17:51:58 357

原创 Scala深入浅出实战经典：4、For与Function进阶实战、Lazy的使用

def main(args: Array[String]): Unit = { def addA(x:Int) = x+100 //实际应用中，不用浪费时间去给函数命名，因为它可以拿来试用,=>匿名函数 val add = (x:Int)=> x+100 //scala会自动推导类型，如x+100,不需要声明类型，递归时，需要声明 prin

2015-08-31 19:27:47 352

原创 Scala深入浅出实战经典：3,Tuple、Array、Map与文件操作入门实战

TupleOps 元组： def main(args: Array[String]): Unit = { val triple = (100,"scala","spark") println(triple._1) println(triple._2) println(triple._3) }Array数组： def main(args: Array

2015-08-31 17:00:39 344

原创 Scala深入浅出实战经典：2,Scala函数定义、流程控制、异常处理入门实战

Scala函数定义：关键字defdef dowhile(){ var line ="" do { line = readLine() println("Read:"+line) }while(line !="") }调用：object HelloScala{def main(args: Array[String]) {

2015-08-31 15:48:31 382

转载 org.hibernate.MappingException: No Dialect mapping for JDBC type: -1 解决方法搜藏

错误代码：[c-sharp] view plaincopyorg.hibernate.MappingException: No Dialect mapping for JDBC type: -1 at org.hibernate.dialect.TypeNames.get(TypeNames.java:79) at

2015-08-20 19:35:21 537

原创 Hbase0.98.6-CDH5.3集群搭建

CHD5.3搭建参考：以下俩种方式安装Hbase集群：一：tar包安装 1 . Hbase安装在39/40/41/42/43/44/45/46/47节点上，所以上传hbase压缩包hbase-0.98.6-cdh5.3.0.tar.gz到39节点，配置好39再同步其他节点 2 . hbase-site.xml内容修改如下：<configuration>

2015-08-11 17:02:18 1656

原创 Spark on Yarn 环境搭建（CDH5.3）

前提条件：1. 以现线上集群为模拟环境，搭建一套CDH5.3的hadoop集群（http://blog.csdn.net/korder/article/details/46909253） 2. 执行用户（此处以root为执行用户，真实环境另做处理）部署：1. 启动hadoop集群，如：38节点安装的主namenode [root@JXQ-23

2015-08-11 16:27:05 1688

原创 Spark将HDFS数据导入到HBase

本程序运行环境：Spark+HDFS+HBase+Yarn hadoop（HDFS+Yarn）集群搭建，参考：http://blog.csdn.net/korder/article/details/46909253 Spark on Yarn，参考：http://blog.csdn.net/korder/article/details/47422345 HBase集群搭建，参考：hbase表结

2015-08-11 16:16:03 2328

转载 Hbase shell 常用命令

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create ‘表名称’, ‘列名称1’,’列名称2’,’列名称N’添加记录 put ‘表名称’, ‘行名称’, ‘列名称:’, ‘值’查看记录get ‘表名称’, ‘行名称’查看表中的记录总数count ‘表名称’删除记录delete ‘表名’ ,’行名称’

2015-08-11 15:32:05 309

原创 yarn 根据applicationId查看日志

前提需要yarn开通日志聚合设置yarn logs -applicationId application_1436784252938_0022

2015-08-11 14:07:51 8233

原创 zookeeper与hbase

1，myid就是zoo.cfg里面的server.x=ip：A：B中的x。 2，如果hbase不管理zookeeper情况下，需要设置hbase-env.sh里面的export HBASE_MANAGES_ZK设置为false。 3，hbase管理zookeeper进程，和独立的zookeeper进程名字是不一样的。引用HQuorumPeer进程是hbase管理的zookeeper

2015-08-10 19:56:09 1691

转载【采集层】Kafka 与 Flume 如何选择

采集层主要可以使用Flume, Kafka两种技术。Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API.Kafka：Kafka是一个可持久化的分布式的消息队列。 1. Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS

2015-08-10 17:32:34 329

原创 Scala深入浅出实战经典:1,Scala开发环境搭建和HelloWorld解析

安装Scala，还有IDE工具不用介绍了，网上很多资料哦！Window环境选用Scala IDE，新建一个ScalaInAction工程，新建Object：HelloScala.scalapackage com.dt.scala.helloobject HelloScala { def main(args: Array[String]): Unit = { pri

2015-08-01 11:02:42 597

原创 redis的安装部署（单机）

1 . 首先安装c的编译环境： yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernheaders yum -y install glibc-common yum -y install glibc-devel yum -y

2015-07-30 11:17:51 303

原创 Spark 1.X 大数据平台V2(第四周作业)

1 . 假如数据源来自网络，数据默认会在几个node的内存中缓存住。• A. 1• B. 2• C. 3选B 当数据源来自于网络时（例如通过Kafka、Flume、sockets等等），默认的持久化策略是将数据保存在两台机器上，这也是为了容错性而设计的。2 . Spark Streaming默认持久化的级别是什么？• A. 内存+序列化• B. 内存+非序列化

2015-07-29 14:18:07 449

原创 kill掉yarn正在运行的job/app

启动一个spark streaming，一直在跑，看着烦人，直接杀掉cd /usr/lib/hadoop-yarn/bin ./yarn application -kill application_1436784252938_0013查看状态： ./yarn application -status application_1436784252938_0013

2015-07-29 12:19:29 5654

原创 Hadoop Web UI Queues参数解析

hadoop是通过队列管理集群资源，翻开集群Web UI，找到Schedule查看Queue State : queue 的状态 Used Capacity : 0.0% 已使用资源占队列配置值的百分比Absolute Used Capacity : 0.0% 已使用资源占集群的百分比Absolute Capacity : queue 至少可以使用系统资源占集群的百分比 Absol

2015-07-28 14:46:04 1132

原创 hadoop-CDH5.3 集群搭建（详细）

一. 准备工作规划： 1 . CDH5的YUM源设置：安装httpd作为http的yum源服务[root@JXQ-23-27-48 ~]# yum install httpd配置yum源（需要开通网络80端口）[root@JXQ-23-27-38 ~]# cat /etc/yum.repos.d/cloudera-cdh5.repo [cloudera-cdh5]# Package

2015-07-16 11:36:00 3736

原创 Failed to start Hadoop datanode. Return value: 1

启动某data节点失败：service hadoop-hdfs-datanode startstarting datanode, logging to /var/log/hadoop-hdfs/xxxx.outFailed to start Hadoop datanode. Return value: 1 [FAILED]vim /var/log/hadoop-hdfs/xxx

2015-07-14 11:00:08 2222

hadoop distcp

distcp一般用于在两个HDFS集群中传输数据,如果集群在hadoop的同一版本上运行，就适合使用hdfs方案： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

2015-02-05

nagios监控（脚本，插件，操作文档）

包含nagios的server代码，nrpe插件全代码，还有所需全部软件包，安装使用操作文档，截图说明等。

2014-11-10

双机热备（定时，实时同步数据）

rsync的一个插件，用于实现俩台机器间的实时数据同步，另包含俩份文档，一份定时同步操作步骤，一份实时同步操作步骤

2014-11-05

网站上传工具

经典FTP工具稳定，在网站建设时，上传代码到空间服务器或试用的虚拟空间，比较方便。

2013-12-16

windowsFTP

搭建俩台windows机器ftp功能：把下载包里的FTP工具上传到windows服务器安装好之后，并注册个用户，如admin,密码admin 启动ftp服务在本地用一些ftp客户端工具，如xftp，WinSCP等... 跟服务器建立连接，密码用户就用admin OK

2013-09-17

破解方法：下载 PowerDesigner12.5 后有一个 license.lic 和 pdflm12.dll 两个文件，license.lic 是用于破解序号的，pdflm12.dll 是用于替换原来安装后的文件，破解首先用 pdflm12.dll 替换安装要目录的 pdflm12.dll 文件. 然后启动PD，菜单中找到 Tools ==>> License Parameters ==>> 选第一个，然后先load找到下载的 license.lic 文件，重启即破解完成。备注：（如果用的是试用期到期，首先替换pdfml2.dll文件，启动PD后进入注册中心，选第一个下一步，点load加载license.lic文件，下一步，在下拉列表中找到勾选中文，同意注册完成）

2013-09-13

QuickEasyFTPServer4.0.0服务端

需要FTP客户端的请链接：http://download.csdn.net/detail/funk4/5545977

2013-06-08

FlashFXPE_xp510破解版

FlashFXP是一款功能强大的FXP/FTP软件，集成了其它优秀的FTP软件的优点，如CuteFTP的目录比较，支持彩色文字显示；如BpFTP支持多目录选择文件，暂存目录；又如LeapFTP的界面设计。支持目录（和子目录）的文件传输，删除；支持上传，下载，以及第三方文件续传；可以跳过指定的文件类型，只传送需要的本件；可自定义不同文件类型的显示颜色；暂存远程目录列表，支持FTP代理及Socks 3&4；有避免闲置断线功能，防止被FTP平台踢出；可显示或隐藏具有“隐藏”属性的文档和目录；支持每个平台使用被动模式等。

2013-06-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

hadoop distcp

nagios监控（脚本，插件，操作文档）

双机热备（定时，实时同步数据）

WIN7虚拟机VM8下安装XP(深度技术版)

网站上传工具

windowsFTP

PowerDesigner125Crack破解

QuickEasyFTPServer4.0.0服务端

FlashFXPE_xp510破解版

润乾报表跨域问题解决方案

Everything_1.2.1.37

FusionCharts-v3.1破解版

SSHSecureShellClient-3.2.9

JAVA 反编译工具jad

空空如也