李国华技术博客-CSDN博客

原创数据采集之解析Mysql的binlog日志发送至Kafka实时消费

本文采用Maxwell来实现实时解析mysql的binlog日志发送至kafka1、开启mysql binlog 环境中mysql是docker容器,所以需要进入容器修改mysql配置. docker exec -it ef07dab4da9d bash 然后进入/etc/mysql/ 修改my.cnf 增加如下内容 server-id=1 l...

2018-03-07 16:09:26 7208 2

原创 spark基础-001

1 概述## 1.1 简介 ##Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。利用内存数据存储和接近

2018-01-19 16:20:11 704

原创 Jenkins , Gitlab 配置自动化部署

前提条件：已安装好gitlab,jenkins本文的jenkins版本为ver. 2.73.2jenkins 需要先安装Gitlab Hook Plugin，GitLab Plugin，Gitlab Authentication plugin，有些方式安装的jenkins,没有包含这几个插件。1、jenkins源码管理项，配置项目的gitlab地址，和要构建的分支。2、j

2018-01-17 16:03:23 2748

原创简单Spark源码分析

1 Master启动流程1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数，并调用startRpcEnvAndEndpoint（）创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv（AkkaSystem），创建masterEndPoint（actor），new Master（），实

2018-01-15 19:53:33 608

原创 centos7用Let's Encrypt 获取免费证书实现https访问

本文通过Let’s Encrypt获取免费的证书，缺点是需要三个月更新一次。具体操作步骤如下：安装certbot yum -y install yum-utils yum-config-manager --enable rhui-REGION-rhel-server-extras rhui-REGION-rhel-server-optionalyum install

2018-01-12 16:22:59 3728

转载 TMMi连接传统与敏捷--2017中国首届TMMi国际峰会在京圆满举行

2017年11月2日，由TMMi基金会(TMMi Foundation)、盘古运营主办的2017中国首届TMMi国际峰会在北京举行，TMMi基金会认证主席Clive Bates先生、盘古运营总裁张永海先生、TMMi基金会中国分会代表陈磊先生及中国人民银行、中国建设银行、中国银行、中国农业银行、中国邮政储蓄银行、浦东发展银行、中国光大银行、云南农信、泰康保险集团、赛富投资基金、杭州市金融投资集团、上

2018-01-08 13:44:14 97102

原创【云星数据---mesos实战系列】：marathon实战Constraints篇-003

GROUP_BY operatorGROUP_BY can be used to distribute tasks evenly across racks or datacenters for high availability.$curl -v -X POST http://192.168.100.30:8080/v2/apps \ -H Content-Type:application/j

2017-12-05 16:52:16 1523

原创【云星数据---mesos实战系列】：marathon实战Constraints篇-002

CLUSTER operatorCLUSTER allows you to run all of your app’s tasks on slaves that share a certain attribute. This is useful for example if you have apps with special hardware needs, or if you want to r

2017-12-05 16:45:26 715

原创【云星数据---mesos实战系列】：marathon实战Constraints篇-001

1.概念Marathon可以通过Constraints来控制其app在何处运行我们可以通过Marathon的REST API或者Marathon gem(marathon client)来设置app的constraints配置。Constraints由三个部分组成：字段名(field name)，操作(operator), 可选参数(optional parameter) 其中字段名(fi

2017-12-05 16:39:16 857

原创【云星数据---Scala实战系列(精品版)】：Scala入门教程064-Scala实战源码-类访问伴生对象中的成员2

package scala_tutorial.demo18_accessModifier/** * Created by liguohua on 2015/8/2. */ class Pig { //默认private[Pig] private var name1 = “kitty” //Pig类私有 private[Pig] var name2 = “citt

2017-12-01 14:32:49 492

原创【云星数据---Scala实战系列(精品版)】：Scala入门教程063-Scala实战源码-类访问伴生对象中的成员

package scala_tutorial.demo18_accessModifier/** * Created by liguohua on 2015/8/2. */class Cat { /* 一、类访问伴生对象中的成员 */ val n1=Cat.name1//ok val n2=Cat.name2//ok //val n3=Cat.name3//

2017-12-01 14:30:54 583

原创【云星数据---Scala实战系列(精品版)】：Scala入门教程062-Scala实战源码-访问权限

package scala.demo18_accessModifier/** * Created by liguohua on 2015/8/2. */ /** * 1.访问权限有private和protected两种 * 1.1.private表示私有 * 1.2.protected表示为继承 * 2.访问权限可以作用于，类，实例，变量 * 3.访问权限可以指明所属

2017-12-01 14:29:41 516

原创【云星数据---Scala实战系列(精品版)】：Scala入门教程061-Scala实战源码-Scala包引用的语法

package scala_tutorial.demo17_package/** * Created by liguohua on 2015/8/2. */ /* 一、包引用的语法 1.引入HashMap import java.util.HashMap 2.引入HashMap和HashSet import java.util.{HashMap,HashSet}

2017-12-01 14:27:03 531

原创云星数据---Scala实战系列(精品版)】：Scala入门教程060-Scala实战源码-Scala package 包对象

Scala 包对象包中类package scala_learn.demo17_package/** * Created by liguohua on 2017/8/2. */package object hadoopp { //数据 var name = "hadoopp" //方法 def fun1(): Unit = { println("package obje

2017-12-01 09:36:28 447

原创云星数据---Scala实战系列(精品版)】：Scala入门教程059-Scala实战源码-Scala package 包

Scala package 包/** * Created by liguohua on 2015/8/2. *//**1.Scala的包是为了组织代码，中有两种包物理包和逻辑包*2.物理包就是文件夹,用于组织文件*3.逻辑包就是代码块,用于组织代码(包中只能写类或包)*4.逻辑包有的带{}，有的不带{}*///这是一个逻辑包，没有{}，从定义处到文件的文件的结束(可以不写)pac

2017-12-01 09:32:16 512

原创云星数据---Scala实战系列(精品版)】：Scala入门教程058-Scala实战源码-Scala 正则 Regex

Scala 正则package scala_learn.demo15_Regeximport scala.util.matching.Regex/** * Created by liguohua on 2017/3/31. */class O1_RegexDemo {}object O1_RegexDemo { def main(args: Array[String]) { //

2017-12-01 09:30:05 496

原创云星数据---Scala实战系列(精品版)】：Scala入门教程057-Scala实战源码-Scala IO 演示键盘输入信息

Scala IO 演示键盘输入信息package scala_learn.demo14_IO/** * Created by liguohua on 2017/3/31. */class O2_IODemo {}object O2_IODemo { //演示，如何从键盘输入信息 def main(args: Array[String]) { print("Please ente

2017-12-01 09:28:26 688

原创云星数据---Scala实战系列(精品版)】：Scala入门教程056-Scala实战源码-Scala IO 读写

Scala IO 读写package scala_learn.demo14_IOimport java.io._import scala.io.Source/** * Created by liguohua on 2017/3/31. * */class O1_IODemo {}object O1_IODemo { def main(args: Array[String]) { }

2017-12-01 09:25:32 482

原创云星数据---Scala实战系列(精品版)】：Scala入门教程055-Scala实战源码-Scala 异常处理

Scala 异常处理package scala_learn.demo13_Exceptionimport java.io.{FileNotFoundException, FileReader, IOException}/** * Created by liguohua on 2017/3/31. *//** * 1.在scala中的异常和java中的异常处理模型基本一致 * 2.对应异常的

2017-12-01 09:23:18 477

原创云星数据---Scala实战系列(精品版)】：Scala入门教程054-Scala实战源码-Scala implicit 操作05

Scala implicit 操作05package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */class O6_ImplicitDemo {}object O6_ImplicitDemo { def main(args: Array[String]) { val g = new Gra

2017-11-30 09:26:38 1332

原创云星数据---Scala实战系列(精品版)】：Scala入门教程053-Scala实战源码-Scala implicit 操作04

Scala implicit 操作04package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */class O5_ImplicitDemo {}object O5_ImplicitDemo { def main(args: Array[String]) { val rs = 0.incr(

2017-11-30 09:25:10 443

原创云星数据---Scala实战系列(精品版)】：Scala入门教程052-Scala实战源码-Scala implicit 操作03

Scala implicit 操作03package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */class O4_ImplicitDemo {}object O4_ImplicitDemo { def main(args: Array[String]) { implicit val nam

2017-11-30 09:23:48 430

原创云星数据---Scala实战系列(精品版)】：Scala入门教程051-Scala实战源码-Scala implicit 操作02

Scala implicit 操作02package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */class O3_ImplicitDemo {}object O3_ImplicitDemo { def main(args: Array[String]) { implicit var s=

2017-11-30 09:22:16 405

原创云星数据---Scala实战系列(精品版)】：Scala入门教程050-Scala实战源码-Scala implicit 操作01

Scala implicit 操作01package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */class O2_ImplicitDemo {}object O2_ImplicitDemo { def main(args: Array[String]) { //应用增强 impl

2017-11-30 09:19:24 434

原创云星数据---Scala实战系列(精品版)】：Scala入门教程049-Scala实战源码-Scala implicit 操作

Scala 为不允许修改的类增强功能package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */class O1_ImplicitDemo {}object O1_ImplicitDemo { def main(args: Array[String]) { //为不允许修改的类增强功能

2017-11-29 10:09:14 475

原创云星数据---Scala实战系列(精品版)】：Scala入门教程048-Scala实战源码-Scala Match操作

Scala Match操作package scala_learn.demo11_Collection/** * Created by liguohua on 2017/7/31. */object O8_Match { def main (args: Array[String]) { //1.基本类型的match matchType(10) matchTyp

2017-11-29 10:05:32 611

原创云星数据---Scala实战系列(精品版)】：Scala入门教程047-Scala实战源码-Scala method操作

Scala method操作package scala_learn.demo11_Collection/** * Created by liguohua on 2017/3/1. */object O7_MethodDemo { def main(args: Array[String]) { test8 } def test8(): Unit = { //1到100之

2017-11-29 09:59:45 386

原创云星数据---Scala实战系列(精品版)】：Scala入门教程046-Scala实战源码-Scala foreach操作

Scala foreach操作package scala_learn.demo11_Collection/** * Created by liguohua on 2017/3/1. */object O6_Foreach { def main(args: Array[String]) { test4 test3 test2 test1 } def t

2017-11-29 09:55:32 449

原创云星数据---Scala实战系列(精品版)】：Scala入门教程045-Scala实战源码-Scala Map操作

Scala Map 操作package scala_learn.demo11_Collection/** * Created by liguohua on 2017/3/1. */object O5_Map { def main(args: Array[String]) { test6() } def test6(): Unit = { var mp1 = Map("

2017-11-29 09:53:15 392

原创云星数据---Scala实战系列(精品版)】：Scala入门教程044-Scala实战源码-Scala 元组Tuple操作

Scala 元组Tuple操作package scala_learn.demo11_Collection/** * Created by liguohua on 2017/3/1. */object O4_Tuple { def main(args: Array[String]) { test5 } def test5: Unit = { //定义一个元组,key=(

2017-11-29 09:51:26 449

原创云星数据---Scala实战系列(精品版)】：Scala入门教程043-Scala实战源码-Scala Set操作

Scala Set操作package scala_learn.demo11_Collection/** * Created by liguohua on 2017/3/1. */object O3_Set { def main(args: Array[String]) { test3() } def test3(): Unit = { val st = Set(3, 5

2017-11-29 09:45:47 380

原创云星数据---Scala实战系列(精品版)】：Scala入门教程042-Scala实战源码-Scala 集合List

Scala 集合 List操作package scala_learn.demo12_Collection/** * Created by liguohua on 2017/3/1. */object O2_List { def main(args: Array[String]) { test07() } def test4(): Unit = { val ls = Li

2017-11-29 09:35:44 417

原创云星数据---Scala实战系列(精品版)】：Scala入门教程041-Scala实战源码-Scala 数组array

Scala 数组array操作package scala_learn.demo11_Collectionimport scala.collection.mutable.ArrayBuffer/** * Created by liguohua on 2017/3/1. */object O1_Array { def main(args: Array[String]) { test5()

2017-11-29 09:15:57 562 1

原创云星数据---Scala实战系列(精品版)】：Scala入门教程040-Scala实战源码-Scala Case Class 02

Scala Case Classpackage scala_learn.demo10_CaseClass/** * Created by liguohua on 2017/8/5. *//** * 1.case class可以继承其他类 * 2.case class 中默认重写了tostring和apply和unapply和copy方法 * 3.case object可以继承其他类，它是

2017-11-29 09:09:57 389

原创云星数据---Scala实战系列(精品版)】：Scala入门教程039-Scala实战源码-Scala Case Class 01

Scala Case ClassCase Class 可以让编译器自动生成一些常用方法和伴生对象package scala_learn.demo10_CaseClass/** * Created by liguohua on 2017/3/1. */class O1_CaseClassDemo {}object O1_CaseClassDemo { def main(args: Arr

2017-11-28 10:38:28 401

原创云星数据---Scala实战系列(精品版)】：Scala入门教程038-Scala实战源码-Scala match语句03 类型匹配

Scala match case 类型匹配package scala_learn.demo09_Match/** * Created by liguohua on 2017/3/1. */class O3_MatchDemo {}object O3_MatchDemo { def main(args: Array[String]) { test("2") } def test

2017-11-28 10:30:11 448

原创云星数据---Scala实战系列(精品版)】：Scala入门教程037-Scala实战源码-Scala match语句02 条件守卫

Scala match case 条件守卫package scala_learn.demo09_Match/** * Created by liguohua on 2017/3/1. */class O2_MatchDemo {}object O2_MatchDemo { def main(args: Array[String]) { test1 } def test1: U

2017-11-28 10:27:24 451

原创云星数据---Scala实战系列(精品版)】：Scala入门教程036-Scala实战源码-Scala match语句01

Scala match语句scala中的match语句用来在一个列表中选择某一个分支来执行分支的语句块，类似于其他语言中的swtich..case语句package scala_learn.demo09_Match/** * Created by liguohua on 2017/3/1. */class O1_MatchDemo {}object O1_MatchDemo { def

2017-11-28 10:23:10 1106

原创云星数据---Scala实战系列(精品版)】：Scala入门教程035-Scala实战源码-Scala apply方法03 创建对象demo

Scala apply() 创建对象demodemopackage scala_learn.demo08_Apply/** * Created by liguohua on 2017/3/31. */class O4_ApplyDemo {}object O4_ApplyDemo { def main(args: Array[String]) { //用object Stud

2017-11-28 10:13:21 421

原创云星数据---Scala实战系列(精品版)】：Scala入门教程034-Scala实战源码-Scala apply方法02 初始化对象

Scala 调用apply() 初始化对象package scala_learn.demo08_Apply/** * Created by liguohua on 2017/3/1. */ class O2_ApplyDemo {}object O2_ApplyDemo { def main(args: Array[String]) { //创建对象的方式一 va

2017-11-28 10:06:43 371

空空如也

空空如也