chinsun_1的专栏

原创 机器学习 西瓜书 - 第一章 绪论

原创 第50课 Spark 2.0项目概述

第一步：需求：数据的输入和数据的产出，大数据技术项目好比一台榨汁机，                数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁； 第二步：数据量、处理效率、可靠性、维护性、简洁性 第三步：数据建模 第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出的架构； 第五步：我会再次思考大数据系统和企业I

原创 第16课：Scala implicits编程彻底实战

Scala,Implict,隐式转换

原创 第13课 Scala模式匹配实战

Scala 模式匹配，DT

原创 第13课Scala模式匹配实战

Scala 模式匹配

原创 关于Extjs翻页问题解决

Extjs3.X 查询翻页

原创 第8课：Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

本期内容1. DStream与RDD关系彻底研究2. Streaming中RDD的生成彻底研究

原创 第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

JobScheduler是SparkStreaming调度的核心，相当于Spark Core中高度中心的DAGScheduler。StreamingContext的start方法/** * Start the execution of the streams. * * @throws IllegalStateException if the StreamingContext i

原创 第6课：Spark Streaming源码解读之Job动态生成和深度思考

1. DStream三种类型：1) 输入的DStreams: Kafka，Socket，Flume；2) 输出的DStreams，是一个逻辑级的Action，它是SparkStreaming框架提出的，底层还是会被翻译成物理级别的Action，所谓物理级别的Action是RDD的Action；3) 中间的Transformation, 业务逻辑处理 2. 产生DStream

原创 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码

SparkStreaming,贯通Spark Streaming流计算框架,源码

原创 第4课：Spark Streaming的Exactly Once的事务处理

Exactly Once, Spark Streaming 事务,

原创 第3课：通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶

SparkStreaming

原创 第2课：通过案例对SparkStreaming透彻理解三板斧之二：解密SparkStreaming运行机制和架构

Spark Streaming运行机制

原创 第1课：通过案例对SparkStreaming 透彻理解三板斧之一

Spark Streaming在线黑名单过滤

原创 DT_大数据梦工厂 第18课 RDD持久化、广播、累加器

今天内容1.RRD持久化实战2.Spark广播实战3.Spark累加器实战

原创 DT_大数据梦工厂 第17课 RDD实战

今晚上课内容：1 map、filter、flatmap操作回顾2 reduceByKey、groupByKey3 join、cogroup join和cogroup是所有Spark学习者必须掌握的内容。大数据中最重要的算子操作是:join！！！！！以下是今天的项目实例及作业（用Scala写cogroup写一个实例）

原创 DT_大数据梦工厂 第8课 彻底实战详解使用IDE开发Spark程序

2016/1/9 课堂笔录Scala开发IDE：IDEA和Eclipse。开发系统：一般推荐Windows7 64位。Eclipse开发    开发第一个Scala程序第一步：修改依赖的Scala版本为Scala 2.10.x               Scala Library container: 2.10.6

原创 DT大数据梦工厂- 第5讲 隐式转换和并发编程

********** 隐式转换********** 1.隐式参数函数>class Person(val name:String)>class Engineer(val name:String,val salary:Double)>new Person("Spark").code//调用Person的code方法出错，无此方法>class

原创 DT大数据梦工厂- 第6课 精通Spark集群搭建与测试

20160106 课程笔记Spark上流行的存储框架： Hadoop的 HDFS 和 S3 云存储未来三至五年黄金组合框架：Spark+Tachyon+HDFSTachyon: 基于内存的分布式文件系统, 不同来源的数据,安装VMWare 软件电脑推荐16G: 两个 KINGSTON 8G，至少8G内存系统推荐Ub

原创 2016 第四讲 Scala模式匹配、类型系统彻底精通与Spark源码阅读

20160104 19:00-21:00 课程笔录Scala模式匹配：可以对值，类型，集合进行匹配（1）值匹配// a. data值为Spark,Hadoop或其他时def bigData(data: String){data match {  case "Spark" => println("Wow!!!")  case "Hadoop"

原创 Spark内核天机解密（2016）第三讲 Scala函数式编程

作业：统计一个文件夹下面所有的单词出现的总次数笔记：变量与函数>def fun1(name: String) {println(name)}fun1: (name: String)Unit>val fun1_v = fun1 _  //注意，是空格和下划线fun1_v: String => Unit = >fun1("Spark")Spark>fun1_

原创 2016 第2讲 Scala面向对象彻底精通及Spark源码阅读

2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程，学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。相比前一讲第二讲的内容更深入了，难度更高了，如果初学者的话课后真需要好好消化，包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看，加以巩固。关于第二讲的作业，读懂Spark Context和RDD至少70%代码的源码。

原创 Spart内核天机解密（2016）第一讲 Scala光速入门

Scala光速入门

原创 EXTJS 根据值显示不同图片

业务需求：根据后台取出的STATUS值，画面显示不同图片值为：Green,Red,Yellow图片名为：Green.jpg,Red.jpg,Yellow.jpg -------js部分-------...items: [  {   //后台带回的值     xtype: 'hidden',     fieldLabel: 'Status',

原创 取随机的商品代码 5 个

（1）SELECT SHOHINCD  FROM MMSYHINMASTER SAMPLE BLOCK(5) WHERE COMPANYID = 'F1'   AND DELETECLASS = '0'   AND ROWNUM  （2）SELECT SHOHINCD  from (select *          from MMSYHINMASTER

原创 select DATA FROM THE SIXTH TO TENTH(ORACLE)

<br />ORACLE SQL 分页取6~10条数据<br /> <br />/*失败版本*/<br />/*get data (from the sixth to the tenth*/<br />select T.*<br />  from (select b.*, ROWNUM <br />          from (select *<br />                  from T_JOB<br />                 where company_cd = 'S'<br

转载 about spring applicationContext.xml

<br />applicationContext.xml 详细配置［二］<br />Spring的applicationContext.xml文件 <br />applicationContext.xml 详细配置［一］J2EE及框架   2008-09-17 11:33  阅读1003   评论0 字号： 大大  中中  小小<!-- applicationContext.xml -->      <?xml version="1.0" encoding="UTF-8"?>    <!DOCTYPE be

原创 【This field BeanName.xxx is never read locally】

问题消息 This field BeanName.xxx is never read locally【BeanName.java】private String place_of_delivery_cd;public void setPlace_of_delivery(String place_of_delivery) { this.place_of_delivery = place_of_delivery;}public String getPlace_of_delive