金玉良缘2017-CSDN博客

原创 scala样例类\模式匹配偏函数\并发编程模型

1、样例类样例类是一种特殊类，用来快速定义一个用于保存数据的类（类似于Java POJO类）scala编译器自动生成apply、toString、hashCode、copy方法在akka、spark、flink中会经常使用1.1 、定义样例类语法格式case class 样例类名([var/val] 成员变量名1:类型1, 成员变量名2:类型2, 成员变量名3:类型3)如果要实现某个成员变量可以被修改，可以添加var默认为val，可以省略示例 | 定义一个样例类需求定义一.

2021-12-18 14:46:23 262

原创 scala之类和对象

一、类和对象scala是支持面向对象的，也有类和对象的概念。我们依然可以基于scala语言来开发面向对象的应用程序。1、创建类和对象用法使用class来定义一个类使用new来创建对象示例创建一个Person类，并创建它的对象步骤创建一个scala项目，并创建一个Object添加main方法创建类和对象实现在IDEA中创建项目，并创建一个Object（main方法必须放在Object中）添加main方法创建一个Person类在main方法中创建Person类对象.

2021-12-18 14:36:20 783

原创 scala基础之数据结构和函数

一、数组scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组1、定长数组定长数组指的是数组的长度是不允许改变的语法// 通过指定长度定义数组 val/var 变量名 = new Array元素类型 (长度)// 用元素直接初始化数组 val/var 变量名 = Array(元素1, 元素2, 元素3...) 在scala中，数组的泛型使用 [] 来指定使用 () 来获取元素示例一定义.

2021-12-18 14:27:36 1023

原创 scala基础环境配置和基本语法

scala基本语法

2021-12-18 14:19:12 956

原创大数据精选面试题160道

大数据精选面试题160道01、 Hive和数据库比较Hive 和数据库除了拥有类似的查询语言，再无类似之处。1）数据存储位置Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的，3）执行延迟Hive 执行延迟较高。数据库的执行延迟较低。当然，这个是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。4）数据规模Hive支持很大规模的数

2021-07-12 18:08:48 1274 5

原创服务器磁盘挂载后直接移除磁盘出现的问题 Unable to resolve 'UUID=17678231as-56sd-78sd-88hh-93jk-as8998dsa'

直接移除挂载后的磁盘会出现的问题:解决方法如下:第一步:第二步:

2019-10-16 21:46:13 523

原创 Kylin大数据分析

1.概述1.1 Kylin是什么 Apache Kylin（Extreme OLAP Engine for Big Data）是一个开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集通过标准SQL查询及多维分析（OLAP）功能，提供亚秒级的交互式分析能力。1.2 Kylin的由来 Apache Kylin，中文名麒麟，是Hadoop动物园的重要成员。...

2019-04-20 20:16:40 4752

原创 Kylin 集群搭建

1.环境说明1.1 版本选择1.2Kylin 安装与配置1.2.1 软件下载下载地址：https://archive.apache.org/dist/kylin/apache-kylin-2.3.2/1.2.2 解压tar -zxvf apache-kylin-2.3.2-bin-cdh57.tar.gz1.2.3 建立软连接ln -s apache-kylin-2.3.2-...

2019-04-20 20:11:36 1786

原创 Linux清理内存命令

Linux清理内存命令1.清理前内存使用情况free -m2.开始清理echo 1 > /proc/sys/vm/drop_caches3.清理后内存使用情况free -m

2018-10-22 23:58:16 8691 2

原创 Linux如何修改系统时间和时区方法

Linux如何修改系统时间和时区方法修改时区:1 、第一步2、第二步修改时间:1 、第一步2、第二步修改时区:1 、第一步找到相应的时区文件 /usr/share/zoneinfo/Asia/Shanghai用这个文件替换当前的/etc/localtime文件。或者找你认为是标准时间的服务器，然后scp [email protected]:/etc/localtime /etc/loc...

2018-10-22 23:33:43 1428

原创 Hive常用命令总结

1.建表建表(默认是内部表)create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t'; 建分区表普通表和分区表区别：有大量数据增

2018-01-25 12:11:45 1521

原创 spark初级入门

原文摘自http://www.donghongchao.cn1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. Dataset:一个数据集，简单的理解为集合，用于存放数据的Distributed：它的数据分布式存储，并且可以做分布式的计算Re

2018-01-07 20:44:32 363

原创 spark基础入门

原文摘自http://www.donghongchao.cn1、spark概述spark是基于内存的一个计算框架，计算速度非常的快。这里面没有涉及到任何存储，如果想要处理外部的数据源，比如数据在HDFS上，此时我们就需要先搭建一个hadoop集群。2、spark的特点1、速度快（比mapreduce在内存中快100倍，比在磁盘中快10倍）（1）spark在处理的数据中

2018-01-07 20:41:38 468

原创 Scala基础入门(二)

http://www.donghongchao.cn1.数组1.1.数组 1.1.定长数组和变长数组（1）定长数组定义格式： val arr=new Array[T] (数组长度) （2）变长数组定义格式： val arr = ArrayBuffer[T] () 注意需要导包：import scala.collection.mutable.ArrayBufferi

2018-01-06 12:59:30 701

原创 Scala基础入门 (一)

http://www.donghongchao.cn1.Scala概述什么是Scala Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。2.Scala编译器安装2.1、安装JDK（因为Scala是运行在JVM平台上的，所以安装Scala之前要安装JDK

2018-01-06 12:53:15 329

原创 Flink架构、原理与部署测试

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效

2018-01-04 20:30:53 521

原创 Storm安装部署

原文摘自http://www.donghongchao.cn1.基础环境准备前提是安装好jdk,zookeeper这里不做描述2.安装storm下载安装包解压安装包tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/ cd /export/servers/修改配置文件mv /export/servers/

2018-01-01 12:01:56 236

原创 Kafka,zookeeper一键启动示例代码

启动zookeeper集群一键启动脚本的环境变量配置#set onekey envexport OK_HOME=/export/servers/oneKeyexport PATH=${OK_HOME}/zk:$PATHexport PATH=${OK_HOME}/storm:$PATHexport PATH=${OK_HOME}/kafka:$PATH关于黑洞一键启动的目录信息-rw-r-

2017-12-31 12:42:15 976

原创 Kafka集群搭建

1. 集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群2.集群部署的基础环境准备安装前的准备工作（zk集群已经部署完毕）关闭防火墙 chkconfig iptables off && service iptables stop 3.解压安装包tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/cd /export/

2017-12-31 12:40:53 263

原创 CentOS6.7mini版本依赖的yum

安装JDK ,MYSQL, Nginx,Redis,所依赖的yum包:yum install perl yum install libaio yum install -y make yum install -y cmake yum install -y gccyum install -y gcc-c++ yum install -y ncurses yum install -y

2017-11-26 16:36:10 1003

原创 Zookeeper,SolrCloud,Redis Cluster三种集群(伪集群)的搭建

1.什么是集群1.集群概念集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。2.集群的特

2017-11-25 17:03:06 1397

原创 JMS简介之ActiveMQ实例

1. JMS架构 Java 消息服务（Java Message Service，简称JMS）是用于访问企业消息系统的开发商中立的API。企业消息系统可以协助应用软件通过网络进行消息交互。JMS 在其中扮演的角色与JDBC 很相似，正如JDBC 提供了一套用于访问各种不同关系数据库的公共API，JMS 也提供了独立于特定厂商的企业消息系统访问方式。使用JMS 的应用程序被称为JMS 客户

2017-11-21 00:18:39 332

原创 ActiveMQ消息持久化

ActiveMQ消息持久化消息持久化就是将消息保存到磁盘，这样的好处就是如果服务挂了，则消息还保存在磁盘不会丢失，服务起来后还能找到消息并在此发送，消息的持久化和消息的发送模型是没有关系的。[html] view plain copy bean id="jmsTemplate" class="org.springfra

2017-11-21 00:15:06 314

原创 Hibernate-validator校验框架

1. 前言Validator开发者使用手册，适用后台校验功能的开发参考。文档中提到的功能，都是经过严谨测试验证过的，保证可用，请开发人员放心设计和开发。1.1. 背景在我们日常后台的开发中，涉及到很多的字段验证，一般普通的验证框架就基本上可以满足日常的开发需求，但有一些情况，这些普通的验证框架无法达到要求，例如，现在有一个Segment类，里面有一个属性deptCity，但

2017-11-21 00:10:21 1255

原创 angularJS表单验证

客户端表单验证是AngularJS里面最酷的功能之一。 AngularJS表单验证可以让你从一开始就写出一个具有交互性和可相应的现代HTML5表单。在AngularJS中，有许多表单验证指令。在这里，我们将谈谈几个最流行指令，然后我们将讨论如何编写自定义的验证。form name="form"> label name="email">Your emaillabel> inp

2017-11-21 00:03:09 334

原创 kindeditor简单使用

一、下载编辑器下载KindEditor最新版本(本版本为4.1.10)下载页面:http://kindeditor.net/down.php二、部署编辑器解压kindeditor-x.x.x.zip 文件,将所有文件上传到您的网站程序目录里,如图：PS：可以根据需求删除以下目录后上传到服务器。asp - ASP程序

2017-11-20 23:58:34 336

原创 bootstrap日期控件

日期时间选择器目前,bootstrap有两种日历。datepicker和datetimepicker,后者是前者的拓展。Bootstrap日期和时间组件：使用示例：从左到右依次是十年视图、年视图、月视图、日视图、小时视图使用时需要导入相应的CSS和js文件：可选的日期格式：yyyy-mm-ddyyyy-mm-

2017-11-20 23:50:01 2195

原创 JAVA常用算法之冒泡、选择、快速

排序：对一组数据进行从小到大（或从大到小）的顺序排列。排序算法有很多种，这里介绍Java中面试经常出现的三种排序方式：冒泡、选择、快速。冒泡：顾明思义，是气泡从液体的底部到顶部的过程，就像串糖葫芦一样，先决定最下面的数据。在算法的过程中是把一组数据从第一位开始两两比较（第1位和第2位，第2位和第3位…），选择大的值或者比较小的值交换到后面的位置。以这种方式比较第一轮后，这组数据中最大的值或者

2017-11-17 23:53:17 293

原创跨域资源共享 CORS 实现思路

CORS 定义Cross-Origin Resource Sharing（CORS）跨来源资源共享是一份浏览器技术的规范，提供了 Web 服务从不同域传来沙盒脚本的方法，以避开浏览器的同源策略，是 JSONP 模式的现代版。与 JSONP 不同，CORS 除了 GET 要求方法以外也支持其他的 HTTP 要求。用 CORS 可以让网页设计师用一般的 XMLHttpRequest，这种方

2017-11-17 19:58:05 1004

原创使用Spring MVC统一异常处理实战

1 描述在J2EE项目的开发中，不管是对底层的数据库操作过程，还是业务层的处理过程，还是控制层的处理过程，都不可避免会遇到各种可预知的、不可预知的异常需要处理。每个过程都单独处理异常，系统的代码耦合度高，工作量大且不好统一，维护的工作量也很大。那么，能不能将所有类型的异常处理从各处理过程解耦出来，这样既保证了相关处理过程的功能较单一，也实现了异常信息的统一处理和维护？答案是肯定的。下面

2017-11-16 19:03:36 299

原创单点登录之CAS原理和实现

1.开源单点登录系统CAS入门1.1 什么是单点登录单点登录（Single Sign On），简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。我们目前的系统存在诸多子系统，而这些子系统是分别部署在不同的服务器中，那么使用传统方式的session是无法解决的，我们需要使用相关的单点登录技术来解决。1.2 什

2017-11-14 21:46:44 109658 20

原创单点登录原理之简单实现

一、单系统登录机制1、http无状态协议　　web应用采用browser/server架构，http作为通信协议。http是无状态协议，浏览器的每一次请求，服务器会独立处理，不与之前或之后的请求产生关联，这个过程用下图说明，三次请求/响应对之间没有任何联系　　但这也同时意味着，任何用户都能通过浏览器访问服务器资源，如果想保护服务器的某些资源，必须限制浏览器请求；要限制浏览器请求

2017-11-13 22:20:31 562

原创 SpringBoot框架与短信解决方案

1.Spring Boot入门1.1什么是Spring BootSpring 诞生时是 Java 企业版（Java Enterprise Edition，JEE，也称J2EE）的轻量级代替品。无需开发重量级的Enterprise JavaBean（EJB），Spring为企业级Java开发提供了一种相对简单的方法，通过依赖注入和面向切面编程，用简单的Java对象

2017-11-13 16:32:25 8509 3

原创消息中间件解决方案JMS

1. JMS入门1.1消息中间件1.1.1品优购系统模块调用关系分析我们现在讲品优购已经完成的功能模块梳理如下：我们已经完成了5个web模块和4个服务模块。其中运营商后台的调用关系最多，用到了商家商品服务、广告内容服务、搜索服务和页面生成服务。这种模块之间的依赖也称之为耦合。而耦合越多，之后的维护工作就越困难。那么如果改善系统模块调用关系、减少模块之间的耦合呢？我们接下

2017-11-13 15:38:54 2390 1

原创网页静态化技术Freemarker

1.1为什么要使用网页静态化技术网页静态化解决方案在实际开发中运用比较多，例如新闻网站，门户网站中的新闻频道或者是文章类的频道。对于电商网站的商品详细页来说，至少几百万个商品，每个商品又有大量的信息，这样的情况同样也适用于使用网页静态化来解决。网页静态化技术和缓存技术的共同点都是为了减轻数据库的访问压力，但是具体的应用场景不同，缓存比较适合小规模的数据，而网页静态化

2017-11-13 15:15:05 2331

原创 solr搜索关键字高亮显示

solr搜索关键字高亮显示主要步骤:后端:1.高亮选项初始化 HighlightQuery query=new SimpleHighlightQuery(); HighlightOptions highlightOptions=new HighlightOptions().addField("item_title");//高亮域 highlightOptions.setSi

2017-11-07 11:21:02 4206

原创 Spring Security安全权限管理

1.Spring Security简要介绍Spring Security以前叫做acegi，是后来才成为Spring的一个子项目，也是目前最为流行的一个安全权限管理框架，它与Spring紧密结合在一起。Spring Security关注的重点是在企业应用安全层为您提供服务，你将发现业务问题领域存在着各式各样的需求。银行系统跟电子商务应用就有很大的不同。电子商务系统与企业销售自动化工

2017-10-29 17:28:15 326

原创 CSRF攻击与防御原理

一.CSRF是什么？　　CSRF（Cross-site request forgery），中文名称：跨站请求伪造，也被称为：one click attack/session riding，缩写为：CSRF/XSRF。二.CSRF可以做什么？　　你这可以这么理解CSRF攻击：攻击者盗用了你的身份，以你的名义发送恶意请求。CSRF能够做的事情包括：以你名义发送邮件，发消息，盗取

2017-10-29 16:04:51 305

原创 Hadoop之HDFS详解

******HDFS基本概念篇******1. HDFS前言l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据 2. HDFS的概念和特

2017-10-28 14:28:40 535

原创 Hadoop之快速入门

1.分布式系统概述注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 1.1 分布式软件系统(Distributed Software Systems)² 该软件系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能² 比如分布

2017-10-28 14:06:54 342