定格我的天空-CSDN博客

docker-composedocker-compose 简介Docker-Compose 项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排Docker-Compose 项目由 Python 编写，调用 Docker 服务提供的API来对容器进行管理。因此，只要所操作的平台支持 Docker API，就可以在其上利用Compose 来进行编排管理Docker-Compose 用来实现Docker容器快速编排通过 Docker-Compose ，不需要使用shel

2022-04-07 13:46:03 1509

原创分布式文档存储MongoDB

MongoDB体系结构 MongoDB是一款高性能的NoSQL(Not Only SQL 不仅仅SQL)数据库NoSQL 和 MongoDBNoSQL=Not Only SQL，支持类似SQL的功能，与Relational Database相辅相成。其性能较高，不使用SQL意味着没有结构化的存储要求(SQL为结构化的查询语句)，没有约束之后架构更加灵活NoSQL数据库四大家族列存储 Hbase,键值(Key-Value)存储 Redis,图像存储 Neo4j,文档存储 MongoD

2022-03-11 22:31:52 881

原创架构内功-常用设计模式总结

文章目录设计原则开闭原则依赖倒置原则单一职责原则接口隔离原则迪米特法则里氏替换原则三大设计模式创建型模式工厂模式单例模式建造者模式结构型模式适配器模式桥接模式装饰器模式代理模式行为型模式责任链模式迭代器模式观察者模式状态模式策略模式模板模式设计原则开闭原则**开闭原则定义**: 一个软件实体如类、模块和函数应该对扩展开放，修改关闭。所谓的开闭，也正是对扩展和修改两个行为的一个原则。强调的是用抽象构建框架，用实现扩展细节。可以提高软件的可复用性及可维护性，开闭原则，是面向对象设计中最基础的设计原则。

2022-01-20 13:50:27 1603

原创海量数据之Sharding-JDBC分库分表

分库分表ShardingSphere

2022-01-14 21:32:18 851

原创 Sparkstreaming之KafKa持久化offsets到Zookpeer数据读取

SparkStreaming+Kafka的两种模式receiver模式和Direct模式Sparkstreming + kafka recevier模式理解receiver模式理解：在SparkStreaming程序运行起来后，Executor中会有receiver tasks接收kafka推送过来的数据。数据会被持久化，默认级别为MEMORY_AND_DISK_SER_2,这个级别也...

2019-10-16 10:16:29 266

原创 Spark实现ALS最小二乘法

ALS算法流程：初始化数据集和Spark环境切分测试机和检验集训练ALS模型验证结果检验满足结果，直接推荐商品，否则继续训练ALS模型数据集的含义数据根式用户ID，产品ID，评分1,11,21,12,31,13,11,14,01,15,12,11,22,12,22,13,22,14,12,15,43,11,23,12,33,13,13,14,03...

2019-06-24 14:23:09 624

原创 Hbase参数调优

注: 前面两个是在hbase-env.sh文件中，其它的都是hbase-site.xml中HBase Master Maximum Java heap sizeHmaster进程最大使用堆空间大小，默认1G，如果内存充裕可调到2-4GRegionServers maximum Java heap sizeRegionServer进程最大使用堆空间大小，默认2G,Cloudera专家建议内存...

2019-05-31 14:53:54 570

原创 Hive实战性能调优

概述Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive 并不能够在大规模数据集上实现低延迟快速的...

2019-05-31 08:44:10 208

原创 Spark SQL实现自定义聚合函数

概述spark自定义聚合函数需要继承一个抽象类UserDefinedAggregateFunction，并需要重写属性和方法:inputSchema：函数的参数列表，不过需要写成StructType的格式bufferSchema：中间结果的类型，比如求和时，a、b、c相加，需要先计算a+b并保存结果ab,然后计算ab+c，这个ab就是中间结果。dataType：返回值结果类型，显示是Da...

2019-05-29 15:39:56 1148

原创 Spark实现自定义累计器

前述Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。累机器相当于统筹大变量，常用于计数，统计。注意事项1、能不能将一个RDD使用广播变量广播出去？不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。2、广播变量只能在Driver端定义，不能在Executor端定义。3、在Driver端可以修改...

2019-05-29 13:55:23 192

原创大数据之Azkaba任务调度

概述为什么需要工作流调度系统1.一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2.各任务单元之间存在时间先后及前后依赖关系3.为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行Azkaban的适用场景任务依赖 -> 任务的结果这样的话，整个的执行过程都需要人工参加，并且得盯着各...

2019-05-24 09:42:22 1461

原创 Hadoop实现100W数据取最大值

代码实现pom.xml文件配置 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.3&lt...

2019-04-30 14:53:39 417

原创 CentOS7.0安装Hadoop伪分布集群

Hadoop简要介绍Hadoop 是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。Hadoop生态图安装包下载http://mirror.bit.edu.cn/apache/hadoop/common/或https://pan.baidu.com/s/1rkX6ZH9Yrp...

2019-04-29 09:44:14 694

原创 SpringBoot+RabbitMQ集成

RabbitMQ基本原理MQ全称为Message Queue, 是一种分布式应用程序的的通信方法，它是消费-生产者模型的一个典型的代表，producer往消息队列中不断写入消息，而另一端consumer则可以读取或者订阅队列中的消息。RabbitMQ是MQ产品的典型代表，是一款基于AMQP协议可复用的企业消息系统。业务上，可以实现服务提供者和消费者之间的数据解耦，提供高可用性的消息传输机制，...

2019-04-18 10:46:50 187

原创 Scala编程之Actor

概述什么是Actor？一个actor是一个容器，它包含状态，行为，信箱，子Actor 和监管策略，所有这些包含在一个ActorReference（Actor引用）里。一个actor需要与外界隔离才能从actor模型中获益，所以actor是以actor引用的形式展现给外界的。Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所...

2019-04-11 14:04:46 270

原创 K-近邻算法（KNN）

K-近邻算法（Knn）其原理为在一个样本空间中，有一些已知分类的样本，当出现一个未知分类的样本，则根据距离这个未知样本最近的k个样本来决定。举例：爱情电影和动作电影，它们中都存在吻戏和动作，出现一个未知分类的电影，将根据以吻戏数量和动作数量建立的坐标系中距离未知分类所在点的最近的k个点来决定。算法实现步骤计算所有点距离未知点的欧式距离对所有点进行排序找到距离未知点最近...

2019-04-10 11:21:18 152

原创 Hadoop按日期统计访问次数

MapReduce编程主要组件InputFormat类：分割成多个splits和每行怎么解析。Mapper类：对输入的每对<key,value>生成中间结果。Combiner类：在map端，对相同的key进行合并。Partitioner类：在shuffle过程中，将按照key值将中间结果分为R份，每一份都由一个reduce去完成。Reducer类：对所有的map中间结果，...

2019-04-10 09:18:36 2661

原创 CentOS 安装Ambari

前置条件修改配置IP跟主机名映射，修改/etc/hosts[root@oracle ~]# cd /etc/yum.repos.d 进入指定目录下载ambari源[root@oracle yum.repos.d]# wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.r...

2019-03-29 09:36:32 348

原创 VUE连接MQTT即时通讯

MQTT安装MQTT安装EMQ安装请参考上一篇：CentOS7.0安装EMQ代理服务npm安装npm install mqtt前端代码实现mqtt服务器连接参数配置：export const MQTT_SERVICE = 'ws://172.80.5.222:8083/mqtt'export const MQTT_USERNAME = 'admin'export ...

2019-03-29 09:10:28 20583 15

原创 SpringBoot集成MQTT

MQTT介绍MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的轻量级协议，该协议构建于TCP/IP协议之上，MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等...

2019-03-28 17:20:10 10277 10

原创 CentOS7.0安装EMQ代理服务

安装文件包下载下载地址：http://emqtt.com/downloads/2318这里下载RPM安装包：emqttd-centos7-v2.3.11.zip解压文件# unzip emqttd-centos7-v2.3.11.zip配置emq环境vim /etc/profile# emqttexport EMQPATH=/usr/local/emq/emqtt...

2019-03-28 17:02:25 1966

原创 VUE使用axios请求封装工具使用

- axios 简介axios 是一个基于Promise 用于浏览器和 nodejs 的 HTTP 客户端，它本身具有以下特征：从浏览器中创建 XMLHttpRequest从 node.js 发出 http 请求支持 Promise API拦截请求和响应转换请求和响应数据取消请求自动转换JSON数据客户端支持防止 CSRF/XSRFnpm安装$ npm insta...

2019-03-28 15:56:48 241 1

原创 Spring boot集成Drools规则引擎

因公司项目业务需求，所以考虑了下集成规则引擎,最终考虑使用Drools规则引擎。所以此次学习使用了SpringBoot结合Drools7.14.0.Final版本- Drools引入依赖jar包<dependency> <groupId>org.drools</groupId> <artifactId>drools-core&lt...

2019-03-15 08:49:33 1082 1

原创 Spring Cloud Alibaba正式入驻Spring Cloud官方孵化器初试体验

上个月最后一天的凌晨，Spring Cloud Alibaba 正式入驻了 Spring Cloud 官方孵化器，并在 maven 中央库发布了第一个版本Spring Cloud Alibaba目前 Spring Cloud Alibaba 项目还处于 Spring Cloud 官方孵化器中，打开它 Github 的就能看到 “亲切” 的中文文档。中文文档链接：https://github...

2018-11-28 09:32:38 2660

原创 Consul的分布式锁实现

涉及到分布式锁（也称为全局锁）的实现，基于目前的各种工具，我们已经有了大量的实现方式，比如：基于Redis的实现、基于Zookeeper的实现。本文将介绍一种基于Consul 的Key/Value存储来实现分布式锁以及信号量的方法。分布式锁实现基于Consul的分布式锁主要利用Key/Value存储API中的acquire和release操作来实现。acquire和release操作是类似...

2018-11-14 13:00:02 2089

原创 Modbus TCP读取寄存器数据

modbus4j读取寄存器数据ModbusReadUtil读取工具类package cn.sync.modbus;import org.apache.log4j.Logger;import com.serotonin.modbus4j.BatchRead;import com.serotonin.modbus4j.BatchResults;import com.serotonin....

2018-10-10 15:03:49 14086

原创微信支付AES解密工具类

WechatAESUtil类public class WechatAESUtil {/*** 密钥算法*/private static final String ALGORITHM = "AES";/*** 加解密算法/工作模式/填充方式*/private static final String ALGORITHM_MODE_PADDING = "AES/ECB/...

2018-09-30 18:02:57 2059

原创 Linux CentOS 7.0在线安装MySQL 5.7版本

Linux CentOS 7.0在线安装MySQL 5.7版本Linux CentOS 7.0在线安装MySQL 5.7版本1、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/下载mysql源安装包shell&amp;amp;gt; wget http://dev.mysql.com/get/mysql57-com...

2018-09-30 15:37:01 2828 1

原创 JAVA实现map转成XML格式

JAVA实现map转成XML格式例如：代码块import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry;import org.dom4j.Document; import org.dom4j.DocumentException; im...

2018-08-21 16:08:49 6311

原创 linux两台服务器建立SSH信任关系

这里只讲解A——B单项信任关系（A可以直接ssh进入B）服务器A：192.168.1.20 zabbix_sever 服务器B：192.168.1.57 maven -------------------- 1、登录A，生成公钥以root管理员账号登录 [root@zabbix_server ~]# ssh-keygen -t...

2018-08-15 17:34:10 1043