- 博客(50)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Mysql 到 Hbase 数据如何实时同步，强大的 Streamsets 告诉你
很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式：业务直接或间接写入的方式业务的关系型数据库同步到大数据集群的方式第一种可以是在业务中编写代码，将觉得需要发送的数据发送到消息队列，最终落地到大数据集群。第二种则是通过数据同步的方式，将关系型数据同步到大数据集群，可以是存储在 hdfs 上，使用 hive 进行分析，或者是直接存储到 hbase 中。其中数据同步又可以大致分...
2019-01-26 11:54:39
4297
2
原创 【Hbase】掌握这些常用 hbase shell 命令，工作更轻松
本文将介绍一些开发以及运维工作中经常用到的 Hbase Shell 命令。作为开发以及运维人员这些常用命令是需要了解并经常使用的，当然可以不必将他们死记硬背下来。如果在某些场景下想到需要使用某个命令，但是又不知道具体的使用方法时，可以扫一眼这篇文章（熟练使用 mysql 命令的用户可能会觉得 hbase shell 命令的设计有点费解–!）。Hbase Shell 为 Hbase 提供了一套“...
2019-01-05 15:40:58
300
原创 Apache Flume 入门教程
概要Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生的数据、电子邮件信息等等。Apache Flume 是 Apache 基金会的顶级项目，在加入 Apache 之前...
2018-11-09 09:47:01
1213
翻译 当制造业说需要 AI 时，其实是在说需要数据
人工智能（AI）和机器学习（ML）将要（正在）对制造业产生巨大影响。利用这些技术，制造商将获得非常可观实用的计算能力，这些能力帮助制造商解决以往人工无法有效解决的问题。它们将为制造商一直在寻求的生产问题提供更加理想的答案。这意味着能帮助我们尽可能高效地生产产品，减少资源浪费。AI 以及 ML 都是这个时代具有突破性意义的技术。人们对它的能力毋庸置疑。但是，由于许多制造商缺乏获得真正的 AI 和...
2018-10-24 21:44:23
255
原创 Apache Storm系列 之二（ 轻松搞定 Storm 安装与启动）
Storm 是开源免费的分布实时计算系统（Apache Storm is a free and open source distributed realtime computation system）。这里提到了两个关键词：分布式实时1、分布式意味着 Storm 是部署在多台主机上，它解决并发性（多机资源同时作业）以及可用性（一台主机出现问题，计算任务移交到其他机器）问题分布式自然而...
2018-10-22 16:09:22
1406
原创 【译】Apache Storm系列 之一（概念）
本文列出 Storm 的几个主要概念，并会给出相关资源的链接以便你获取更多信息，概念主要如下：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkers拓扑（Topologies）实时应用程序的逻辑被打包到 Storm 拓扑中。一个 Storm 拓扑类似于一个 MapReduce 任务。关键的区别...
2018-10-17 23:03:12
184
原创 Cloudera Manager 之四（管理控制台）
Cloudera 管理控制台是一个网站页面，你可以用它来配置、管理以及监控 CDH。如果服务已经配置，控制台头部的导航栏将显示如下：导航栏显示以下信息：集群（Clusters > cluster_name）服务（Services） - 展示个别服务，以及 Cloudera Management 服务，在这个页面你可以：查看服务实例的状态以及其他细节，也可以查看与服务相关的...
2018-10-11 14:08:22
2401
原创 Cloudera Manager 之三（安装）
操作系统: CentOs6.4 虚拟机（4核 3G）主机： cdh01(server & agent) + cdh02( agent )CDH版本：cdh5.7.1jdk8准备工作关闭防火墙在两台主机上都运行一下命令service iptables stop设置主机名vim /etc/sysconfig/network将HOSTNAME 分别改成cdh01和c...
2018-10-01 14:27:42
416
原创 Cloudera Manager 之二 （架构）
架构（Architecture）如下图所示，Cloudera Manager 的核心是 Cloudera Manager Server（一下简称Server）。Server 托管管理控制台 web 服务和应用程序逻辑，并负责软件的安装、配置、服务的启动与关闭以及管理集群。Server 和其他一些组件共同工作：Agent - 安装在每台主机上。Agent 负责进程的启动和停止，解压配置，触...
2018-09-30 22:47:36
3315
原创 Cloudera Manager 之一 （概述）
Cloudera Manager 是一个端到端用于管理CDH集群的程序。Cloudera Manager提供了CDH群集很多细节的可视化和控制，因此它为企业化部署提供了一个标准。它使得企业能够高效、合理地管理集群。使用Cloudera Manager，用户可以轻松部署和集中操作完整的CDH堆栈和其他托管服务。这个程序可以自动地安装相关服务，将部署时间大大缩短。它为您提供运行主机和服务的集群范围的...
2018-09-29 16:08:32
3485
原创 Apache Hadoop文档翻译之四（Edits Viewer指南）
概述离线Edits查看器是一个解析Edits日志文件的工具。目前的程序用于不同格式之间的转换，包括xml(比二进制文件更易读且容易修改)。这个工具可以解析formats -18及以后的版本。这个工具只操作文件，并不需要Hadoop集群处于运行状态。输入格式支持：1、二进制2、xml格式输出格式：1、二进制2、xml格式3、stats:打印统计数据用法XML Processor...
2018-09-27 17:35:36
213
原创 Apache Hadoop文档翻译之三（用户指南）
目的该文档是用户使用Hadpoop分布式文件系统(HDFS)的起点，不管是作为hadoop集群的一部分来使用还是独立的通用分布式文件系统。虽然在很多场景下HDFS被设计成“正常工作”即可，但是掌握更多的HDFS工作机制将有利于更好的配置以及诊断。概述HDFS是使用Hadoop程序来实现的分布式存储系统。一个HDFS集群主要包含管理文件系统命名空间的Namenode以及存储实际数据的Datan...
2018-09-27 17:34:52
290
原创 Apache Hadoop文档翻译之二（HDFS命令指南）
概要所有的HDFS命令使用bin/hdfs脚本来调用。空参数运行该脚本将展示所有命令的介绍。使用方法: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop有一个选项解析框架，它采用解析通用选项以及运行类。COMMAND_OPTIONSDescription–config --log...
2018-09-26 11:43:28
686
原创 Apache Hadoop文档翻译之一（HDFS架构）
Apache Hadoop项目为高可用、可扩展、分布式计算开发开源软件。Apache Hadoop软件库是一个平台，它使用简单的编程模型让跨机器上大数据量的分布式计算变得简单。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身被设计用来在软件层面检测和处理故障，而不是依赖硬件来提供高可用性，因此，在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。介...
2018-09-20 21:46:03
410
原创 Apache Spark文档翻译之一 （快速入门）
英文版原文本教程为使用spark的快速入门介绍。首先我们会通过Spark的交互式shell(Python或者Scala)来介绍API，然后展示如何使用java、scala以及python来编写spark程序。跟随这个指导，首先从Spark官网下载spark软件包。因为我们未必正在使用HDFS，你可以下载针对任何版本hadoop的spark软件包。注意，在Spark 2.0之前，spark主...
2018-09-18 15:29:50
670
原创 Elasticsearch（二）基础API
集群健康curl localhost:9200/_cat/health?vepoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent1535619893 ...
2018-09-18 15:28:39
171
原创 Elasticsearch（一）介绍及安装
初识A Distributed RESTful Search Engine它能让你以一个之前从未有过的速度和规模，去探索你的数据“A Distributed RESTful Search Engine” 翻译过来就是一个分布式Restful搜索引擎，这句话基本能大致概括Elasticsearch。如果稍微详细一点呢：搜索引擎首先，它是一个搜索引擎：Elastic...
2018-09-18 15:27:56
344
原创 Spring boot（二）使用redis实现session共享
默认 HttpSession 是通过 Servlet 容器创建和管理，保存在内存中，这种情况无法做到多个服务之间的 session 共享。使用 Redis 将 session 剥离服务进程，多个服务的进程便可以共享 session。不做自定义配置情况下，spring boot 使用默认的 HttpSession。要想使用 redis 来管理 session 的话，spring boot 提...
2018-09-18 15:26:18
276
原创 Spring boot（一） IDEA热部署设置
make project automatically ⌘ + ⇪ + A 输入make project automatically 并打钩compiler.automake.allow.when.app.running ⌘ + ⇪ + A 输入Registry，找到 compiler.automake.allow.when.app.running并打钩修改po...
2018-07-20 23:54:19
184
原创 程序员之设计、编程思考
设计设计工作 无论软件工程中的哪一个步骤，工作的开展都是为了解决一些实际问题 架构设计、子系统设计、功能模块设计，甚至类的设计，这些都是设计工作。原则 设计工作的开展是在一定的环境下进行，有很多的耳熟能详的规范或者原则（可扩展、高可用、高性能）。个人经历有限，自认为评判设计工作是否开展合理的重要一点是合适性。这甚至可以作为设计工作开展的准则，为什么这么说...
2018-07-09 11:26:25
360
原创 Java集合
关于Java集合（Java Collection） 本质是数据结构，用于存储数据。不同类型集合对应不同的数据结构，用于数据的不同组织形式。 由JAVA语言提供，开发人员直接使用，提升开发人员效率，同时Java集合有着非常好的性能。 对集合知识掌握地越好，越能更好地使用它们存储对象 Java集合只能存放对象，基本类型（int,float,double,long）...
2018-07-04 22:33:23
373
原创 Java图片添加水印
更新点考拉博客文章发布增加首页背景图片图片增加文本水印,根据图片大小自动设置水印字体大小Java增加水印代码/** * Created by march on 2018/6/27. * 图片工具类 */import java.awt.*;import java.awt.image.BufferedImage;import java.io.File;impo...
2018-06-27 22:02:32
513
原创 Markdown入门
Markdown美化文档组织形式（轻松的产出优雅清新的文档）标记语言，意味着有自己的语法，but，很简单特定的时候，丢弃word吧工具1. 各类笔记软件支持markdown格式，提供相应的功能，用户在不掌握markdown语法的情况下也能轻松使用 : `有道云笔记、Quiver等`2. markdown编辑器 : `StackEdit、MaDe、ReTex...
2018-06-27 11:53:22
184
原创 Hbase安装
环境操作系统：Centos 6.4jdk: 1.7.79hadoop: 2.6.4hbase: 0.99.2三台主机：mini01(namenode+hbase master) +mini02(datanode + hbase regionserver) +mini03(datanode + hbase regionserver)部署一、解压hadoop-2.6.4.tar.gztar -zxvf...
2018-02-25 15:47:47
174
原创 hadoop集群环境搭建(2)--双NameNode
环境操作系统：Centos 6.4jdk: 1.7.79hadoop: 2.6.4四台主机：mini01(namenode) +mini02(datanode) +mini03(datanode) +mini04(namenade)部署一、解压hadoop-2.6.4.tar.gztar -zxvf hadoop-2.6.4.tar.gz 二、配置文件修改修改5个文件：hadoop-env.sh、...
2018-02-09 17:22:28
499
1
原创 hadoop集群环境搭建(1)--单NameNode
环境操作系统：Centos 6.4jdk: 1.7.79hadoop: 2.6.4三台主机：mini01(namenode) +mini02(datanode) +mini03(datanode)部署一、解压hadoop-2.6.4.tar.gztar -zxvf hadoop-2.6.4.tar.gz 二、配置文件修改修改5个文件：hadoop-env.sh、core-site.xml、hdfs...
2018-02-02 10:50:24
352
原创 zookeeper集群配置
环境操作系统：Centos 6.4jdk: 1.7.79zookeeper:3.4.6部署1、解压2、修改conf/zoo.cfgdataDir=/home/app/zookeeper-3.4.6/dataserver.1=mini01:3333:4444server.2=mini02:3333:4444server.3
2018-02-01 10:12:07
219
原创 ssh免密登录
A->BA上：1、ssh-keygen解释：生成一对公钥私钥2、ssh-copy-id B的IP解释：将A上刚生成的公钥拷贝到B上的授权列表中3、ssh B的IP4、B到A方法一样，做完之后便可互相免密登录
2018-01-29 18:56:01
150
原创 Tensorflow:fully_connected_feed.py运行报错
Traceback (most recent call last): File “fully_connected_feed.py”, line 279, in tf.app.run(main=main, argv=[sys.argv[0]] + unparsed) TypeError: run() got an unexpected keyword argument ‘argv’
2017-12-02 17:35:35
1235
原创 Java transient
transient翻译过来是短暂的意思。实际开发中有一些需要序列化的需求，比如将内存对象序列化进行网络传输，网络另一端反序列化得到对象；再比如tomcat关闭时将session对象序列化到本地磁盘（或者缓存），等重启时从本地磁盘（或缓存）反序列化出来。但根据实际情况，对象的部分属性（成员）序列化，比如一些不重要属性（成员）或者一些隐私信息（比如密码想被别人看到），则可以使用transien
2017-11-25 09:50:15
439
原创 javacTask: 源发行版 1.7 需要目标发行版 1.7
1、idea设置：File->Settings->Compiler->Java CompilerUse compiler 选 JavacProject bytecode version 选 1.7Per-module bytecode version 中的Target bytecode version 选 1.72、maven设置右键工程->Maven->
2017-11-14 18:30:13
1751
原创 zabbix监控mysql之Warning: Using a password on the command line interface can be insecure.
使用zabbix自带模板对mysql进行监控时，发现mysql5.6以上版本在使用mysqladmin时会发出警告：“Warning: Using a password on the command line interface can be insecure.”这样zabbix服务端获取数值的时候，会带有改字符串，导致报错。解决办法很简单：将mysql的警告信息重定向到/dev/null
2017-10-31 18:11:42
16914
4
原创 正则表达式总结
首先对表达式有个认识：通俗的讲，正则表达式就是用一个“字符串”来描述一个特征，然后去验证另一个“字符串”是否符合这个特征。1、普通字符匹配正则表达式被匹配字符串是否匹配匹配结果babdc是bbdabdc是bdeabdc否 bdcabdc是bdc2、
2017-09-29 11:08:47
281
原创 Geo redis实现附近的车辆/人
前段时间业务需要实现一个用户查看附近车辆的服务：用户根据自己的定位坐标（经度、纬度）来快速搜索到附近的车辆，可以根据半径进行搜索。 根据需求也制定了几个技术方案，思路是这样的：将用户的坐标跟数据库中各个车辆的最新坐标进行距离计算，找到指定距离内的车辆并按照距离从小到大排序返回给业务。这种方法需要找到每辆车的最新定位，数据库中车辆定位数庞大，查询时数据库压力较大，并且每辆车需要计算一次距离，整个流程的耗时耗费数据库资源可想而知。考虑第二种方案，因为现在业务所有车辆的最新定位都保存在缓存中（memcach
2017-09-15 14:24:26
3501
5
原创 Redis性能指标详解与监控
本文介绍如何使用zabbix对redis性能进行监控，知识点主要包括redis-cli info命令的使用、zabbix客户端脚本的编写、zabbix监控项（item）如何与脚本对应这些。掌握以上基本上能够明白zabbix自定义监控项配合客户端脚本的使用方法以及相关redis状态的基本知识，能够应对线上redis基本的存活、并发情况、内存、cpu等情况的把握。redis部分指标介绍监控性能
2017-09-13 14:37:18
16478
1
转载 redis-cli命令总结
转自http://www.cnblogs.com/silent2012/p/5368925.html连接操作相关的命令默认直接连接 远程连接-h 192.168.1.20 -p 6379ping：测试连接是否存活如果正常会返回pongecho：打印select：切换到指定的数据库，数据库索引号 index 用数字值指定，以 0 作为起始索引值quit：关闭连接（connectio
2017-09-13 14:24:02
3337
原创 Accessible only as active check
最近使用zabbix自带的日志监控项对项目日志进行监控，配置完成后监控项报”Accessible only as active check”错误。 该问题解决如下： 1、检查zabbix_agentd.conf中ServerActive是否配置正确，该项为zabbix server的ip地址。 2、检查zabbix_agentd.conf中Hostname是否配置正确，该项与zabbix se
2017-08-29 09:38:15
6537
原创 centos python2.7安装numpy
1、numpy介绍Numpy是Python的一个科学计算的库，提供了矩阵运算的功能，类似的还有intel mkl库、matlab矩阵库等等，在机器学习中会大量使用矩阵以及相关运算。numpy不包含在python内部，所以使用前需要进行库的安装。2、环境centos 6.2 python 2.7.11 点击下载 numpy1.9.2 点击下载3、python安装检查下机器原来是否就装有pyth
2017-08-27 15:36:43
4393
原创 zabbix 3.0 nginx监控
一、zabbix agent端操作 1、查看nginx是否开启stub status 编译选项中必须包含–with-http_stub_status_module，如果没有需要带上–with-http_stub_status_module重新编译nginx2、配置nginx.conf[root@VM-4ac91edd-f241-426b-bf24-a14dc5d1ae2f conf]
2017-08-23 09:39:08
613
原创 zabbix 3.0 短信报警配置
1、管理->报警媒介类型->创建媒体类型 2、管理->用户->选择一个用户点击进入->报警媒介->添加 3、配置->动作->创建动作 4、在zabbix server机器上，创建短信脚本(/usr/local/zabbix-3.0.3/share/zabbix/alertscripts/sendSMS.sh)，这里手机号写死了，其实可以直接使用zabbix传过
2017-08-21 11:12:19
882
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人