- 博客(13)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 ES集群监控总结
一、参考资料http://www.54tianzhisheng.cn/2017/10/18/ElasticSearch-nodes-metrics/ https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics/#memory-usage-and-garbage-collection二、前言最近在研究ES集群监控方
2017-11-23 14:30:48
17430
1
原创 ESrally离线测试环境搭建
安装一、必要安装 Python31.下载2.解压3.安装 yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-develsudo mkdir /usr/local/python3sudo Python-3.5.0/configure --prefix=/usr/local
2017-09-28 15:20:05
6453
3
原创 Elasticsearch.5.4.1+kibana5.4.1+IK分词集群搭建
报错问题解决es安装过程中可能会遇到以下错误，对应解决方案错误1：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]修改：/etc/security/limits.conf* hard nofile 65536
2017-09-01 17:58:30
3181
原创 返回第N大的数--Mysql（学习）
最近在做leetcode上数据库的题，如何返回第N大的值。题目如下： Write a SQL query to get the nth highest salary from the Employee table.+----+--------+| Id | Salary |+----+--------+| 1 | 100 || 2 | 200 || 3 | 300
2016-06-22 20:05:36
3889
2
原创 Centos 文件存储目录容量扩展
之前博客有关于CDH的安装教程，但是最近在使用集群的时候发现集群中的hdfs总的存储空间与规划有较大差异，后来发现是文件目录容量的问题。本篇博客主要讲解如何更改特定目录的存储空间大小。步骤：1. 查看文件系统据图，由于我的hdfs存储目录是在根目录"/"下，因此实际这个节点上的存储空间只有50G,但是可以看出在/dev/mapper/vg_slave7-lv_home下总空间有234G,大量的空间
2016-06-20 15:15:43
7151
1
原创 Hive1.2本地模式安装教程--hive学习
hive安装方式有内嵌方式、本地方式和远程方式。此次搭建hive的目的主要是项目需要学习hive，因此选用较为简单方便的本地模式。这个需要借助mysql，下面进入具体步骤。一、环境搭建1.hadoop搭建 hive其实工作原理就是将sql查询语句转换为mapreduce的程序，因此安装hadoop是前提，当然其中也包含jdk的安装以及相关的一些配置。本文不介绍hadoop安装，
2016-05-04 21:34:12
1951
原创 CDH5.7快速离线安装教程
一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。 由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH
2016-04-17 20:06:08
20192
9
原创 spark中flatMap函数用法--spark学习（基础）
说明在spark中map函数和flatMap函数是两个比较常用的函数。其中 map：对集合中每个元素进行操作。 flatMap：对集合中每个元素进行操作然后再扁平化。 理解扁平化可以举个简单例子val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))arr.flatmap(x=>(x._1+x._2)).foreach(println)输出
2016-02-25 08:54:46
60672
13
原创 Centos6.7安装Navicat--Mysql学习
最近要用到数据库，之前一直没有怎么认真学习过，正好借这次学习的机会记录一下自己学习的过程。 我选择练手的数据库是强大的Mysql，首先第一步当然是自己要搭一个mysql的平台了。我有一个原则，所以学习上的软件能装在linux上就绝不用windows，原因主要是windows如果重装了之后学习软件重新配环境会非常麻烦。好了闲话不多说。一、工具选择学习过mysql的都知道mysql分为服务器程序和客户
2016-01-11 13:52:52
5135
2
原创 MLlib回归算法（线性回归、决策树）实战演练--Spark学习（机器学习）
最近太忙，自己的机器学习进度耽误了两个星期，现在才把回归这一章看完。闲话不多说，本篇文章依旧是《Spark机器学习》中的内容。书上的代码全部是用python写的，但是由于我最近一直使用的是Scala，所以本篇博客使用的是scala，当然这样就没法像书中那样画图了。 第六章将的是回归算法，主要用到的是线性回归与决策树算法，老规矩这里不讲原理（主要是自己讲不清楚），想知道原理的建议参考Andrew N
2015-12-21 21:59:49
19125
6
原创 MLlib分类算法实战演练--Spark学习（机器学习）
因为自身原因最近再学习spark MLlib，看的教材是《spark机器学习》，感觉这本书偏入门并且有很多实操，非常适合新手。下面就是我在学习到第五章关于分类算法的一些要点，最要是通过代码实操，具体算法原理就不介绍。一、数据来源及开发环境开发环境：为了方便代码管理这里使用了IDEA集成开发环境，单机进行代码调试感觉很方便嘛，主要环境与我前两篇博客中部署的环境一致。数据源：机
2015-12-12 20:39:31
6231
5
原创 IDEA部署Spark1.5.2开发环境--Spark学习（基础）
一、安装包1.ideaIC-15.0.1.tar.gz(社区版本免费) 2.scala-2.10.4.tgz切记scala版本选择要与官网一致，不然要出错（刚开始学习的时候在这里卡了很久） 二、scala安装1.解压scala的gz安装包tar zxvf scala-2.10.4/sudo mv scala-2.10.4/ /opt/2.环境变量配置用vim打开/etc/profile添加配置
2015-12-07 21:42:25
1629
原创 Spark1.5.2安装--Spark学习（基础）
一直想学习着写博客做个备忘，但是一直懒也没有开始做，终于最近虚拟机的东西太多了想重新装一个虚拟机，由于自己是学数据挖掘的，就写一篇关于单机版spark的安装攻略来练练手。安装包准备spark原理什么的这里就不介绍了，有问题大家最好参考官方文档，网址为：这里写链接内容。 本次安装主要用到的安装包如下： 1.spark-1.5.2-bin-hadoop2.6.tgz 2.hadoo
2015-12-03 21:17:33
2595
Fast Data Processing with Spark, 2nd Edition.pdf
2015-08-24
HTTP协议解析（提取URL、计算get post成功率、计算响应时延）
2015-05-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人