- 博客(27)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 cron服务
cron服务是linux的内置服务，但它不会开机自动启动。可以用以下命令启动和停止服务： /sbin/service crond start /sbin/service crond stop /sbin/service crond restart /sbin/service crond reload 以上1-4行分别为启动、停止、重启服务和重新加载配置。 要把cron设为在开机的时候自动
2017-09-14 16:24:21
597
原创 Spark编程模型RDD设计以及运行原理
**Spark编程模型RDD设计以及运行原理** 一、 RDD介绍 RDD：弹性分布式数据集,是一个分区的只读记录的集合。也可以这样理解，是一个提供了许多操作接口的数据集合。它还包括容错、数据集内的数据可以并行处理等。 二、 RDD操作类型 RDD的操作类型分为两类，转换（transformations）和行动（action），转换是根据原有的RDD创建一个新的RDD，行动是对R
2017-08-17 15:16:00
475
原创 Spark运行模式
**Spark运行模式** 一、 Spark运行架构介绍 术语定义： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函数，并且创建SparkContext。SparkContext为Spark准备运行环境，
2017-08-17 15:12:38
496
原创 Spark以及生态圈介绍
**Spark以及生态圈介绍** 一、 Spark简介 官方解释： Apache Spark™ is a fast and general engine for large-scale data processing. 打开官网网站解释一下。 二、 Spark关键词 三、 Spark生态系统 • Spark Core：包含Spark的基本功能；尤其是定义
2017-08-17 15:06:17
899
原创 IKAnalyzer介绍及使用
**IKAnalyzer介绍 使用** 一、 IK介绍 为什么要分词呢，刚开始介绍的时候介绍过，我们要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。至于详细的介绍我们后期进行项目实战的时候会一一介绍，目前我们只需要学会用这个工具，为之后的项目实战打下基础。 IK Analyzer是什么呢，就是我们需要的这个工具，是基于java开发的轻量级的中文分词工具
2017-08-17 15:00:29
4506
原创 HDFS单机版安装
**HDFS单机版安装** 一、 准备机器 10.211.55.8 9000、50070、8088 二、 安装 1、 安装java环境export JAVA_HOME=/data/program/software/java8export JRE_HOME=/data/program/software/java8/jreexport CLASSPATH=.:$CLASSP
2017-08-17 14:56:43
625
原创 Kafka集群安装
**Kafka安装** 一、利用三台服务器做KAFKA集群。 服务器1 10.211.55.7 9092 服务器2 10.211.55.8 9092 服务器3 10.211.55.9 90921.1 下载 kafka_2.9.2-0.8.1 下载地址：https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0
2017-08-17 14:52:21
211
原创 Kafka背景及架构介绍
**背景及架构介绍** 一、 背景 什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。 原本开发自LinkedIn，用作他们的活动流和运营数据处理管道的基础，之后被多家公司使用，慢慢发展壮大起来。 二、 简单介绍 kafka是分布式的，基于发布/订阅的消息系统。 1、 即使对TB级以上数据也能保证常数时间复杂度的访
2017-08-17 14:46:15
462
原创 Mongodb安装
**Mongodb** 一、 准备机器 操作系统：centos 6 机器：10.211.55.7 端口：27017 二、 安装 1、 下载MongoDB（64位）wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.tgz2、 安装MongoDB（安装到/data/program/softwa
2017-08-17 14:41:50
228
原创 安装zookeeper，并配置集群
安装zookeeper，并配置集群1、准备三台机器做集群 服务器1 10.211.55.7 2181/2881/3881 服务器2 10.211.55.8 2181/2881/3881 服务器3 10.211.55.9 2181/2881/3881 2、配置 2.1配置java环境 将jdk-8u141-linux-x64.tar.gz上传到三台服务器安装配置。
2017-08-17 14:35:46
618
原创 Zookeeper详解
Zookeeper详解 一、 zookeeper是什么 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务 具体介绍可以看官方网站：https://zookeeper.apache.org/ 二、 zookeeper能做什么 1、 配置维护：在分布式系统中，一般会把服务部署到n台机器上，服务配置文件都是相同的，如果配置文件的配置选项发生了改变，那我们就得一台一
2017-08-17 14:23:08
271
原创 一、ELK安装配置
**elk安装配置**ELK 由 ElasticSearch 、 Logstash 和 Kibana 三个开源工具组成。 ElasticSearch：负责数据的索引和查询。 Logstash：负责数据的收集和过滤以及存储。 Kiabana：负责界面展示，利于查询和查看。一、安装ElasticSearch 1.1、安装jdk，官网下载jdk安装并且配置环境变量。 这边只是列出java环境变
2017-03-24 11:19:12
549
原创 六、DC/OS 运行 marathon-lb
**DC/OS 运行 marathon-lb**1、增加对外的marathon-lb,通过dc/os ui 默认安装，或者通过cli安装 前提：必须存在一个public agent $ dcos package install marathon-lb 安装成功后可访问：http://public agent ip:9090/haproxy?stats 2、增加内部的marathon-lb
2017-01-11 10:28:27
682
原创 五、DC/OS 增加节点
**DC/OS 增加节点**1、前期环境配置参考： http://blog.csdn.net/huohuangfengcheng/article/details/53994851 http://blog.csdn.net/huohuangfengcheng/article/details/539779202、拷贝dcos-install.tar到要增加的节点，关于如何找到这个文件可以参考如下链
2017-01-11 09:53:50
777
原创 四、DC/OS local-universe安装配置
**DC/OS local-universe安装配置**1、参照 *安装配置DC/OS 注意事项（http://blog.csdn.net/huohuangfengcheng/article/details/53967406）中的2和3做好python的配置 2、git 拉取universe的源码 $ git clone https://github.com/mesosphere/univ
2017-01-08 15:58:23
1188
原创 三、DC/OS运行spark
DC/OS运行spark1、提交命令如下： dcos spark run –submit-args=’–deploy-mode cluster –num-executors 4 –executor-cores 1 –executor-memory 2G –conf spark.mesos.coarse=false –conf spark.driver.cores=1 –conf spark.dri
2017-01-07 01:18:58
875
原创 二、DC/OS 安装前期准备
**DC/OS 安装前期准备**如果运行df -Th 显示Type为xfs格式，那么就不需要看以下配置，如果不是，则需要更改为xfs格式。 df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 1.9G 0 1.9G 0% /dev tmpfs
2017-01-03 15:26:09
489
原创 一、DC/OS 安装前期准备
一、DC/OS 安装前期准备前提：服务器选择的centos7.2，这里以一台服务器为例，其他服务器全部执行相同操作。 1、配置服务器hostname hostnamectl set-hostname dcos005 2、生成key,并将key传递到所有其他服务器，实现ssh免密码登录 ssh-keygen -t rsa ssh-copy-id -i /root/.ssh/id_rsa.p
2017-01-02 13:56:45
785
原创 **安装配置DC/OS 注意事项*
**安装配置DC/OS 注意事项*1、dc/os 1.8 需要python3的支持，dc/os默认带有python3。2、如果想自己安装本地库（local universe）执行命令：#make local-universe，出现如下错误： File “/usr/python3.5/lib/python3.5/urllib/request.py”, line 1324, in unknown
2017-01-01 18:08:00
1709
3、Cenos环境准备（java环境、hosts配置、防火墙关闭）.mp4
2020-07-30
2、scala和IDE的安装以及使用以及maven插件的安装.mp4
2020-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人