- 博客(27)
- 收藏
- 关注
RSS订阅原创 基于关于SourceTree远程push代码时候报错
软件环境：SourceTree-2.7.6内置Git：2.17.1场景重现：公司存放在git上的仓库是私有的，需要邀请成员进去才能修改，但是个人项目可以直接public对外开放。使用Https克隆了一个项目，提交的时候提示需要输入用户名和密码。但是此次在使用SourceTree进行推送的时候，报错如下：The requested URL returned error: 40...
2019-06-14 10:26:56
1408
原创 《ElasticStack从入门到实践》学习笔记10
十、Logstash入门与运行机制 1.介绍： 1）Logstash，ElasticStack中的数据收集处理引擎，可以视作一个ETL工具，是一个开源的数据收集引擎，它具有备实时数据传输能力，可统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。输入插件从数据源获取数据，过滤器插件根据用户指定的数据格式修改数据，输出插件则将数据写入到目的地。其工作流程主要分...
2018-12-07 11:12:16
894
原创 《ElasticStack从入门到实践》学习笔记9
九、ElasticSearch的集群优化 1.生产环境部署 1）遵照官方建议设置所有系统参数。 在ES的配置文件中elasticsearch.yml中，尽量只写必备的参数，其他可通过api进行动态设置，随着ES版本的不断升级，很多网上流传的参数，现在已经不再适用，所以不要胡乱复制。 建议设置的基本参数有： ...
2018-12-06 13:56:13
317
原创 《ElasticStack从入门到实践》学习笔记8
八、ElasticSearch的数据建模 1.数据建模简介 英文为Data Modeling，即创建数据模型的过程。 数据模型：是对现实世界进行抽象描述的一种工具和方法，通过抽象的实体及实体间联系的形式，去描述业务规则。从而实现对现实世界的映射。其建模过程如下： 1）概念模型(10%)。确定系统的核心需求和范围边界，实际实体与实体之间...
2018-12-05 11:52:27
1269
1
原创 《ElasticStack从入门到实践》学习笔记7
七、ElasticSearch的聚合分析 1.聚合分析简介 聚合分析，英文Aggregation，是ES除了搜索功能之外提供的针对ES数据进行统计分析的功能。 特点：①功能丰富，可满足大部分分析需求；②实时性高，所有计算结果实时返回。#聚合分析格式：GET my_index/_search{ "size":0, "aggs":{ #...
2018-12-04 13:54:21
354
原创 《ElasticStack从入门到实践》学习笔记6
六、ElasticSearch中Search的运行机制 Search执行的时候，实际分为两个步骤执行： ---> Query阶段：搜索 ---> Fetch阶段：获取 1、Query—Then—Fetch： 假设集群my_cluster中存在三个节点node1、node2、node3，其中master为node1...
2018-12-03 11:15:19
702
原创 《ElasticStack从入门到实践》学习笔记5
五、ElasticSearch的分布式特性 1、分布式介绍 1）ES支持集群模式，即一个分布式系统。其好处主要有以下2个: A、可增大系统容量。比如：内存、磁盘的增加使得ES能够支持PB级别的数据； B、提高了系统可用性。即使一部分节点停止服务，集群依然可以正常对外服务。 2）ES集群由多个ES实例构...
2018-11-30 14:00:39
631
原创 《ElasticStack从入门到实践》学习笔记4
四、ElasticSearch的Search API 0、在ES中，为了实现对存储的数据进行查询分析，使用endpoint：_search。 可以实现对索引的不同查询，如： A、实现对所有索引的泛查询：GET /_search B、实现对一个索引的单独查询：GET /my_index/_search C、实现对多个索...
2018-11-29 14:23:47
419
原创 《ElasticStack从入门到实践》学习笔记3
三、ElasticSearch的Mapping设置 1、Mapping简介： 1）类似于数据库中的表结构，主要作用如下： A、定义Index下的Field Name； B、定义Field的类型，如：数值型、字符串型、布尔型等； C、定义倒排索引的相关配置，如：是否有索引，记录position等...
2018-11-28 14:27:50
548
原创 《ElasticStack从入门到实践》学习笔记2
二、ElasticSearch倒排索引与分词 1、倒排索引概念： 1）百度百科：倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverte...
2018-11-27 15:03:57
516
原创 《ElasticStack从入门到实践》学习笔记1
一、ElasticSearch入门介绍 1、常见术语： A、Document 文档 用户存储在ES中的数据文档。 B、Index 索引 由具有相同字段的文档列表组成。在当前版本，不在推荐下设Type，在后续版本，不再设立Type。 ...
2018-11-27 14:18:10
763
1
原创 《ElasticStack从入门到实践》学习笔记0-2
零、ElasticSearch前置——组件和插件的安装 0、前置知识： 1）ElasticSearch的安装、配置及如何在本地搭建集群： A、安装： a、前置安装JDK1.8+； b、根据自己需要的版本，在官网下载elasticsearch-6.1.1，并解压； ...
2018-11-27 11:55:30
517
原创 《ElasticStack从入门到实践》学习笔记0-1
零、ElasticStack概述 1、ElasticStack特点： 1）使用门槛低，开发周期短，上线快； 2）性能好，查询快，实时展示结果； 3）扩容方便，快速支撑增长迅猛的数据。 2、ElasticStack各组件作用： 1）ElasticSearch ====> ...
2018-11-27 10:59:12
549
1
原创 搭建多节点Hadoop集群，并对NameNode和SecondaryNameNode进程进行分离操作
主机环境：Centos7.3（自定义台数，此处举例使用3台）安装前准备：JDK：jdk-8u144-linux-x64.tar.gzHadoop：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz在单机模式及小节点集群的Hadoop集群配置，往往NameNode和SecondaryNam...
2018-08-27 15:32:27
2069
原创 Centos7下安装Cloudera Manager5.7.0
主机环境：Centos7.3（1台） 搭建伪分布式集群Cloudera Manager：5.7.0 安装前准备：JDK：jdk-8u144-linux-x64.tar.gzCloudera Manager安装包：cloudera-manager-5.7.5CDH-Hadoop相关包：CDH-5.7.0-1.cdh5....
2018-08-15 15:07:28
1423
原创 关于Centos7.3安装Ambari2.4.2+HDP2.5.3搭建大数据集群的笔记（下）
主机环境：Centos7.3（一台）Ambari2.4.2HDP2.5.3登录AmbariUI界面：http:://master:8080默认账号和密码都是：admin安装HDP 2.4.2 配置集群。 点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置。1.设置集群名称； 2.设置HDP 安装源； 选择HDP2....
2018-08-10 18:06:23
609
原创 关于Centos7.3安装Ambari2.4.2+HDP2.5.3搭建大数据集群的笔记（上）
主机环境：Centos7.3（一台）Ambari2.4.2HDP2.5.3 正常安装Centos7.3操作系统，相关教程很多，在此不多作描述。1.安装后登录root用户，进行权限认证： vim /etc/gdm/custom.conf 在[daemon]下方进行添加： AutomaticLoginEnable=true ...
2018-08-10 17:53:15
1043
原创 关于从节点的HRegionServer启动不起来的解决办法
版本信息：主机环境：Centos7.3 3台(1master，2slave)HBase：1.2.0-cdh5.7.0近日在重新搭建大数据集群的时候，发现一个之前没有遇到的问题，特此记录下来：当配置HBase依赖Zookeeper运行，并启动之后，发现Master和Slave1的HRegionServer启动正常，但是Slave2的并没有启动。打开HBaseUI界面，可以看到Region Serve...
2018-06-22 11:54:06
9352
6
原创 spark-shell启动出现的Error creating transactional connection factory解决办法
版本信息：Spark：2.2.0-bin-2.6.0-cdh5.7.0Hive：1.1.0-cdh5.7.0MySQL：5.7.22问题：在使用Spark连接HIve，启动spark-shell的时候，报错:此时输入命令为：bin/spark-shell --master lcoal[2]此时已经将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下，...
2018-06-13 11:40:56
4550
原创 Ubuntu安装Hive，并使用Mysql作为元数据库
版本信息：Ubuntu：16.04JDK：1.8.0_144Hadoop：2.7.4Hive：2.1.1MySQL：5.7.22今天捣鼓了一下午关于Hadoop集群安装Hive，遇到了一些问题，在此记录下来。在安装Hive之前，需要确保JDK，Hadoop安装完毕，在此不做赘述，网上教程一大堆。1.安装MySQL：这个安装很简单，因为我已经是登录root账户，所以直接shell依次键入：（1）su...
2018-06-07 18:23:31
990
原创 关于后台启动spark-submit的操作
主机环境：Centos7.3 3台hadoop版本：hadoop-2.6.0-cdh5.7.0hbase版本：hbase-1.2.0-cdh5.7.0spark版本：spark-2.2.0-bin-2.6.0-cdh5.7.0zookeeper：zookeeper-3.4.5-cdh5.7.0最近在使用spark-submit提交SparkStreaming项目的时候，遇到一个问题，在提交任务之...
2018-05-25 15:31:38
3513
原创 关于spark-submit之后，报错NoClassDefFoundError
NoClassDefFoundError：org.apache.hadoop.hdfs.server.namenode.NameNode这个问题，困扰了我五天时间，之前使用Eclispe打包之后，在云服务器上面运行。首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是：将$HB...
2018-05-07 17:38:26
2764
原创 关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
2017-11-15 11:24:06
4405
原创 关于Unchecked cast from List<String> to Iterator<String>的警告
今天在使用Java版本的Spark的flatMap()方法的时候，遇到了一个警告：Unchecked cast from List<String> to Iterator<String>。出现场景为：JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, Str...
2017-11-13 11:21:22
4619
原创 关于The serializable class XXX does not declare a static final serialVersionUID field of type long的警告
今天在写Java版本的Spark的一个练习的时候，遇到了一个警告：The serializable class does not declare a static final serialVersionUID field of type long。在之前没有遇到这类问题的情况下，进行了google，得到了解决方法。并发现了一段在javadoc中Serializable的描述：
2017-11-12 12:31:33
16341
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人