- 博客(33)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 集群配置ssh免密
集群SSH免密登录脚本#!/bin/bashyum -y install expectif [ -f /root/.ssh/id_rsa ]||[ -f id_rsa.pub ];then #判断是否有公密钥 continueelse #否则生产公密钥/usr/bin/expect <<EOF spawn ssh-keygen -t dsaexpect ":" {send "\n;"}#expect "exists" {send "y;"}expect ":" {s
2021-04-23 17:46:06
168
原创 Echarts快速入门 5分钟上手
简介ECharts，缩写来自Enterprise Charts，商业级数据图表，一个纯Javascript的图表库，可以流畅的运行在PC和移动设备上，兼容当前绝大部分浏览器（IE6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互，可高度个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等...
2019-01-22 20:45:42
1509
原创 Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean
Springboot程序启动异常,错误信息如下"C:\Program Files\Java\jdk1.8.0_181\bin\java.exe" "-javaagent:E:\soft\IntelliJ IDEA 2018.3.1\lib\idea_rt.jar=58836:E:\soft\IntelliJ IDEA 2018.3.1\bin" -Dfile.encoding=UTF-8 -cl...
2019-01-22 19:29:36
1757
原创 MongoDB开启身份认证
首先在admin库中创建admin管理员mongoMongoDB shell version v3.4.18connecting to: mongodb://127.0.0.1:27017MongoDB server version: 3.4.18Server has startup warnings: 2019-01-22T10:04:20.610+0800 I STORAGE ...
2019-01-22 16:29:20
1279
原创 GeoHash算法中的一些问题详解
比如网上的北海公园的例子.经度是 116.389550 纬度是39.928167经过GeoHash算法计算后得到的结果是:纬度产生的编码为10111 00011经度产生的编码为11010 01011。问题一: 为什么是5位一组?不是4位一组?这个问题对于刚开始对我造成了一点困扰.如果4位一组的话精度还会更小,定位更准原因GeoHash拿0-9和a-z[^ai...
2019-01-22 15:50:28
1169
1
原创 CentOS安装使用MongoDB的最简单便捷方法
首先官网下载MongoMongoDB官方网站下载页面在里面选择对应的系统和需要的软件版本进行下载…方法二:YUM安装(最简单便捷)首先我们需要配置MongoDB的yum安装源sudo vi /etc/yum.repos.d/mongodb-org-3.4.repo没有这个文件会创建一个新文件[mongodb-org-3.4]name=MongoDB Repositorybase...
2019-01-22 15:02:00
355
原创 NoSuchMethodError:
报错信息如下Exception in thread &quot;main&quot; java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less; at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:1722) at org.a...
2019-01-11 20:15:12
1306
原创 scala报错
报错信息如下 Error:scalac: bad symbolic reference. A signature in package.class refers to type compileTimeOnly in package scala.annotation which is not available. It may be completely missing from ...
2019-01-11 19:53:30
2950
原创 org.apache.spark.sql.AnalysisException: Table or view not found
IDEA运行Hive语句错误,报错信息如下org.apache.spark.sql.AnalysisException: Table or view not foundselect * from qfbap_dws.dws_user_visit_month119/01/11 19:33:03 INFO SharedState: loading hive config file: file:/...
2019-01-11 19:41:32
9547
原创 FROM_UNIXTIME()函数UNIX_TIMESTAMP（）函数
我们经常会面临要从数据库里判断时间，取出特定日期的查询。但是数据库里储存的都是unix时间戳，处理起来并不是特别友好。幸而MYSQL提供了几个处理时间戳的函数，可以帮助我们在查询的时候，就将时间戳格式化。用法举例如下：1.FROM_UNIXTIME()函数FROM_UNIXTIME(unix_timestamp,format)参数unix_timestamp 时间戳 可以用数据库里的存储时...
2019-01-08 21:56:08
32630
1
原创 Pseudo-terminal will not be allocated becase stdin is not a terminal
近期使用Azkaban工作流调度Sqoop导入命令出错,错误信息如下:现在我实验的环境是节点SqoopHiveAzkabanmini01√√×mini02×××mini03××√也就是Azkban和sqoop节点不一致. Job信息摘要如下:/home/hadoop/install/sqoop/bin/sqoop job -list...
2019-01-08 16:43:58
735
原创 数据特征工程简单入门
什么是数据类型离散型数据：由记录不同类别个体的数目所得到的数据，又称计数数据，所有这些数据全部都是整数，而且不能再细分，也不能进一步提高他们的精确度。连续型数据：变量可以在某个范围内取任一数，即变量的取值可以是连续的，如，长度、时间、质量值等，这类整数通常是非整数，含有小数部分。只要记住一点，离散型是区间内不可分，连续型是区间内可分特征工程是什么特征工程是将原始数据转换为更好地代表预...
2019-01-04 21:52:31
438
原创 Oozie(二)
Oozie的使用案列案例一 Oozie 调度 shell 脚本目标：使用Oozie 调度 Shell 脚本分步实现：1)解压官方案例模板$ tar -zxf oozie-examples.tar.gz2)创建工作目录$ mkdir oozie-apps/3)拷贝任务模板到 oozie-apps/目录$ cp -r examples/apps/shell/ oozie-app...
2019-01-04 15:16:12
152
原创 Importing the multiarray numpy extension module failed
from matplotlib import pyplot as pyp然后运行文件时提示错误信息如下........ImportError: Importing the multiarray numpy extension module failed. Mostlikely you are trying to import a failed build of numpy.If ...
2018-12-29 10:53:39
14499
3
原创 Oozie(一)
Oozie的安装Oozie 简介 Oozie 英文翻译为：驯象人。一个基于工作流引擎的开源框架，由 Cloudera 公司贡献给Apache，提供对 Hadoop Mapreduce、Pig Jobs 的任务调度与协调。Oozie 需要部署到 JavaServlet 容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。部署解压 Oozie$ tar -zxf ~/s...
2018-12-26 09:58:11
157
原创 HUE与HIVE整合
修改Hive配置文件hive-site.xmlHUE与hive集成需要hive开启HiveServer2服务，相关配置如下：属性：hive.server2.thrift.port属性值：10000属性：hive.server2.thrift.bind.host属性值：linux01属性：hive.server2.long.polling.timeout属性值：5000属性：hive...
2018-12-26 09:06:10
2102
原创 去除IDEA黄色警告波浪线
File—>Setting—>Editor–>Color Scheme—>General
2018-12-24 17:51:24
4968
1
原创 Elasticsearch的核心概念(与数据库的比较)
近实时 近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级。Cluster（集群） 集群包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常.Nod...
2018-12-24 14:45:22
6333
原创 elsticearch5.x 启动报错
[hadoop@mini02 elasticsearch]$ bin/elasticsearchJava HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12...
2018-12-24 14:10:28
192
原创 初识Nginx(二)
Nginx的应用场景1、http服务器。Nginx是一个http服务可以独立提供http服务。可以做网页静态服务器。2、虚拟主机。可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机。3、反向代理，负载均衡。当网站的访问量达到一定程度后，单台服务器不能满足用户的请求时，需要用多台服务器集群可以使用nginx做反向代理。并且多台服务器可以平均分担负载，不会因为某台服务器负载高宕机而某...
2018-12-05 18:04:40
168
原创 remote with selected name already exists
方法一: 进码云删除该项目,重新操作VCS ----> import into Version Control —> Share Project On Gitee方法二: 更改repository name 和 Remote name这是码云上的项目页面,可以看到问题已经解决...
2018-12-05 17:40:32
9472
1
原创 初识 Nginx(一)
1.什么是NginxNginx是一款高性能的http 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。由俄罗斯的程序设计师Igor Sysoev所开发，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行非常稳定2.应用场景1、http服务器。Nginx是一个http服务可以独立提供http服务。可以做网页静态服务器。2、虚拟主机。可以实现在...
2018-12-04 17:57:43
144
原创 CDH版java包的Maven依赖
Maven 的中央仓库地址是https://mvnrepository.com/之前一直用Apache的Hadoop版本,环境换成CDH版本以后报错.在中央仓库查找Maven依赖,只有Apache版本的Java包,没有CDH版本的.查找网络以后发现Cloudera给我们提供了这个问题的解决方案.http://www.cloudera.com/content/cloudera/en/doc...
2018-12-04 17:44:28
2018
原创 Flume监控文件内容拉取到Kafka消费
1 zookeeper的安装配置1.1 ZK配置(安装过程省略)1.1.1安装完成后进入到zk的安装目录下的conf目录[hadoop@mini01 ~]$ cd /home/install/zookeeper/conf[hadoop@mini01 conf]$ 1.1.2重命名zoo_sample.cfg 为zoo.cfg[hadoop@mini01 conf]$ mv zoo_s...
2018-11-30 17:34:17
2434
1
原创 HIVE数仓的安装与使用
hive的安装与简单入门1 HIVE简单介绍1.1什么是 HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将HQL 转化成 MapReduce 程序1.2Hive 架构原理1.3Hive 在加载数据的过程中不会对数据进行任何处理，...
2018-11-29 20:02:09
574
原创 CentOS YUM安装MYSQL5.6
1.首先查看系统自带的mysql版本[hadoop@mini03 ~]$ rpm -qa | grep mysqlmysql-libs-5.1.71-1.el6.x86_64[hadoop@mini03 ~]$ 2.卸载mysql-libs-5.1.71-1.el6.x86_64[hadoop@mini03 ~]$ sudo rpm -e --nodeps mysql-libs-5.1...
2018-11-29 19:03:51
76
转载 [转]JVM调优原理与常见异常处理方案
在jvm调优之前，我们必须先了解jvm的内存模型与GC回收机制，这些在我前面的文章里面有介绍！接下来我们通过一个案例来调整jvm性能。一 测试案例：1.1 编写demoimport java.text.DecimalFormat;/** -XX:+PrintGC 打印GC日志 -XX:+PrintGCDetails 打印详细的GC日志 file.e...
2018-11-29 09:34:23
144
原创 HUE整合HDFS MR
HUE(HadoopUser Experience)管理工具HUE是一个开源的HadoopUl系统,它基于PythonWEB框架实现,通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。官网下载页面 http://gethue.com/category/release/环境与软件系统:CentOS 6.5 三台 搭建hadoop集群软件:hue-3.7...
2018-11-28 20:33:37
1026
原创 SSH免密登录
环境: Centos 6.5 三台用户:非root需求:SSH免密登录获取ssh密码[hadoop@mini01 bin]$ ssh-keygen[hadoop@mini01 bin]$ ssh-keygen -t rsa获取到以后会在当前用户的主目录下生成 .ssh 隐藏目录该目录下有id_rsa … id_rsa.pub两个文件。 id_rsa.pub是公...
2018-11-27 15:11:20
92
原创 Linux vi/vim命令大全
命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim在命令行窗口中输入以下命令即可$ vim //直接启动vim$ vim filename //打开vim并创建名为filename的文件文件命令打开单个文件$ vim fi...
2018-11-26 21:21:57
184
原创 Linux 各目录及各目录详细介绍
目录说明/bin存放二进制可执行文件(ls,cat,mkdir等)，常用命令一般都在这里。/etc存放系统管理和配置文件/home存放所有用户文件的根目录，是用户主目录的基点，比如用户user的主目录就是/home/user/usr用于存放系统应用程序，比较重要的目录/usr/local 本地系统管理员软件安装目录（安装系统级的应用）。这是最庞大的目录...
2018-11-26 20:56:08
302
原创 CENT OS 安装桌面环境
centos 安装桌面环境在开发环境中,一般很少使用linux桌面,基本都是远程SSH登录,操作系统.但是在我们学习过程中,有时需要桌面环境.可以编辑/etc/initab文件修改启动级别.本文是没有安装桌面环境的安装xwindow教程.首先,建议更改yum源.详细教程请转移至https://blog.csdn.net/huoliangwu/article/details/84553855...
2018-11-26 20:33:00
1814
原创 centos 6.5 配置yum源
centos 6.5 配置yum源yum源国内镜像站点：阿里源 https://mirrors.aliyun.com/centos/7.3.1611/os/x86_64/清华大学https://mirror.tuna.tsinghua.edu.cn/centos/7.3.1611/os/x86_64/网易源http://mirrors.163.com/centos/7.3.1611/o...
2018-11-26 18:05:32
3368
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人