- 博客(225)
- 资源 (25)
- 收藏
- 关注
RSS订阅原创 SPSS-Modeler安装
1. 安装SPSS64位软件包，解压安装安装步骤即可：链接：https://pan.baidu.com/s/1t48M16ZUdpnfWemceOQc8g提取码：ma0a补充具体安装步骤解压SPSS.Modeler.v18.x64.iso 得到：打开使用说明：根据步骤依次安装：安装modeler18安装Premium选择modify：直接点next：...
2020-03-18 22:43:24
17536
29
原创 EsSpark.saveTo报错：EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings
报错：报错1：Get org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; tried报错2：org.elasticsearch.hadoop.EsHadoopIllegalA...
2020-02-28 01:10:46
5134
1
原创 推荐一个Kafka检测的开源项目Kafka-Eagle
1. 下载地址http://www.kafka-eagle.org/当前版本：v1.4.22. 安装安装教程官网很详细，这里记录一下博主遇到的一些小问题：博主使用的是MySQL-8.0.18，当前版本v1.4.2下需要操作两个步骤：mysql-jdbc 驱动复制将驱动复制到下面的目录mysql8.0.18需要修改jdbc.drive驱动# 原格式kafka.ea...
2020-01-05 21:37:31
994
原创 Docker启动Elastic Search报错 ERROR: [1] bootstrap checks failed
1. 报错ERROR: [1] bootstrap checks failed[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_...
2020-01-04 18:55:21
3016
2
原创 安装Docker，脚本安装MySQL并启动
前言脚本下载1. Docker安装直接按照Docker可能会报selinux错误，解决办法：# 可能会报错需要更高版本的selinuxyum -y install wget# 如果下载404, 到页面查看最新的http://mirrors.atosworldline.com/public/centos/7/extras/x86_64/Packages/，加到url末尾即可wget...
2020-01-03 23:51:24
685
原创 CentOS-7本地离线安装MySQL，更新密码、远程登录
前言1. MySQ安装下载MySQL，前言链接有：# 删除原有mariadbrpm -qa |grep mariadb |xargs yum remove -y# 解压tar -xvf mysql-8.0.18-1.el7.x86_64.rpm-bundle.tar# 依次安装rpmrpm -ivh mysql-community-common-8.0.18-1.el7.x...
2020-01-03 23:50:44
417
原创 VMware-14.1.2 +CentOS7 + Hadoop-2.8.4 搭建集群环境，Windows下使用IDEA开发
前言如果你的电脑内存为8G，建议每台虚拟机给1G内存。推荐至少内存大于等于12G，每台虚拟机2G。1. 下载链接：https://pan.baidu.com/s/1cDTws1tfjRpCt8pGC8Szfw提取码：xq4q2. 安装软件（已安装可跳过直接看第3点，需要注意关闭防火墙）VMware（许可证中含有密钥）、XShell、IDEA的安装省略。安装CentOS-...
2020-01-01 14:33:52
550
1
原创 CDH-6.2在CentOS7安装虚拟机集群（超详细笔记，可虚拟机无网络安装）
个节点服务器：sudo chmod 777 /etc/sysctl.confsudo sysctl -w vm.swappiness=10sudo echo "vm.swappiness=10" >> /etc/sysctl.confsudo chmod 777 /sys/kernel/mm/transparent_hugepage/defrag sudo chmod 77...
2019-10-24 19:28:59
725
原创 Pandas.DataFrame实现分组、排序并且为分组插入排名
1. 示例数据（各班级学生得分）import pandas as pddata_dict = {"name": ["Rose", "Jack", "Tom", "Kyle", "Jery", "Adam", "Bill", "David", "Denny", "Evan"], "class": [1, 2, 3, 1, 2, 3, 1, 2,...
2019-10-18 14:09:41
8083
5
原创 Python中时间获取、日期与时间戳的相互转换
1.获取时间导入模块：获取当前时间：In [9]: time.time()Out[9]: 1569835631.614946In [10]: arrow.now()Out[10]: <Arrow [2019-09-30T17:28:01.525159+08:00]>time.time() 得到的是当前时间的时间戳。arrow.now() 得到是以某种格式显示的时间...
2019-09-30 17:39:36
381
原创 Kibana报错：Login is currently disabled. Administrators should consult the Kibana logs for more details
报错：界面：启动报错：提取错误：[warning][license][xpack] License information from the X-Pack plugin could not be obtained from Elasticsearch for the [data] cluster. [security_exception] missing authentication...
2019-09-24 20:56:23
7975
1
原创 解决VMware-14.1.7虚拟机开机经常性卡死
解决博主安装的VMware为14.1.7版本，开机虚拟机经常性卡死，为了恢复虚拟机浪费了很多时间（重启Windows、恢复快照等等）。先说说网上有哪些办法：（实测无法杀死进程）杀死相关进程（实测有效，但过段时间继续卡死问题）管理员方式下运行CMD，执行netsh winsock reset，然后重启Windows。（实测有效，但过段时间继续卡死问题）删除安装虚拟机目录下的带...
2019-09-21 11:54:55
14870
14
原创 16-提取器
1. 示例：提取电子邮件地址定义了unapply（提取）函数的对象就可以称为提取器，而apply（注入）不是必须的。object EMail { // 注入（可选） def apply(user: String, domain: String) = user + "@" + domain // 提取（必须） def unapply(str: String): Option[(S...
2019-08-23 15:28:07
313
原创 15-隐式转换和隐式参数
1. 隐式规则隐式定义指的是哪些我们允许编译器插入程序以解决类型错误的定义。隐式转换受如下规则约束：标记规则：只有标记为implicit的定义才可用。作用域规则：被插入的隐式转换必须是当前作用域的单个标识符，或者跟隐式转换的源类型或目标类型有关联。每次一个规则：每次只能有一个隐式定义被插入。显示优先原则：只要代码按编写的样子能够通过类型检查，就不尝试隐式定义。哪些地方会尝试隐式转...
2019-08-20 14:24:56
304
原创 Java的IO流实现复制多级目录文件
1. 源目录2. 代码package com.gyt;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileReader;import java.io.FileWriter;import java.io.IOException;/...
2019-08-13 11:30:18
314
原创 Docker安装MySQL、Redis、RabbitMQ、ElasticSearch、Zookeeper
1. 安装Docer可参考：https://blog.csdn.net/qq_38038143/article/details/984910352. 安装MySQL官网：https://hub.docker.com/_/mysql?tab=description安装：docker pull mysql:5.7上面代码指定了安装版本为5.7，图片中没有指定，建议安装5.7，因为如果...
2019-08-08 10:11:56
600
原创 将Redis 默认序列化规则（JDK）改写为Json格式
1. 默认JDK序列化测试查看源代码：Redis默认使用JDK的序列化规则：连接上Redis后，传入对象进行测试：Employee是一个实体类，包括id、lastName、email、gender等属性。关于连接Redis等配置，就里就不过多阐述。。。博主的操作环境是再SpringBoot：如果需要下载测试代码：https://github.com/GYT0313/SpringBo...
2019-08-07 16:22:40
1844
2
原创 IDEA创建SpringBoot无法连接https://start.spring.io
解决方法网络上这个问题的大多数解决办法是：如果点击ok，出现successful，那么就成功了。不过，博主按照这样操作并没有解决问题。也有其他人切换网络，使用手机热点能够成功，不过博主没有尝试。博主尝试了把网线连接换成无线连接，没有成功。最后，关机重启，成功。。。完！...
2019-08-06 14:27:49
645
原创 Docker的安装与命令使用
环境CentOS-7、root用户、需要联网。1.安装Docker1. 安装Docker的条件解释Linux内核高于3.10，查看内核版本：
2019-08-05 16:17:03
274
原创 FitNess的安装和使用（加减乘除示例）
1. 下载JAR包：fitnesse-standalone.jar (http://fitnesse.org/FitNesseDownload)官网：http://fitnesse.org/FrontPage2. 运行运行命令：java -jar fitnesse-standalone.jar浏览器访问： http://localhost:803. 编写Java代码和官网一样，第...
2019-08-02 12:25:35
1762
原创 详细安装Sonarqube7.7教程
1. 下载可以有很多种方式使用sonarqube分析，这里列举几种：使用Maven命令分析使用IDEA插件使用Sonarqube Scanner扫描工具博主这里介绍第一种方式：下载sonarqube-7.7链接：https://pan.baidu.com/s/1NDY145lVGKWJOQnL3brHiw提取码：pt4h博主使用环境是Windows，所以：解压后，运行\bi...
2019-07-25 15:12:28
2500
原创 初始Java中的日志记录工具slf4j
前言至于slf4j和log4j还有其他日志工具的关系这里就不具体说明。具体可参考如下：https://www.techug.com/post/how-log4j-designed.html
2019-07-18 14:15:47
196
原创 配置Eclipse和IDEA的Javadoc 和 阿里巴巴代码规范检测工具（p3c)
前言因为看到了[《阿里巴巴Java开发手册（华山版）》](https://github.com/alibaba/p3c)，所以在Eclipse和IDEA中安装了相应的插件，分别是Javadoc和阿里巴巴编码规约扫描。
2019-07-11 10:02:26
1310
原创 Java中Map的三种遍历方式：keySet、 entrySet、forEach
前言最近再看《阿里巴巴Java开发手册（华山版）》，看到了关于Map的遍历方式，手册上写的很详细，我这里用代码再来展示一遍。代码 public static void main(String[] args) { Map<String, String> hm = new HashMap<String, String>(); hm.put("a", "1"); ...
2019-07-10 11:29:52
6441
2
原创 从代码中简单了解单元测试（Java的JUnit和Python的unittest）
前言这段学习了很多文档，其中就包括单元测试。所以，这里写一篇博客来记录和巩固学到的知识。1. Java的JUnit 4使用Eclipse创建一个Java Project：JUnitTesting.javapackage testing;public class JUnitTesting { public int squre(int n) { return n*n; } ...
2019-07-08 19:08:06
2009
2
原创 14-使用其他集合类
前言本节介绍除List之外的其他集合类型，如Set、Map。1. 序列序列类型可以用来处理依此排列分组的数据。由于元素是有次序的，所以可以使用下标如1、2、3...等访问。
2019-06-18 21:07:24
265
原创 13-使用列表
前言本节详细介绍Scala中的列表，和很多常用操作。1. List字面量列表和数组非常像，不过有两个重要区别：列表是不可变的列表的结构是递归的（数组是平的）2. List类型跟数组一样，列表是同构的：所有元素必须是同一个类型。如：Scala的列表类型是协变的。也就是说如果S是T 的子类型，那么List[S]就是List[T]的子类型。如：上面两个操作结果都是List(...
2019-06-17 20:29:03
352
原创 12-样例类和模式匹配
前言该节简单介绍样例类（case class）和模式匹配（pattern matching），以及各种模式、密封类（sealed class）、Option类型。1. 一个简单的例子这里先用一个简单的例子来切入对样例类和模式匹配的学习。文件 15.1.scalaabstract class Exprcase class Var(name: String) extends Exprca...
2019-06-14 21:05:25
682
原创 11-Structured Streaming -- Scala版本
前言因为《Spark-快速大数据分析》使用Spark 版本较老，并且1.1 下的Streaming 并未支持Python，所以书上并没有相应的Python 版本的代码。因此，博主这节参考官网手册学习：http://spark.apache.org/docs/2.0.2/structured-streaming-programming-guide.html如果，你的浏览器不支持翻译，这里提供...
2019-05-26 21:10:42
434
原创 shell编程示例
1. 判断登陆用户是否是rootis_root.sh#!/bin/bash# 通过环境变量判断test=$(env | grep 'USER' | cut -d "=" -f 2)if [ "$test" == "root" ] then echo "Current user is root."else echo "Not root."fi注意：给脚本赋予执行权限，如 c...
2019-05-19 17:30:01
304
原创 MySQL深入--事务、变量、触发器、分支结构函数和存储过程
前言继上篇博客：掌握Mysql数据库SQL语言的基本操作MySQL数据备份与数据还原该篇更为深入的了解MySQL的相关操作。博客中所有代码在博客最后可见。1. 事务事务的概念就不详细解释了。。。简单来说就是一个安全机制。测试数据：use test2;create table account(id int not null primary key auto_increm...
2019-05-18 19:45:11
400
原创 MySQL数据备份与数据还原
1. 单表数据备份每次只能备份一张表，只能备份数据，不能备份表结构。使用于将数据导出到外部文件。导出数据：数据库数据：导出命令：发现导出失败，大致意思是没有出于安全因素，有个办法是修改配置文件，这里就不修改了，使用系统支持的目录：再次执行：查看：其他编辑器能够看到换行：记事本无法看到：可以看到，数据虽然有分割，但是不利于查看，所以单表备份还支持选项：Fiel...
2019-05-18 15:55:03
559
原创 掌握Mysql数据库SQL语言的基本操作
前言本篇博客更多是展示SQL语言操作MySQL，和较少的概念。这里并不能保证能够列出所以的操作，只能尽可能的保证写出博主当前了解的。MySQL支持命令大小写，应该说大写更规范，但是没有小写容易阅读，所以下面操作使用小写。确保你已经安装了MySQL。建议：使用一个文本编辑器编写SQL代码，因为MySQL默认终端回滚使用前面的代码很不友好。比如，TXT文本编辑器1. 登陆MySQL如果使...
2019-05-18 11:42:49
3520
原创 Python数据分析及可视化案例--2018成都市公共租赁住房家庭（个人）配租信息分析
前言数据来源于成都市公共数据开放平台。数据集：http://www.cddata.gov.cn/odweb/catalog/catalogDetail.htm?cata_id=fRa2EWB1EeeM9JrcteruXg434通过分析该数据集，对成都市的租赁情况有一个基本了解，给需要租房的人们提供一定的参考。运行环境：Jupyter Notebook完整代码及数据集：https://g...
2019-05-16 16:15:40
2326
原创 Python中Matplotlib.pyplot 绘画饼图出现标签重叠
因为有一部分的区域占比很小，画图时紧贴在一起，所以会造成重叠。博主经过计算后的Series 是有序的，会出现最后一部分完全重叠。如：可以使用sample 方法随机取样，不过仍然有可能造成重叠。如：data = data.sample(frac=1)最有效的办法避免重叠就是将数据按照一个大小间隔排序。如：元数据为：1 2 3 4 5 6 7 8 9排序后为：1 9 3 8 7 ...
2019-05-14 19:54:08
15972
原创 Spark Streaming 整合Flume 和Kafka
前言首先会使用Java开发一个日志产生器，使用Flume收集此信息到Kafka，然后Spark Streaming 从Kafka读取消息。完整项目代码：https://github.com/GYT0313/Spark-Learning/tree/master/sparkstream1. 日志产生器首先你应该创建一个Maven 项目，参考：https://blog.csdn.net/qq_...
2019-05-14 10:09:52
633
原创 Spark Streaming 整合Flume -- push 和 pull 方式
无论使用哪种方式，flume的sink 一定要是avro格式。。。1. push 方式flume 配置文件：在flume-1.9.0/conf 下创建：flume_push_streaming.conf# Name the components on this agentsimple-agent.sources = netcat-sourcesimple-agent.sinks = ...
2019-05-13 21:51:25
576
原创 flume的几种配置方式--多种source、多种sink
前言确保你已经安装了flume。安装参考：https://blog.csdn.net/qq_38038143/article/details/900423561. netcat-memory-loggersource类型是netcat --> 从套接字读取( telnet )channel类型是memorysink类型是logger --> 输出到控制台文件名：exa...
2019-05-13 21:15:42
1867
Google_Chrome_(64bit)_v65.0.3325.181.exe
2020-01-07
ccsetup561.exe
2019-09-24
数据结构dsmo.rar
2019-05-15
mysql-8.0-deb包
2019-01-03
eclipse-committers-2018-09-linux-gtk-x86_64.tar
2018-11-17
hadoop2x-eclipse-plugin-original
2018-10-30
hadoop-eclipse-plugin-2.7.3.jar
2018-10-26
flux安装工具
2018-09-03
Xshell后台查杀工具
2018-09-03
《飞机大战》exe程序
2018-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人