Knuth1989-CSDN博客

原创 Centos7.2环境RPM 安装MySQL5.6.24

系统环境 CentOS Linux release 7.2.1511 (Core)1.关闭selinux 服务[root@localhost~]# vim /etc/selinux/config ···SELINUX=disabled···2.关闭防火墙服务，并且禁用开机启动[root@localhost~]# systemctl stop firewalld.serv

2017-08-22 20:42:09 622

原创 CentOS7安装Hadoop2.7.3完整步骤

1.环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 操作系统二十分钟就可以安装完成，Master 192.168.1.32Slave1 192.168.1.33Slave2 192.168.1.312.(1)修改每台机器的hostsvi /etc/hosts，内容如下：Master 192.168.1.32Sla

2017-06-16 15:38:39 4061 5

1. 安装Spark之前需要安装Java环境和Hadoop环境和Scala环境。需要准备三台虚拟机 192.168.230.31 vm1 192.168.230.32 vm2 192.168.230.32 vm32. 安装Spark依赖的Scala，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。在每个节点上都进行安装。a)下载和解压缩Scala,打开地址：http://www.scala-lang.org/直接打开下...

2021-12-07 21:15:49 417

原创 centos7安装zookeeper集群

1.官网下载地址http://zookeeper.apache.org/releases.html#download也可以在百度网盘上下载百度网盘请输入提取码提取码：1801下载版本为3.4.92.准备三台虚拟机192.168.230.31 vm1192.168.230.32 vm2192.168.230.33 vm33.将下载的压缩包zookeeper-3.4.9.tar.gz上传到192.168.230.31的/opt目录下，并解压tar -zxvfzook.

2021-10-13 17:53:15 301

原创 Centos7安装mongodb

1.从mongodb官网获取mongodb的下载地址、下载地址为:MongoDB Community Download | MongoDB,根据自己的安装环境选择对应的版本、Centos7的环境，选择的版本如下：2.将下载下来的上传到centos7系统的/opt目录下，并tar -zxvfmongodb-linux-x86_64-rhel70-3.6.23.tgz解压3.配置环境变量，方便后续的命令行操作：export PATH=$PATH:/opt/mongodb-...

2021-09-22 17:27:46 185

转载 IP地址和子网划分

转自https://blog.51cto.com/u_6930123/2112703 https://blog.51cto.com/u_6930123/2112448 https://blog.51cto.com/u_6930123/2113151 https://blog.51cto.com/u_6930123/2115072一、IP地址和MAC地址1、MAC地址MAC（Media Access Control，介质访问控制）地址，或称为物理地址...

2021-06-28 23:16:01 784

原创 EXcel为什么按序号排序后会出现1、11、12....2、20的现象而不是1、2、3这样的按次序,怎么解决？

复制任意空单元格，选中需要排序的列——右键——选择性粘贴——运算——加ok

2021-06-15 08:55:50 5067

原创 Kafka命令（0.9.0.1）

Kafka命令（0.9.0.1）创建topicsh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test20200701查看topic命令sh kafka-topics.sh --list --zookeeper localhost:2181删除topic命令上面的输出仅仅表示该 topic 被成功地标记为“待删除”，至于 t.

2020-07-01 16:00:45 350

原创 Java 根据补码、源码求原来的数

/** * Created by Knuth on 2019/9/5. * 2字节16进制数 */public class Test9 { public static void main(String[] args) { Test9 test9 = new Test9(); int a = test9.getComplementCode2("FBC...

2019-09-19 16:57:36 633

原创 influxdb版本升级

服务重启：systemctl stop influxdbsystemctl start influxdb下载：wget et https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7.x86_64.rpm备份：influxd backup -host st 127.0.0.1:8088 -po -portable -datab...

2019-07-12 10:34:26 1859

原创 git上传文件操作

登录git,创建项目名称，例如jt-webservice 来到需要上传的文件目录下，例如D:/xiot-webservice 空白处右击打开对话框，选择Git Bash Here,进入git bash窗口4.上传操作$git init $git add . git commit -m "first commit"这个操作可能会报错解决方法：$ git config...

2019-07-11 16:40:48 609 2

原创 kafka里面的topic消费情况查看

kafka里面的topic消费情况查看1.进入zookeeper的客户端界面：./zkCli.sh(在zookeeper目录的bin下）查看目录：ls /consumers2.kafka的bin目录下执行：./kafka-consumer-groups.sh --describe --group xiothub_jtm2m_rawdata_210_xgit_m2m_jt_...

2019-06-06 17:36:33 42061 3

转载 CentOS 查看系统 CPU 个数、核心数、线程数

CentOS 查看系统 CPU 个数、核心数、线程数1、查看 CPU物理个数　　grep 'physical id' /proc/cpuinfo | sort -u | wc -l2、查看 CPU核心数量　　grep 'core id' /proc/cpuinfo | sort -u | wc -l3、查看 CPU线程数　　grep 'processor' /proc/c...

2019-06-06 17:23:59 1293

原创 Java 版本对应的major.minor version

The issue is because of Java version mismatch. Referring to theWikipedia Java Class Reference:J2SE 9 = 53 J2SE 8 = 52 J2SE 7 = 51 J2SE 6.0 = 50 J2SE 5.0 = 49 JDK 1.4 = 48 JDK 1.3 = 47 JDK 1....

2019-04-05 18:52:30 1045

原创高德地图纠偏

public class GisPointConversionUtil { private static final double x_pi = 52.35987755982988D; private static final double pi = 3.141592653589793D; private static final double a = 6378245....

2019-04-03 19:02:11 1487

原创经纬度小数点后与精确到米的误差

赤道周长（米）度数（度） 40076000 360 111322.2222 1 11132.22222 0.1 1113.222222 0.01 111.3222222 0.001 11.13222222 0.0001 1.113222222 0.00001 0.111322222 0.000...

2019-04-03 18:52:00 7901

原创 Azkban上传文件报错installation Failed.Error chunking

关于azkaban上传job压缩包报错问题的解决方案在azkaban上传job压缩包如果出现installation Failed Error Chunking错误，可通过如下方法解决。在mysql查询器中输入如下语句set global max_allowed_packet=1073741824;NOTE: Set the maximum to the largest ...

2019-04-02 09:28:07 444

原创 Centos7 rpm安装telnet

Centos7 rpm安装telnet1.下载安装包 2.安装telnet相关[root@vm1 telnet]# rpm -ivh xinetd-2.3.14-39.el6_4.x86_64.rpm[root@vm1 telnet]# rpm -ivh telnet-0.17-47.el6.x86_64.rpm[root@vm1 telnet]# rpm -ivh tel...

2019-02-27 10:09:07 6756

原创小学数学-两个瓶子倒水问题（Java实现）

import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;public class TestWater { //规定规定m为大杯子的容量，m为小杯子的容量，c为要倒出来水的容量，且 //c不等于m或者m public String getWate...

2019-02-11 13:46:11 3171

原创无监督学习

1.无监督学习的一个主要挑战就是评估算法是否学到了有用的东西，通常来说，评估无监督算法结果的唯一方法就是人工检查2.无监督算法通常可用于探索性的目的，而不是作为大型自动化系统的一部分。无监督算法的另一个常见应用是作为监督算法的预处理步骤3.在无监督学习中，我们基本上不知道结果会是什么样子，但我们可以通过聚类的方式从数据中提取一个特殊的结构。在无监督学习中给定的数据是和监督学习中给定的数据是...

2018-12-04 10:09:21 203

原创 python神经网络解决手写识别问题算法和代码

1.算法2.代码import numpy# scipy.special for the sigmoid function expit()import scipy.special# library for plotting arraysimport matplotlib.pyplot# ensure the plots are inside this notebook, no...

2018-12-04 09:55:17 416

原创 Linux下Azkaban2.5.0安装

1.下载Azkaban相关安装包用unzip 和tar –zxvf 分别解压。2. 系统时区设置查看时区或者timedatectlstatus命令查看修改时区时区文件都在/usr/share/zoneinfo，复制相应时区覆盖/etc/localtime即可[hadoop@master ~]$ ll /usr/share/zoneinfo例如...

2018-09-14 18:11:20 593

原创 Struts2+Spring读取csv和excel文件，FormData Ajax提交

1.完成目标读取.csv .xls .xlsx文件类型的文件，根据表头在表中创建表，根据数据插入表中2.实现ivy.xml相关依赖包： <dependency org="ossjava" name="opencsv" rev="2.3" conf="compile;web-inf-lib" /> <dependency org="ossjava" name

2018-06-28 14:53:35 319

原创 Invalid action class configuration that references an unknown class name [***Action]报错

项目中用Struts2+Spring实现读取csv和excel文件的内容保存到数据库的功能，在本地eclipse+tomcat运行正常，部署到QA服务器上报如下错误：java.lang.RuntimeException: Invalid action class configuration that references an unknown class named [**Action] ...

2018-06-28 12:32:06 228

原创 hive问题汇总

1.Hive配置文件官网https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-BasicConfigurationParameters2. hive 不读hive-site.xml配置文件当你修改完配置，但是hive启动时却不加载自己修改的hive-...

2018-04-22 12:02:56 625

原创 hive 1.2.2 本地mysql安装

1.安装前提 (1)安装好了hadoop，hadoop的集群搭建：https://blog.csdn.net/hanlanshenlan/article/details/73332039 (2)安装好了mysql： mysql的编译安装（yum安装） :https://blog.csdn.net/hanlanshenlan/article/details/774855302.hi...

2018-04-21 18:19:29 421

转载 Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法https://blog.csdn.net/xiaoshunzi111/article/details/52062640

2018-04-04 19:04:07 375

转载 [转]Hbase-1.2.6的安装和配置

Hbase-1.2.6的安装和配置转发http://blog.csdn.net/looc_246437/article/details/70849067?utm_source=itdadao&utm_medium=referral亲测有效

2018-03-01 15:22:43 332

转载 [转载]Linux下的桥接模式和Nat模式的区别

Linux下的桥接模式和Nat模式的区别：http://blog.csdn.net/woaimeinuo/article/details/51505411这篇文章很好地讲解了Linux下的桥接模式和Nat模式的区别。

2018-02-26 12:38:10 619

原创 HDFS shell

1. HDFS shell1) Usage:查看命令的用法[hadoop@localhost hadoop-2.5.2]$ hadoop fs -usage lsUsage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]2) Help:查看命令的详细帮助[hadoop@localhost hadoop-2.5....

2018-02-24 15:20:24 164

原创 IDEA报错:Error:java: Compilation failed: internal java compiler error

这个是IDEA 中java complier 设置的问题，项目中有人用jdk1.7 有人用jdk1.8 版本不一样,(1)setting中设置（2）Project Structure中Project设置（3）Project Structure中Modules设置

2018-02-07 12:53:54 458

原创 Spark groupByKey、sortByKey、reduceByKey Java实现

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import org.apac

2018-02-02 16:35:29 443

原创 Intellij IDEA 快捷键

1.psvm main函数2.sout System.out.println()3.Ctrl+X 删除行4.Ctrl+D 复制行5.Ctrl+/

2018-01-29 17:42:58 110

原创 intelliJ导入jar包

1. intelliJ导入jar包1）通过Modules的Dependencies添加：(推荐)打开 File -> Project Structure（Ctrl + Shift + Alt + S）2）单击 Modules -> Dependencies ->"+" -> "Jars or directories" 3）选择

2018-01-29 17:40:55 192

原创 python 小结2

1.如何判断一个对象是可迭代对象呢？方法是通过collections模块的Iterable类型判断：>>> from collections import Iterable>>> isinstance('abc', Iterable) # str是否可迭代True>>> isinstance([1,2,3], Iterable) # list是否可迭代True>>> isi

2018-01-29 17:38:07 111

原创 Python 小结

1.Python脚本运行出现语法错误：IndentationError: unindent does not match any outer indentation level 这个是代码没有对齐产生的错误2.class:（1）注意到__init__方法的第一个参数永远是self，表示创建的实例本身，因此，在__init__方法内部，就可以把各种属性绑定到self，因为self

2018-01-29 17:30:46 139

原创 ES 多channel、多sink

1.配置文件a1.sources = r1a1.sinks = k1 k2 k3a1.channels = c1 c2 c3# Describe/configure the sourcea1.sources.r1.type = jsyh.forward.source.kafka.KafkaSource#a1.sources.r1.statServiceType = appl

2018-01-29 17:28:54 276

原创 spark RDD

RDD 是Resilient Distributed Datasets简称，翻译成中文为“弹性分布式数据集”，这个语义揭示了RDD实质上是存储在不同节点计算机中的数据集。分布式存储最大的好处是可以让数据在不同的工作节点上并行存储，以便在需要数据的时候并行运算，从而获得最迅捷的运行效率。RDD名称的秘密Resilient 是弹性的意思。在Spark中，弹性指的是数据的存储方式，即

2018-01-29 16:53:27 166

原创 spark wordcount Java代码实现

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.ap

2018-01-25 17:41:15 232

原创 linux 一些命令

1. 查看centos版本 [root@bigdata2 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core)2. 把test用户加入usertest组 #usermod -G usertest test ##多个组之间用空格隔开3.永久修改主机名 hostnamectl set-hos

2018-01-24 16:50:48 113