- 博客(78)
- 资源 (54)
- 收藏
- 关注
原创 Centos7.2环境RPM 安装MySQL5.6.24
系统环境 CentOS Linux release 7.2.1511 (Core)1.关闭selinux 服务[root@localhost~]# vim /etc/selinux/config ···SELINUX=disabled···2.关闭防火墙服务,并且禁用开机启动[root@localhost~]# systemctl stop firewalld.serv
2017-08-22 20:42:09 621
原创 CentOS7安装Hadoop2.7.3完整步骤
1.环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 操作系统二十分钟就可以安装完成,Master 192.168.1.32Slave1 192.168.1.33Slave2 192.168.1.312.(1)修改每台机器的hostsvi /etc/hosts,内容如下:Master 192.168.1.32Sla
2017-06-16 15:38:39 4048 5
原创 Spark2.1.0集群安装
1. 安装Spark之前需要安装Java环境和Hadoop环境和Scala环境。 需要准备三台虚拟机 192.168.230.31 vm1 192.168.230.32 vm2 192.168.230.32 vm32. 安装Spark依赖的Scala,因为Spark依赖scala,所以在安装Spark之前,这里要先安装scala。在每个节点上都进行安装。a)下载和解压缩Scala,打开地址:http://www.scala-lang.org/直接打开下...
2021-12-07 21:15:49 407
原创 centos7安装zookeeper集群
1.官网下载地址http://zookeeper.apache.org/releases.html#download也可以在百度网盘上下载百度网盘 请输入提取码 提取码:1801下载版本为3.4.92.准备三台虚拟机192.168.230.31 vm1192.168.230.32 vm2192.168.230.33 vm33.将下载的压缩包zookeeper-3.4.9.tar.gz上传到192.168.230.31的/opt目录下,并解压tar -zxvfzook.
2021-10-13 17:53:15 294
原创 Centos7安装mongodb
1.从mongodb官网获取mongodb的下载地址、下载地址为:MongoDB Community Download | MongoDB,根据自己的安装环境选择对应的版本、Centos7的环境,选择的版本如下:2.将下载下来的上传到centos7系统的/opt目录下,并tar -zxvfmongodb-linux-x86_64-rhel70-3.6.23.tgz解压3.配置环境变量,方便后续的命令行操作:export PATH=$PATH:/opt/mongodb-...
2021-09-22 17:27:46 179
转载 IP地址和子网划分
转自https://blog.51cto.com/u_6930123/2112703 https://blog.51cto.com/u_6930123/2112448 https://blog.51cto.com/u_6930123/2113151 https://blog.51cto.com/u_6930123/2115072一、IP地址和MAC地址1、MAC地址MAC(Media Access Control,介质访问控制)地址,或称为物理地址...
2021-06-28 23:16:01 774
原创 EXcel为什么按序号排序后会出现1、11、12....2、20的现象而不是1、2、3这样的按次序,怎么解决?
复制任意空单元格,选中需要排序的列——右键——选择性粘贴——运算——加ok
2021-06-15 08:55:50 5009
原创 Kafka命令(0.9.0.1)
Kafka命令(0.9.0.1)创建topicsh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test20200701查看topic命令sh kafka-topics.sh --list --zookeeper localhost:2181删除topic命令上面的输出仅仅表示该 topic 被成功地标记为“待删除”,至于 t.
2020-07-01 16:00:45 349
原创 Java 根据补码、源码求原来的数
/** * Created by Knuth on 2019/9/5. * 2字节16进制数 */public class Test9 { public static void main(String[] args) { Test9 test9 = new Test9(); int a = test9.getComplementCode2("FBC...
2019-09-19 16:57:36 626
原创 influxdb版本升级
服务重启:systemctl stop influxdbsystemctl start influxdb下载:wget et https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7.x86_64.rpm备份:influxd backup -host st 127.0.0.1:8088 -po -portable -datab...
2019-07-12 10:34:26 1852
原创 git上传文件操作
登录git,创建项目名称,例如jt-webservice 来到需要上传的文件目录下,例如D:/xiot-webservice 空白处右击打开对话框,选择Git Bash Here,进入git bash窗口4.上传操作$git init $git add . git commit -m "first commit"这个操作可能会报错解决方法:$ git config...
2019-07-11 16:40:48 604 2
原创 kafka里面的topic消费情况查看
kafka里面的topic消费情况查看1.进入zookeeper的客户端界面:./zkCli.sh(在zookeeper目录的bin下)查看目录:ls /consumers2.kafka的bin目录下执行:./kafka-consumer-groups.sh --describe --group xiothub_jtm2m_rawdata_210_xgit_m2m_jt_...
2019-06-06 17:36:33 42029 3
转载 CentOS 查看系统 CPU 个数、核心数、线程数
CentOS 查看系统 CPU 个数、核心数、线程数1、查看 CPU物理个数 grep 'physical id' /proc/cpuinfo | sort -u | wc -l2、查看 CPU核心数量 grep 'core id' /proc/cpuinfo | sort -u | wc -l3、查看 CPU线程数 grep 'processor' /proc/c...
2019-06-06 17:23:59 1290
原创 Java 版本对应的major.minor version
The issue is because of Java version mismatch. Referring to theWikipedia Java Class Reference:J2SE 9 = 53 J2SE 8 = 52 J2SE 7 = 51 J2SE 6.0 = 50 J2SE 5.0 = 49 JDK 1.4 = 48 JDK 1.3 = 47 JDK 1....
2019-04-05 18:52:30 1040
原创 高德地图纠偏
public class GisPointConversionUtil { private static final double x_pi = 52.35987755982988D; private static final double pi = 3.141592653589793D; private static final double a = 6378245....
2019-04-03 19:02:11 1484
原创 经纬度小数点后与精确到米的误差
赤道周长(米) 度数(度) 40076000 360 111322.2222 1 11132.22222 0.1 1113.222222 0.01 111.3222222 0.001 11.13222222 0.0001 1.113222222 0.00001 0.111322222 0.000...
2019-04-03 18:52:00 7866
原创 Azkban上传文件报错installation Failed.Error chunking
关于azkaban上传job压缩包报错问题的解决方案在azkaban上传job压缩包如果出现installation Failed Error Chunking错误,可通过如下方法解决。在mysql查询器中输入如下语句set global max_allowed_packet=1073741824;NOTE: Set the maximum to the largest ...
2019-04-02 09:28:07 432
原创 Centos7 rpm安装telnet
Centos7 rpm安装telnet1.下载安装包 2.安装telnet相关[root@vm1 telnet]# rpm -ivh xinetd-2.3.14-39.el6_4.x86_64.rpm[root@vm1 telnet]# rpm -ivh telnet-0.17-47.el6.x86_64.rpm[root@vm1 telnet]# rpm -ivh tel...
2019-02-27 10:09:07 6732
原创 小学数学-两个瓶子倒水问题(Java实现)
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;public class TestWater { //规定规定m为大杯子的容量,m为小杯子的容量,c为要倒出来水的容量,且 //c不等于m或者m public String getWate...
2019-02-11 13:46:11 3150
原创 无监督学习
1.无监督学习的一个主要挑战就是评估算法是否学到了有用的东西,通常来说,评估无监督算法结果的唯一方法就是人工检查2.无监督算法通常可用于探索性的目的,而不是作为大型自动化系统的一部分。无监督算法的另一个常见应用是作为监督算法的预处理步骤3.在无监督学习中,我们基本上不知道结果会是什么样子,但我们可以通过聚类的方式从数据中提取一个特殊的结构。在无监督学习中给定的数据是和监督学习中给定的数据是...
2018-12-04 10:09:21 201
原创 python神经网络解决手写识别问题算法和代码
1.算法2.代码import numpy# scipy.special for the sigmoid function expit()import scipy.special# library for plotting arraysimport matplotlib.pyplot# ensure the plots are inside this notebook, no...
2018-12-04 09:55:17 408
原创 Linux下Azkaban2.5.0安装
1.下载Azkaban相关安装包用unzip 和tar –zxvf 分别解压。2. 系统时区设置查看时区或者timedatectlstatus命令查看修改时区时区文件都在/usr/share/zoneinfo,复制相应时区覆盖/etc/localtime即可[hadoop@master ~]$ ll /usr/share/zoneinfo例如...
2018-09-14 18:11:20 577
原创 Struts2+Spring读取csv和excel文件,FormData Ajax提交
1.完成目标读取.csv .xls .xlsx文件类型的文件,根据表头在表中创建表,根据数据插入表中2.实现ivy.xml相关依赖包: <dependency org="ossjava" name="opencsv" rev="2.3" conf="compile;web-inf-lib" /> <dependency org="ossjava" name
2018-06-28 14:53:35 305
原创 Invalid action class configuration that references an unknown class name [***Action]报错
项目中用Struts2+Spring实现读取csv和excel文件的内容保存到数据库的功能,在本地eclipse+tomcat运行正常,部署到QA服务器上报如下错误:java.lang.RuntimeException: Invalid action class configuration that references an unknown class named [**Action] ...
2018-06-28 12:32:06 226
原创 hive问题汇总
1.Hive配置文件官网https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-BasicConfigurationParameters2. hive 不读hive-site.xml配置文件当你修改完配置,但是hive启动时却不加载自己修改的hive-...
2018-04-22 12:02:56 615
原创 hive 1.2.2 本地mysql安装
1.安装前提 (1)安装好了hadoop,hadoop的集群搭建:https://blog.csdn.net/hanlanshenlan/article/details/73332039 (2)安装好了mysql: mysql的编译安装(yum安装) :https://blog.csdn.net/hanlanshenlan/article/details/774855302.hi...
2018-04-21 18:19:29 420
转载 Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x
Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法https://blog.csdn.net/xiaoshunzi111/article/details/52062640
2018-04-04 19:04:07 373
转载 [转]Hbase-1.2.6的安装和配置
Hbase-1.2.6的安装和配置转发http://blog.csdn.net/looc_246437/article/details/70849067?utm_source=itdadao&utm_medium=referral亲测有效
2018-03-01 15:22:43 332
转载 [转载]Linux下的桥接模式和Nat模式的区别
Linux下的桥接模式和Nat模式的区别:http://blog.csdn.net/woaimeinuo/article/details/51505411这篇文章很好地讲解了Linux下的桥接模式和Nat模式的区别。
2018-02-26 12:38:10 619
原创 HDFS shell
1. HDFS shell1) Usage:查看命令的用法[hadoop@localhost hadoop-2.5.2]$ hadoop fs -usage lsUsage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]2) Help:查看命令的详细帮助[hadoop@localhost hadoop-2.5....
2018-02-24 15:20:24 158
原创 IDEA报错:Error:java: Compilation failed: internal java compiler error
这个是IDEA 中java complier 设置的问题 ,项目中有人用jdk1.7 有人用jdk1.8 版本不一样,(1)setting中设置(2)Project Structure中Project设置(3)Project Structure中Modules设置
2018-02-07 12:53:54 456
原创 Spark groupByKey、sortByKey、reduceByKey Java实现
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import org.apac
2018-02-02 16:35:29 438
原创 Intellij IDEA 快捷键
1.psvm main函数2.sout System.out.println()3.Ctrl+X 删除行4.Ctrl+D 复制行5.Ctrl+/
2018-01-29 17:42:58 109
原创 intelliJ导入jar包
1. intelliJ导入jar包1) 通过Modules的Dependencies添加:(推荐)打开 File -> Project Structure(Ctrl + Shift + Alt + S)2) 单击 Modules -> Dependencies ->"+" -> "Jars or directories" 3) 选择
2018-01-29 17:40:55 190
原创 python 小结2
1.如何判断一个对象是可迭代对象呢?方法是通过collections模块的Iterable类型判断:>>> from collections import Iterable>>> isinstance('abc', Iterable) # str是否可迭代True>>> isinstance([1,2,3], Iterable) # list是否可迭代True>>> isi
2018-01-29 17:38:07 109
原创 Python 小结
1.Python脚本运行出现语法错误:IndentationError: unindent does not match any outer indentation level 这个是代码没有对齐产生的错误2.class:(1)注意到__init__方法的第一个参数永远是self,表示创建的实例本身,因此,在__init__方法内部,就可以把各种属性绑定到self,因为self
2018-01-29 17:30:46 137
原创 ES 多channel、多sink
1.配置文件a1.sources = r1a1.sinks = k1 k2 k3a1.channels = c1 c2 c3# Describe/configure the sourcea1.sources.r1.type = jsyh.forward.source.kafka.KafkaSource#a1.sources.r1.statServiceType = appl
2018-01-29 17:28:54 274
原创 spark RDD
RDD 是Resilient Distributed Datasets简称,翻译成中文为“弹性分布式数据集”,这个语义揭示了RDD实质上是存储在不同节点计算机中的数据集。分布式存储最大的好处是可以让数据在不同的工作节点上并行存储,以便在需要数据的时候并行运算,从而获得最迅捷的运行效率。RDD名称的秘密Resilient 是弹性的意思。在Spark中,弹性指的是数据的存储方式,即
2018-01-29 16:53:27 165
原创 spark wordcount Java代码实现
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.ap
2018-01-25 17:41:15 231
原创 linux 一些命令
1. 查看centos版本 [root@bigdata2 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core)2. 把test用户加入usertest组 #usermod -G usertest test ##多个组之间用空格隔开3.永久修改主机名 hostnamectl set-hos
2018-01-24 16:50:48 113
[Activiti.in.Action(2012.7)].Tijs.Rademakers.文字版.pdf
2017-06-14
zipKin和pinPoint比较.docx
2017-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人