- 博客(168)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Linux环境模拟断网
用root用户，执行以下restart_network.sh脚本即可完成模拟Linux服务器断网。切记执行命令要使用nohup，即：nohup sh restarrt_network.sh &
2023-02-12 20:51:32
1046
原创 【一篇就够】Tomcat下载-配置-验证
一、下载tomcat压缩包（以8版本为例）、解压下载地址：Apache Tomcat® - Apache Tomcat 8 Software Downloadshttps://tomcat.apache.org/download-80.cgi选择红框内容进行下载解压二、配置环境变量在电脑图标，点击“右键”，选择“属性” 点击“高级系统设置”，进入系统属性点击“环境变量” 点击“新建”，新建系统变量“CATALINA_HOME”，变量值为解压目录 找到系统变量“Path”，点击“编辑”在末尾添加“%CATA
2022-07-04 18:08:30
410
原创 linux系统开发scala hello world（scala 2.13.2）
1，scala版本包安装执行tar zxvf scala-2.13.2.tgz -C ./ 解压scala-2.13.2.tgz包到当前文件夹2，scala配置环境变量执行vi ~/.bash_profile 进入bash_profile文件，末尾增加 export PATH="$PATH:/home/ap/xxx/scala-2.13.2/bin"编辑完成，执行:wq保存退出执行source ~/.bash_profile使得环境变量配置生效执行scala出现下面画面表示.
2020-05-29 23:39:42
289
原创 windows10 scala安装
前提：已安装Java 8 JDK或以上版本1，下载安装包 （地址https://www.scala-lang.org/download/）下载后双击scala-2.13.2.msi一步一步安装即可2，配置环境变量1）新建SCALA_HOME2）编辑Path，添加%SCALA_HOME%\bin、%SCALA_HOME%\jre\bin3）设置Classpath"变量名"：Classpath"变量值"：.;%SCALA_HOME%\bin;%SCALA..
2020-05-29 21:48:28
330
转载 JDK1.8为什么废弃永久代【一篇就够】
JDK8-废弃永久代（PermGen）迎来元空间（Metaspace）1.背景2.为什么废弃永久代（PermGen）3.深入理解元空间（Metaspace）4.总结========正文分割线=====一、背景1.1 永久代（PermGen）在哪里？根据，hotspot jvm结构如下(虚拟机栈和本地方法栈合一起了)：上图引自网络，但有个问题：方法区和heap...
2019-04-22 17:10:22
7608
1
原创 ArrayList非线程安全的原因
【ArrayList的实现】ArrayList的实现主要有： 一个Object的elementData的数组保存所有的元素；一个size变量保存当前数组中已经添加了多少元素。 /** * The array buffer into which the elements of the ArrayList are stored. * The capacity of ...
2019-04-22 16:48:39
862
转载 线程阻塞机制
参考的文章==》https://blog.csdn.net/weixin_41101173/article/details/79679300一、为什么引入线程阻塞机制为了解决对共享存储区的访问冲突，Java 引入了同步机制，现在让我们来考察多个线程对共享资源的访问，显然同步机制已经不够了，因为在任意时刻所要求的资源不一定已经准备好了被访问，反过来，同一时刻准备好了的资源也可能不止一个。为了...
2019-04-19 12:03:50
1691
原创 彻底搞懂单例模式【一篇就够】
一、【饿汉模式】-多线程安全单例模式实例一(不使用同步锁)缺点：对象在没有使用之前就已经初始化了。这就可能带来潜在的性能问题：如果这个对象很大呢？没有使用这个对象之前，就把它加载到了内存中去是一种巨大的浪费。另外，当系统中这样的类较多时，会使得启动速度变慢 。public class EagerSingleton { private static final EagerSing...
2019-04-17 16:29:06
226
转载 Java内部类【一篇就够】
Java内部类详解 说起内部类这个词，想必很多人都不陌生，但是又会觉得不熟悉。原因是平时编写代码时可能用到的场景不多，用得最多的是在有事件监听的情况下，并且即使用到也很少去总结内部类的用法。今天我们就来一探究竟。下面是本文的目录大纲： 一.内部类基础 二.深入理解内部类 三.内部类的使用场景和好处 四.常见的与内部类相关的笔试面试题 若有不正之处，请多谅解并欢迎...
2019-04-17 11:35:45
166
原创 Java的变量类型、String相关、打印乘法表、类的继承
1、下面程序的期待结果编译出错：str,i 为局部变量局部变量声明在方法、构造方法或者语句块中； 局部变量在方法、构造方法、或者语句块被执行的时候创建，当它们执行完成后，变量将会被销毁； 访问修饰符不能用于局部变量； 局部变量只在声明它的方法、构造方法或者语句块中可见； 局部变量是在栈上分配的。 局部变量没有默认值，所以局部变量量被声明后，必须经过初始化，才可以使用。Err...
2019-04-02 20:29:35
118
原创 打印RDD中的内容到logs中【一篇就够】
Printing elements of an RDDAnother common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the expected...
2019-03-25 11:05:31
1639
转载 分布式与集群的区别【一篇就够】
转自：https://blog.csdn.net/jiangyu1013/article/details/80417961转过来只是为了以后翻看方便。一、大白话解说，半分钟就懂，用生活中的例子来说明：小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，两个厨师的关系是集群。为了让厨师专心炒菜，把菜做到极致...
2019-03-24 08:36:54
1833
1
原创 PyCharm代码含有中文报错SyntaxError: Non-ASCII character的解决方法【一篇就够】
RMB_value = input("请输入人民币金额 :")print(RMB_value)PyCharm中执行上述代码报以下错误：SyntaxError: Non-ASCII character '\xe8' in file C:/Users/Administrator/PycharmProjects/currency_convert/currency_cvt.py on lin...
2019-03-14 23:25:57
3723
转载 Java反射入门、简单实用【一篇就够】
摘自==》http://www.cnblogs.com/chanshuyi/p/head_first_of_reflection.html反射之中包含了一个「反」字，所以想要解释反射就必须先从「正」开始解释。一般情况下，我们使用某个类时必定知道它是什么类，是用来做什么的。于是我们直接对这个类进行实例化，之后使用这个类对象进行操作。Apple apple = new Apple(); ...
2019-03-09 16:45:02
126
原创 如何优雅的停止Spark streaming服务【一篇就够】
参看网上查阅的一些资料，结合自己实践，整理如下：方法一、程序中设置一个开关来停止服务（推荐）当检查到HDFS中存在"/user/root/stop_sparkStreaming"目录时，则优雅地停止服务package com.sjmz.sparkdemoimport org.apache.hadoop.conf.Configurationimport org.apache.ha...
2019-01-08 00:55:22
2657
原创 Spark学习日志
一、Spark读取Linux本地文件val textFile = spark.read.textFile("file:///usr/spark-2.3.1-bin-hadoop2.7/README.md")[root@master spark-2.3.1-bin-hadoop2.7]# ./bin/spark-shell2019-01-06 21:48:02 WARN NativeC...
2019-01-06 23:31:18
500
原创 IDEA+Maven构建scala项目【一篇就够】
一、新建项目输入项目名称：SparkDemo_WordCount，点击“完成”项目创建成功，如下所示："C:\Program Files\Java\jdk1.8.0_45\bin\java" -Dmaven.multiModuleProjectDirectory=C:\Users\Administrator\AppData\Local\Temp\archetype1t...
2019-01-06 02:39:40
2619
3
原创 构建Maven项目并上传到码云gitee【一篇就够】
一、构建Java项目create is deprecated in maven 3.0.5 and beyond，在maven3.0.5以上版本舍弃了create，使用generate生成项目mvn archetype:generate -DgroupId=com.sjmz.javademo -DartifactId=javademo -DarchetypeArtifactId=maven...
2019-01-03 00:17:33
3003
1
原创 Git使用问题-fatal: refusing to merge unrelated histories
【问题】git pull失败，提示 fatal: refusing to merge unrelated historiesAdministrator@SJMZ MINGW64 ~/learngit (master)$ git pull origin masterFrom https://gitee.com/sjmz30071360/learnGit * branch ...
2018-12-27 01:35:54
1167
原创 Solr admin查询、删除
一、查询Requeest-Handler(qt)/selectq{!parent which="CUST_ID:*"}fqCUST_ID:1610003511fl*,[child parentFilter="CUST_ID:*" limit=20]二、删除Requeest-Handler(qt)/updateDocument TypeXMLDocumen...
2018-12-18 22:56:43
1255
原创 Java VisualVM监视CUP、堆、类、线程情况
一、启动Java VisualVM命令行输入 jvisualvm，点击确定即可。二、监视远程服务器待补充。。。
2018-11-03 13:42:31
1113
原创 通过yarn执行spark作业应用实例
submit_spark.sh#!/bin/bash################################################### @date 2018/11/03# @author sjmz# @desc 启动spark作业示例##################################################HOME="/ho...
2018-11-03 13:16:46
373
原创 expect命令应用实例
前提：当前Linux服务器已安装expect命令在当前Linux服务器上，通过执行命令 sudo -u testid expect /home/test/expect.sh 20181103 201811达到调用远程服务器(192.168.1.1)上/home/testid/remote_test.sh的目的。#!/usr/bin/expectset timeout -1set US...
2018-11-03 12:48:50
200
原创 sed、awk实际应用
1，给数据文件加一行头记录sed '1i\aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa' test.dat > tmp.dat 2，给数据文件添加一列（文件分隔符为'|'，将第一列添加到最后一列）awk -F'[:|]' '{print $0,$1}' OFS="|" test.dat > test.dat.okawk -F'[:|]' '{...
2018-11-02 00:55:23
254
原创 DbVisualizer Pro 9.1.1连DB2数据库中文显示乱码的解决【一篇就够】
一、修改安装目录下配置文件 安装目录/resources/dbvis-custom.prefs增加配置如下：dbvis.grid.encode=truedbvis.grid.fromEncode=ISO8859_1dbvis.grid.toEncode=GBK二、保存，修改重新启动DbVisualizer发现中文显示依旧是乱码。。。没有丝毫变化三、再次修改配置如下，发现...
2018-09-22 10:05:14
6544
1
原创 Spark（2.3.1）集群安装【一篇就够】
操作系统：Linux（CenOS7）Spark集群至少需要有JDK、Hadoop、Scala、Spark一、安装Spark依赖的Scala（每个节点都安装）1.1 下载Scala（2.11.12）wget "https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz"1.2 解压、配置环境变量vi /etc...
2018-09-09 22:17:10
3553
原创 Linux环境 solr-7.4.0安装【一篇就够】
一、环境说明三台安装了CenOS7操作系统的虚拟机master（192.168.11.128）、slave1（192.168.11.129）、slave2（192.168.11.30）二、下载solr安装包地址：http://mirrors.shu.edu.cn/apache/lucene/solr/7.4.0/solr-7.4.0.zip三、解压solr安装包[root@...
2018-09-03 01:09:23
10689
原创 修改CentOS7系统时间EDT为CST【一篇就够】
EDT：指美国东部夏令时间，波士顿、纽约市、华盛顿哥伦比亚特区，都在这个时区内，跟北京时间有12小时的时差，晚12小时。CST：可以指下面两种：1. 美国中部标准时间(西六区，-6:00)，中国是东八区(+8:00)，北京时间比美国中部标准时间早14个小时。3:45 PM CST 是北京时间凌晨1：45。2. 中澳大利亚标准时间(+10:30)，中国是东八区(+8:00)，北京时间比中澳...
2018-08-29 09:44:19
7933
原创 zookeeper log及out文件输入路径配置【一篇就够】
1、修改$ZOOKEEPER_HOME/bin目录下的zkEnv.sh文件 ZOO_LOG_DIR指定想要输出到哪个目录， ZOO_LOG4J_PROP，指定INFO,ROLLINGFILE的日志APPENDER. 54 if [ "x${ZOO_LOG_DIR}" = "x" ] 55 then 56 ZOO_LOG_DIR="/usr/zook...
2018-08-29 09:23:21
3544
原创 zookeeper（3.4.12）集群模式安装【一篇就够】
一、下载安装包http://www-eu.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz二、解压tar xzvf zookeeper-3.4.12.tar.gz三、配置环境变量vi /etc/profile末尾追加：# zookeeper environmentexport ZOOKEEPER_HOME...
2018-08-28 20:10:21
1669
原创 Hive安装（3.0.0）【一篇就够】
前提：Java 和 Hadoop已经安装一、下载hive安装包地址：http://mirrors.shu.edu.cn/apache/hive/hive-3.0.0/apache-hive-3.0.0-bin.tar.gz[root@master usr]# wget http://mirrors.shu.edu.cn/apache/hive/hive-3.0.0/apache-hiv...
2018-08-26 23:39:14
3343
转载 Windows 设置CMD命令行编码【一篇就够】
转自：https://blog.csdn.net/wyl530274554/article/details/74642697命令CHCP：显示或设置活动代码页编号 CHCP [code] code指定代码页编号。不加参数键入 CHCP 显示活动代码页编号。加参数会更改当前编码。 MS-DOS为以下国家和语言提供字符集：编号 语言 编号 语言 125...
2018-08-24 11:03:39
1109
原创 windows环境 solr-7.4.0安装【一篇就够】
1，前提：java环境已配置好System RequirementsApache Solr runs on Java 8 or greater.It is also recommended to always use the latest update version of your Java VM, because bugs may affect Solr. An overview ...
2018-08-12 10:31:28
2299
原创 HBase安装（1.2.6）
一、获取安装包wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz二、解压安装包tar -xvf hbase-1.2.6-bin.tar.gz三、配置环境变量vi /etc/profile四、在master机器上修改hbase配置/usr/hbase/hbase-1.2.6/conf/hbase-env.sh...
2018-07-10 23:42:56
867
转载 浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系【一篇就够】
文章背景：相信大部分刚接触上面三个概念的同学，都多多少少会有些迷惑，现在我就给大家简单分析下这三者的关系，希望大家对这三者的概念理解有所帮助吧。本文主要从下面两类关系来叙述上面三者的关系：数据库（DB）和数据仓库（DW）的区别与联系操作数据存储（ODS）和数据仓库（DW）的区别与联系数据库与数据仓库的区别与联系数据库与数据仓库基础概念：数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务...
2018-06-26 22:48:06
7357
转载 Sql 四大排名函数（ROW_NUMBER、RANK、DENSE_RANK、NTILE）简介
排名函数是Sql Server2005新增的功能，下面简单介绍一下他们各自的用法和区别。我们新建一张Order表并添加一些初始数据方便我们查看效果。 表结构和初始数据Sql 附上表结构和初始数据图： 一、ROW_NUMBER row_number的用途的非常广泛，排序最好用他，一般可以用来实现web程序的分页，他会为查询出来的每一行记录生成一个序号，依次排序且不会重复，注意使用row...
2018-06-13 15:09:55
2638
原创 windows上Eclipse+Python2.7+PyDev安装【一篇就够】
一、下载Eclipse1，下载地址：http://mirror.kakao.com/eclipse/technology/epp/downloads/release/oxygen/3a/eclipse-jee-oxygen-3a-win32-x86_64.zip2，解压即可二、下载安装Python2.7版1，下载地址：https://www.python.org/ftp/python/2.7.13...
2018-06-03 14:19:39
1960
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人