- 博客(33)
- 收藏
- 关注
RSS订阅原创 使用命令mvn dependency:tree报错
1.settings.xml文件中localRepository配置错误。3.再次执行mvn dependency:tree，即可成功打印依赖树。2.修改localRepository为真实使用的仓库即可。
2023-03-27 19:24:37
1026
1
原创 【IDEA】tomcat 控制台乱码问题
0、乱码ing1、找到 tomcat 所在文件夹可以通过 tomcat 配置中查看文件位置2、找到 conf 文件夹下的 logging.properties 文件3、将日志编码默认的 UTF-8 改为 GBK4、成功
2020-07-26 22:10:51
220
原创 【mybatis-config.xml】配置文件头部声明
<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
2020-07-19 22:44:56
647
原创 【applicationContext.xml】spring 配置文件头部声明
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www
2020-07-19 22:26:42
326
1
原创 【web.xml】头部声明 3.0 版本
<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.or
2020-07-19 22:16:54
587
原创 【GitHub】找开源项目，组合搜索
直接搜索“查询内容”，全局搜索，查找结果集大，不方便定位组合搜索名字in:name “查询内容”READMEin:readme “查询内容”描述：descriptionin:description “查询内容”starsstars:>指定数量forksforks:>指定数量最近更新时间pushed:>xxxx-xx-xxeg：in:description spark language:java stars:>1000 forks:>1000 pus
2020-07-19 16:00:17
130
原创 【eclipse】xml文件编辑智能提示
dtd、xsd文件找到 xml 文件中 的 dtd、xsd 文件的物理位置添加新的文件，找到文件所在路径，选择 URI，填写 xml 文件中的 拷贝 “key”值【不带双引号】提示触发配置Window ==> Preferences ==> 修改提示触发条件<=:.abcdefghijklmnopqrstuvwxyz(,...
2020-07-08 22:57:51
328
原创 【IDEA】利用git从GitHub上clone项目
IDEA中GitHub账号登录File ==> Settings ==> Version Control ==> GitHub ==> 添加账号【输入账号和密码】==> Apply测试 git 连接【下载并安装git】测试 git 连接 ==> OKclone项目VCS ==> Git ==> clone输入 GitHub 中项目的 URL，指定克隆项目存放路径，点击 clone 即可完成...
2020-07-08 10:50:16
2594
原创 MySQL安装与卸载（登录）
安装下载所需文件到官网下载页面下载所需版本mysqlhttps://dev.mysql.com/downloads/file解压版本mysql1.解压到指定目录2.配置环境变量1)MYSQL_HOME：mysql安装目录2)PATH：mysql的bin目录3.配置myini【mysql目录中没有时新建即可】[client]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]# 设置3306端口port
2020-06-17 15:47:22
108
原创 【JVM】Object obj = new Object()
1.请解释一下对象的创建过程1）申请一块内存，变量值为默认值（半初始化）2）调用构造方法，变量值进行赋值（初始化）3）建立关联，指向内存2.volatile与DCL问题volatile关键字的作用：1）保证线程的可见性：一个线程的改变，另一个线程很快可以看到；2）禁止指令重新排序：CPU为了提高执行效率，会将指令并发执行，一个指令执行到一半的时候另一个指令开始执行，流水线式不间断，在此过程中就会出现指令重新排序。加了volatile关键字，就不会发生指令重新排序了。DCL：Doubl
2020-05-29 23:26:15
2448
原创 【Maven】Eclipse配置Maven
1.准备maven下载好对应版本的maven2.解压部署maven核心程序将下载的maven压缩包解压到一个非中文无空格的目录下——D:\maven\apache-maven-3.6.3 配置环境变量：MAVEN_HOME 和 PATH MAVEN_HOME D:\maven\apache-maven-3.6.3 PATH ...
2020-03-17 20:06:24
75
原创 【Hadoop】三、集群时间同步
时间服务器配置时间服务器master01配置（必须是root用户）修改ntp配置文件【/etc/ntp.conf】# 修改1 授权192.168.1.0-192.168.1.255网段上的所有机器都可以从这台机器上查询和同步时间restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap# 修改2 集群在局域网中，不使用其他...
2020-02-17 00:09:06
98
原创 【Spark】八、配置Yarn模式
启动HDFS【进入hadoop安装目录下：sbin/start-dfs.sh】 修改Yarn的配置文件【进入hadoop安装目录下：/etc/hadoop/yarn-site.xml】<!-- Reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><...
2020-02-16 23:20:26
131
原创 【Spark】七、提交jar包执行任务
scala和spark-core无需打包<!-- 编译环境能用，运行环境不可用 --><scope>provided</scope>spark-wordcount的pom.xml文件中添加打包插件【每个插件都有自己的文档，具体配置看文档】 <!--配置构建信息--> <build> <pl...
2020-02-16 20:26:50
227
原创 【Spark】六、org.apache.hadoop.security.AccessControlException
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode="/user/lsy/result1/_temporary/0":lsy:supergroup:drwxr-xr-xCaused by:...
2020-02-16 17:19:56
199
原创 【Spark】五、Maven编写WordCount
1.Maven工程【父子结构搭建】打开IDEA，新建Maven Project【spark】，填写Maven的GAV 创建好maven项目之后，点击Enable Auto-Import修改spark的pom.xml文件<!--表明当前项目是一个父项目，没有具体代码，只有声明的公共部分--><packaging>pom</packaging>-...
2020-02-15 22:51:57
454
原创 【学术】综述综述综述writing
1.综述是什么？综述，将某领域近年来所有的研究进展情况，书写人对这些研究进展的看法，以及它对未来的研究方向的评价综述是指就某一时间内，作者针对某一专题，对大量原始研究论文中的数据、资料和主要观点进行归纳整理、分析提炼而写成的论文【百度百科】齐：麻雀虽小，但五脏俱全评：评估每一个东西2.怎么写综述？step1.收集综述找近期的综述，最好将近期该领域中相关综述都收集起来【...
2020-02-12 23:11:12
193
转载 【Maven】IDEA配置Maven
1.官网下载所需maven压缩包https://maven.apache.org/download.cgi2.解压到指定目录所在目录不存在空格3.新建repository文件夹和setting.xml文件编辑setting.xml文件<?xml version="1.0" encoding="UTF-8"?><settings xmlns="...
2020-02-11 00:02:44
80
原创 【Spark】四、提交jar包执行
bin/spart-submit【回车，可以看到所有的参数】一旦打包好,就可以使用bin/spark-submit脚本启动应用了. 这个脚本负责设置spark使用的classpath和依赖,支持不同类型的集群管理器和发布模式/bin/spark-submit --class <main-class> --master <master-url> --dep...
2020-02-10 15:02:02
289
原创 【Spark】三、配置HA【Standalone模式】
启动HDFSsbin/start-dfs.sh 进入到spark安装目录停止spark所有服务sbin/stop-history-server.shsbin/stop-all.sh-----------------------------sbin/stop-slaves.shsbin/stop-master.sh注意：集群操作顺序先启动master，再启动sl...
2020-02-10 14:23:35
143
原创 【Zookeeper】六、监听服务器节点动态上下线
某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器上下线的变化1.需求分析无论是服务器端，还是客户端，相对于zookeeper集群来说“都是客户端”，服务器端的“客户端”向zookeeper集群中写数据，客户端的“客户端”监听写在zookeeper集群上的数据的变化服务器端启动时去注册信息【创建的都是临时节点】 客户端启动就getChildr...
2020-02-10 00:39:32
262
原创 【Zookeeper】五、API应用
1.eclipse环境搭建eclipse中新建maven project创建一个simple project添加pom.xml<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId>...
2020-02-09 23:22:31
54
原创 【Zookeeper】四、内部原理
1.选举机制半数机制：集群中半数以上机器存活，集群可用因此，Zookeeper适合安装奇数台服务器。Zookeeper在配置文件中没有指定master和slave。但是，Zookeeper在工作时，是有一个节点为leader，而其他节点则为follower注意：leader是由内部的选举机制临时产生的。假设有五台服务器组成的Zookeeper集群，它们的id为1-5，且都是...
2020-02-09 21:22:07
71
原创 【Zookeeper】三、客户端命令行操作
启动客户端：bin/zkCli.sh显示所有操作命令：help查看当前znode节点所包含的内容：ls /查看当前zndoe节点详细数据：ls创建普通节点：create注意：创建节点就要写数据，否则创建不成功获取节点的值：get创建短暂节点：create -e注意：退出客户端之后，即客户端与服务器断开连接之后，再重新...
2020-02-09 00:36:06
163
原创 【Zookeeper】二、分布式模式安装
集群规划：在master01,，slave01和slave02三个节点上部署Zookeeper解压安装 在master01下解压安装到指定目录tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/将zookeeper安装目录分发到slave01和slave02scp -r zookeeper-3.4.10/ slave01:/opt/mo...
2020-02-07 23:40:15
92
原创 【Zookeeper】一、Standalone模式安装
准备工作安装jdk 上传zookeeper安装包到服务器Linux系统下【xftp传输】解压到指定目录tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/修改配置文件进入zookeeper安装目录 [lsy@master01 zookeeper-3.4.10]，创建zkData目录mkdir zkData在conf目...
2020-02-07 22:06:37
136
原创 【Linux】基本命令
1.处理目录的常用命令ls：列出目录-a ：全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来(常用)-d ：仅列出目录本身，而不是列出目录内的文件数据(常用)-l ：长数据串列出，包含文件的属性与权限等等数据；(常用)cd：切换目录cd ~：回到自己的home目录cd ..：回到上级目录pwd：（Print Working Directory）显示目前的目录mk...
2020-02-06 21:54:16
57
原创 【Spark】二、配置日志服务器【Standalone模式】
Hadoop是可用的，可以访问HDFS进入到spark安装目录，到conf目录下 复制spark-defaults.conf.template为spark-defaults.confcp spark-defaults.conf.template spark-defaults.conf修改spark默认配置文件：spark-defaults.confspark.eventLog....
2020-02-04 23:48:53
313
原创 【Hadoop】二、完全分布式模式
集群准备三台服务器：master，slave01，slave02 jdk1.8及以上，在/etc/profile中设置JAVA_HOME环境变量 hadoop2.7，配置 HADOOP_HOME 环境变量# /etc/profile# JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$...
2020-02-04 21:16:39
84
原创 【Spark】一、Standalone模式安装
1、准备虚拟机三台：master、slave01、slave02（一台成熟的虚拟机可供拷贝：已安装好jdk1.8及以上）vim /etc/udev/rules.d/70-persistent-net.rules；删除eth0，修改eth1为eth0，复制物理ip地址【HWADDR】； vim /etc/sysconfig/network-scripts/ifcfg-eth0；修改物理ip...
2020-02-04 02:45:28
231
原创 【Hadoop】一、伪分布式运行模式
虚拟机ip都已配置完成[ 克隆的虚拟机，获取静态ip（修改eth0，复制HWADDR）]vim /etc/udev/rules.d/70-persistent-net.rules[ 修改虚拟机的ip ]vim /etc/sysconfig/network-scripts/ifcfg-eth0BOOTPROTO=staticONBOOT=yesIPADDR ...
2019-12-13 20:08:13
216
原创 【Spark】win10系统下基本环境配置
文章目录基本环境配置jdk安装与环境变量配置Spark安装与环境变量配置Hadoop安装与环境变量配置end基本环境配置每一天都有新发现。接触新技术内容，就要为其配置相应所需的环境，我的电脑装的是win10系统，所以基本环境配置介绍如何在win10系统下完成spark基本环境配置。jdk安装与环境变量配置首先要下载完成，才能继续安装。下载地址如下：https://www.oracle....
2019-05-26 11:59:18
318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人