- 博客(36)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 史上最全springboot+vue3+element-plus代码实现web登录页面，包含maven配置
springboot、vue、axios、maven
2024-04-15 11:22:14
907
原创 Hbase最全命令汇总！
显示集群下所有的表： list创建表 create ‘tablename’，‘cloumnfamily’表中添加数据 put ‘tablename’，‘rowkey’，‘cloumnfamily:cell’，‘value’查询表中数据 get ‘tablename’，‘rowkey’，‘cloumnfamily:cell’根据列簇查询： get ‘tablename’,‘rowkey’根据列名查询： scan ‘scores’,{COLUMNS=>‘clo..
2021-09-08 16:36:56
305
原创 mysql如何全表增加或者减少时间更新
举例如下：减30天：update app_collection_monitor set endtime=DATE_ADD(endtime,INTERVAL -30 DAY);增30天：update app_collection_monitor set endtime=DATE_ADD(endtime,INTERVAL 30 DAY);
2021-09-08 16:28:32
92
原创 mysql查询分区的sql语句
select partition_name part,partition_expression expr,partition_description descr,table_rows from information_schema.partitions where table_schema = schema() and table_name=‘pm_directory_d’;只需要更改最后的table_name的值即可！
2021-09-08 16:26:51
2780
1
原创 最全linux常用命令
1、cdcd：切换目录如：cd /user/bin说明：在系统中，通常“.”表示本级目录，“…”表示上级目录；2、pwdpwd：显示当前目录3、lsls：列出目录中的所有文件；-a：显示包括隐含文件在内的所有文件和目录；-l：以长列表形式显示当前路径下的文件；*.v：列出所有后缀为“v”的文件；-al：以长列表形式列出目录下所有的文件，包括隐藏文件；4、mkdirmkdir：创建新目录；格式：mkdir [-m 模式] -p 目录-m：按指定模式建立目录；-p：建立目录时建立
2021-03-29 11:32:27
164
2
原创 java中常用的一些日期函数
SELECT DATEDIFF(‘20200215’,‘20200205’) #日期时间差，必须具体到天；SELECT DATE_FORMAT(NOW(),’%Y%m%d’) #日期格式化,日期转换字符串；SELECT STR_TO_DATE(‘2020-01-06 10:10:10’,’%Y-%m-%d %H:%i:%s’) #字符串转换日期；SELECT PERIOD_DIFF(‘202003’,‘202002’) #日期时间差，支持月份；SELECT PERIOD_ADD(‘202003’,
2021-03-29 09:58:06
251
原创 用spark操作hive实现动态传参，出现org.apache.spark.sql.hive.HiveSessionState错误解决方式
通过java代码，使用spark操作hive步骤（错误解决方式在文末）：1、由于hive是依赖于hadoop的，所以需要启动hadoop，切换到hadoop的sbin目录下，输入以下指令所有：./start-all.sh2、由于spark操作hive时，实际上只是用了hive中的元数据，所以不需要启动hive在，只需要在根目录下输入以下指令：hive --service metastore3、由于是在本地通过java操作hive，所以两者之间需要建立连接，可以将hive中的hive-site.
2021-01-29 17:04:47
889
原创 通过Java代码实现Spark中RDD与Dateset（DataFrame）之间互相转换
1、导入maven依赖 <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <java.version>1.8</java.version> <spark.version>2.1.
2021-01-29 09:15:30
727
原创 通过java代码实现SparkSql操作数据库
1、导入相关依赖<properties> <java.version>1.8</java.version> <spark.version>2.1.0</spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <depende
2021-01-28 15:06:07
884
原创 使用Linux的shell命令实现SparkSql操作数据库
1、在linux环境下，切换到spark下的sbin目录中，输入./start-all.sh启动spark集群。同时，切换到spark的bin目录下，通过./spark-shell切换到scala下。2、输入以下指令，导入SparkSession对象import org.apache.spark.sql.SparkSession3、输入以下指令，使支持rdds转换为dataframes及后续的sql操作import spark.implicits._4、创建sparksession
2021-01-28 14:42:39
1789
原创 Linux使用shell命令实时写入数据，通过sparkstreaming实时计算
1、linux写入指令：nc -lk 9999nc代表当前节点的Ip名字，后面的9999是自己定义的端口号2、在java中，创建maven项目，导入maven依赖：<properties> <java.version>1.8</java.version> <spark.version>2.1.0</spark.version> <scala.version>2.11</sc
2021-01-28 10:36:04
413
原创 通过java代码实现spark的计算排序
1、导入spark相关依赖：<properties> <java.version>1.8</java.version> <spark.version>2.1.0</spark.version> <scala.version>2.11</scala.version></properties><dependencies> <depe
2021-01-27 10:00:41
332
原创 一文读懂线程池的工作原理、销毁以及创建方式
为什么使用线程池？在java中，通过实现Runnable接口或者继承Thread类（Thread类的本质也是实现了Runnable接口）可以实现多线程，调用start（）方法开启了多线程。但是，如果频繁的手动去创建和销毁线程的话，会降低系统的运行效率。通过使用线程池可以对线程实现复用，减少创建和销毁线程的次数，可以执行多个任务，大大降低系统资源消耗。线程池的特点是，系统初始化会创建多个线程，放入线程池，需要使用的时候直接从线程池中取，不需要的时候就放回去，提高了工作效率。线程池的工作原理：1、线
2021-01-26 19:14:48
2798
原创 spark用shell命令将文档中单词出现次数按降序排列，并写入到hdfs中
1、启动spark（进入spark的bin目录下，输入：./spark-shell命令）2、声明一个变量，通过val first=sc.textFile("file:///home/yaozhen/movie.txt");指令从该文档中获取数据，file指的是当前节点的路径下的文档；（生成Rdd）3、查询文档中内容的行数，first.count;(注意：文档结束后不要换行，否则会多算一行；另外，在上面写文档路径的时候，file后面需要加“///”,否则该方法无法调用)；4、通过val third=f
2021-01-25 18:18:09
663
12
原创 elasticsearch的status一直是red的解决方案
1、使用curl -XGET 'http://192.168.88.2:9200/_cluster/health?pretty'查看索引的状态发现：{ "cluster_name" : "my-application", "status" : "red", "timed_out" : false, "number_of_nodes" : 1, "number_of_data_nodes" : 0, "active_primary_shards" : 0, "active_sha
2021-01-14 14:29:25
2928
原创 如何安装Maven？
1、在CMD命令行中输入echo %JAVA_HOME%，查看JAVA_HOME是否配置。在CMD命令行中输入java-version，查看jdk是否正确安装。2、从http://maven.apache.org/download.cgi下载所需要的版本3、解压maven到某一指定目录，例如：E:\byzx。则 E:\byzx\apache-maven-3.6.1目录下会有bin、conf、lib等文件夹。4、在环境变量中，新建M2_HOME，设置为E:\byzx\apache-maven-3.
2021-01-12 15:08:52
53
原创 java中final、static与抽象类的用法
1、finala、final +变量：表示该变量为常量；b、final+class：最终类，不能被继承；c、final+方法：不能被重写；注意事项：final修饰的常量命名字母需全部大写。2、statica、可用类名打点直接访问，不需要new对象；b、静态变量位于方法区，实例变量位于堆区；c、静态方法不能调用普通属性和方法，仅能调用静态方法和方法；d、普通方法可以调用静态属性和方法；注意事项：静态方法依赖于类，普通方法依赖于对象3、抽象类a、抽象类用abstract修饰；b、抽象方
2021-01-11 19:22:49
161
2
原创 FastJson如何使用
Fastjson可以将Java对象转换为JSON格式，也可以将JSON字符串转换为Java对象。Fastjson可以操作任何Java对象，甚至是一些预先存在的没有源码的对象。Maven依赖配置：<dependency> <groupId> com.alibaba </ groupId> <artifactId> fastjson </ artifactId> <version> xxx </ ve
2021-01-11 19:11:04
177
原创 在Ubuntu中如何部署Hive？
1、在Linux系统中安装Hive2、配置环境变量将hadoop下面的core-site.xml和hdfs-site.xml文件复制到hive的conf文件夹下3、修改hive-site.xml<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node1/hive</value></property><prope
2021-01-11 18:12:51
173
原创 Ubuntu安装mysql数据库
一. 安装mysql步骤：(1). 首先用sudo apt-get update 更新系统 。(2). 命令行中输入 sudo apt-get install mysql-server mysql-client .(3). 启动mysql服务：sudo service mysql restart 。(4). 通过 sudo mysql -u root -p登陆mysql (默认密码为空。)(5). 通过输入 ： 输入以下设置密码update mysql.user setauthentic
2021-01-11 18:02:02
121
原创 hadoop集群搭建
Hadoop 安装与配置一. 文档说明hadoop 这套软件通常都在多台linux主机上运行，但目前条件不允许，所以使用虚拟机模拟多个计算机，在这些模拟出来的计算机装操作系统，之后在操作系统上部署hadoop环境来进行实验。1.目标：用虚拟机基本配置一个拥有三个节点的hadoop实验环境。2.环境：物理机配置：硬件设备：笔记本运行存储：8G（内存条）磁盘存储：128G硬盘（注释1）操作系统： Ubuntu 14.7 X64(注释2)软件和文件虚拟机软件：VMware 15 （注3）
2021-01-11 17:48:41
116
原创 kafka集群搭建步骤
先启动zookeeper:再启动kafka.kafka修改的配置文件：（1）.修改 zookeeper.properties 配置文件 :dataDir=/tmp/zookeeper 指定zookeeper临时文件存放路径。clientPort=2181 客户端访问的端口号。（2）. 修改server.properties文件：配置集群内每个主机的编号不要一样，只要是数字就行。broker.id=1集群对外服务的主机ip和端口（注意kafka需要每台机器上都要启动，故在不同的节点.
2021-01-11 17:44:08
145
原创 一文读懂java中循环结构用法（while、do……while、for）
1、while循环：while（循环条件）{循环操作；}举例如下：int i=1；while（i<30）{system.out.println("我喜欢你");i++；}特点：先判断，后执行2、do……while循环：do{循环操作}while（循环条件）int i=2;do{system.out.println("我喜欢你"+i);i++；}while(i<20);**特点：**无论条件是否满足，先执行一次3、for循环for（1参数初始化;
2021-01-11 15:37:06
220
原创 java中Switch与多重if条件结构的区别
switch条件结构样式：switch（表达式）{case 常量1：语句；break；case常量2：语句;break；default：语句；}例子：总结：表达式的类型只能是整型(byte、short、int)和char，jdk1.7后新增String只能做等值的比较注意break的作用case后面的值各不相同，不能重复case语句块的顺序可以随意换可以没有default语句。多重if条件结构样式：if（表达式）{语句；}else if（表达式）{语句；}
2021-01-11 15:18:40
1099
原创 java中Scanner类的用法
使用java.util.Scanner类可以读取用户在控制台输入的内容。如：输入为：请输入您的名字：张三年龄：18体重：50婚否：否输出结果：姓名：张三年龄：18体重：50婚否：否
2021-01-11 15:08:12
256
原创 java环境搭建
1、安装JDK，提供java开发的运行环境2、环境变量的配置a：JAVA_HOME：指定jdk安装路径，配置jdk安装目录b：Path：调用可执行命令的路径，配置jdk安装目录/bin3、在系统变量中新建“classpath”变量变量值为：%JAVA_HOME%\bin；%JAVA_HOME%\jre\bin**注意：**变量值之间用“;”隔开（英文分隔符），如果是windows10.则不需要加“;”...
2021-01-09 14:43:49
207
原创 java实现简单地冒泡排序
public class Maopao {public static void main(String[] args) {int[] a={25,38,29,16,22,17,19,14};int b=0;for(int i=0;i<a.length;i++){for(int j=0;j<a.length-1-i;j++){if(a[j]<a[j+1]){b=a[j+1];a[j+1]=a[j];a[j]=b;} } System.out.println(a[i]
2021-01-09 14:33:26
92
史上最全springboot+vue3+element-plus代码实现web登录页面（附件有代码）
2024-04-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人