- 博客(250)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Oracle入门第二课：三个SQL讲清楚Oracle日期函数
1、互转select sysdate, to_char(sysdate, 'yyyymmdd hh24:mi:ss'), --时间转字符串，参数2为转换后的格式 to_date('20190103','yyyymmdd') , --字符串转时间，参数2为字符串的格式 (to_date('19700101 08:00:00','yyyymmdd hh24:mi:ss') +1647081254000/(1000*60*60*24)),--时间戳转时间.
2022-04-01 14:50:33
1162
原创 Oracle入门第一课：Oracle 11gr2安装及注意事项
前置：安装oracle三部曲：1、先安装oracle database，及服务端。装64位的。2、再安装客户端，32位的。因为PLSQL不支持64位客户端。3、安装PLSQL。链接：https://pan.baidu.com/s/1WbLGw7KZcqP5PmUTuHW9ew提取码：0jnm--来自百度网盘超级会员V1的分享以上百度网盘链接中，服务端、客户端和PLSQL都有。一、安装oracle-11gr2-server服务端1、下载百度云链接中的oracle_X6..
2022-02-28 12:00:14
2457
原创 Flink入门第十八课：DataStream的数据结构以及Flink的连接操作
1、DataStream 代表一个运行在多个分区上的并行流，转换操作都是逐条的。 可以从 StreamExecutionEnvironment 或者env.addSource(SourceFunction) 获得。 常用操作：map()，flatMap()，filter()、rebalance()、 broadcaseted()2、KeyedStream 用来表示根据指定的key进行分组的数据流，执行任何转换操作都将返回DataStream。 可以通过调用D...
2022-01-06 17:20:05
1524
原创 JUC之CountDownLatch
CountDownLatch1、概述 CountDownLatch是java.util.concurrent中的一个同步工具类，允许一个或多个线程等待，直到其他线程运行完后接着执行。 CountDownLatch的核心是一个构造方法和两个普通方法。 构造方法中可传入一个int类型的count值，该值代表内部计数器的初始值，一旦传入无法更改。 countDown()方法每被CountDownLatch对象调用一次，CountDownLatch内部计数器的count值就会减一。.
2021-11-16 14:41:40
471
原创 Kafka入门第四课：Kafka节点数、分区数、分区副本数设置及Kafka压力测试
一、分区副本数设置 由于分区副本仅提供数据冗余的功能，且分区副本数量与集群吐吞量负相关，故冗余度在满足安全要求基础上设置为最小即可。 故我们不妨将分区副本数设置为2.二、kafka分区数设置通过对单个分区的topic进行消费者和生产者的压力测试，得出单个分区所能提供的消费和生产的最大峰值吐吞量。1、创建只有一个分区的topic。kafka-topics.sh --create \--zookeeper Linux001:2181 \--partitions 1 \--repl.
2021-11-04 15:59:25
5637
原创 记录一下Java包装类的常用方法
package com.atguigu.base_type;import org.junit.Test;/** * 测试java八大基础类型对应的引用类型的方法 * byte、char(2字节)、short、int、long、float(4字节)、double * 从左往右类型自动转换，从右往左需要强制转换。强制转换可能精度丢失。 * boolean不能类型转换。 * 装箱：Integer num1=12;或者 Integer num2=new Integer(12); *.
2021-11-01 17:49:55
228
原创 String类测试：concat_ws函数java实现、创建了几个对象、对象比较、format方法
package com.atguigu.string;import org.junit.Test;import java.io.UnsupportedEncodingException;/** * 本来包含String类的所有常用操作。 * 底层实现了Serializable, Comparable接口，这意味着String类可以序列化，可以进行比较。 * String类重写了equals方法，使得equals比较的是字符串的内容，==比较的是地址 * S.
2021-11-01 10:35:32
454
原创 Java代码获取日期、日期转换以及MySQL中first_day()、last_day()、timestampdiff()、date_add()函数的代码实现
package com.atguigu.time;import org.apache.commons.math3.fitting.leastsquares.EvaluationRmsChecker;import org.junit.Test;import scala.tools.reflect.Eval;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;.
2021-10-25 15:35:45
875
原创 由0开始在码云上搭建远程仓库托管Eclipse和IDEA本地代码
第零步：拷贝本机公钥和开发工具公钥到码云。本机公钥： 打开git-bash cd ~/.ssh && ssh-keygen 生成公钥 cat./id_rsa.pub 查看公钥 将生成的公钥赋值添加到码云公钥列表eclipse公钥： window--->perferences--->general--->Network connections -->SSH2 ---...
2021-10-20 23:01:28
8152
原创 Flink入门第十七课：PageView（pv）和UniqueVisitor（uv）的统计
数据文件：用到的数据文件链接：https://pan.baidu.com/s/1uCk-IF4wWVfUkuuTAKaD0w 提取码：2hmu输入beanpackage com.atguigu.networkflow_analysis.beans;public class UserBehavior { public Long userId; public Long itemId; public Integer categoryId; public St
2021-10-18 17:37:28
502
原创 Kafak入门第三课：kafka数据格式及各版本占用的空间大小对比
0.9版本1、消息集Message set 一个消息集中包含一条或多条消息，消息集不仅是存储在磁盘及网络传输的基本形式，而且是kafka压缩的基本单元。2、消息Recode一个recode是由多个key-value键值对组成，以下介绍各个key的含义。 CRC32，大小4B。CRC校验值，校验范围为magic到value之间。 magic，大小1B。 消息格式版本号。 attributes，大小1B。 消息类型，最低三位为压缩类型。0 无 1 gzip 2
2021-10-11 18:40:48
1323
原创 GaussDB(DWS)数据库入门语法
1、连接 gsql -h 17.244.110.231 -p 25108 -d dlp_db -U dlp -W 1234@ 登录 2、编码 show server_encoding; 查看当前数据库编码 3、搜索路径 show search_path; 查看模式搜索路径，无论如何搜索路径前两个一定是pg_temp和pg_catalog set search_path to my_schema,public; 将my_schema,public两个模式加入搜索路径 .
2021-09-26 10:14:00
12312
原创 从生产GaussDB(DWS)集群迁移数据到测试GaussDB(DWS)集群
一、从生产环境表结构导出步骤 A。登录ELK集群任一节点。 B。gs_dump -h 任一节点ip -p 端口 -U 用户名 -W 密码 数据库名 -f ./dlpdb_all_schema_20210923.sql -F p -s -f 导出文件名 -F 导出文件格式 c自定义格式 d 目录格式 p txt格式 t 压缩格式 -s 仅定义 -a 仅数据 -n 模式名 -n public -N 排除模式名 -t 表.
2021-09-23 11:18:50
398
原创 Flink入门第十六课：DataStream api在数据延迟下统计热门网页并进行窗口分析
代码package com.atguigu.networkflow_analysis.Ahotpages;import com.atguigu.networkflow_analysis.beans.ApacheEventLog;import com.atguigu.networkflow_analysis.beans.PageViewCount;import org.apache.commons.compress.utils.Lists;import org.apache.flink.ap.
2021-09-16 19:35:47
248
2
原创 org.aeonbits.owner详解
1、定义 Owner是一个java库，其目标是通过java属性文件来最小化处理应用程序的代码。 说人话： 以注解的方式来简化属性配置。2、引入依赖 g:org.aeonbits.owner a:owner v:1.0.9 以上适用于java1.7及之前的jdk版本，java1.8时a坐标应该是owner-java83、使用 A、接口继承Config。 B、接口上添加@Config.Sources({属性文件1[,.
2021-09-13 11:43:11
399
原创 Flink入门第十五课：在Table api&Flink sql中使用Flink的自定义函数
package com.atguigu.HUDF;import com.atguigu.Zbeans.SensorReading;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperat.
2021-08-30 17:44:05
417
原创 Flink入门第十四课：Table api&Flink sql中的window操作、时间操作
package com.atguigu.GTable_api_Flink_sql;import com.atguigu.Zbeans.SensorReading;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.Dat.
2021-08-30 10:35:58
557
原创 Flink入门第十三课：从DataStream api过渡到使用Table api&Flink SQL读取数据源计算后写出
1、基于DataStream api的Table api&Flink SQL1、使用Table api必须要添加Flink或者Blink的计划器。2、Flink1.10(含)之前默认使用flink计划器，flink1.11(含)之后默认使用blink计划器。 <!--flink 1.11及之后使用的都是blink的计划器，这儿引入的也是blink的--> <dependency> <groupId>o
2021-08-26 20:03:13
815
原创 Flink常见报错汇总[不断更新]
"C:\Program Files\Java\jdk1.8.0_211\bin\java.exe" "-javaagent:G:\SoftwareInstall\idea\IntelliJ IDEA 2019.3.1\lib\idea_rt.jar=58668:G:\SoftwareInstall\idea\IntelliJ IDEA 2019.3.1\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_211\jre.
2021-08-26 10:00:52
3321
2
原创 Flink入门第十二课：DataStream api/Flink sql实现每隔5分钟统计最近一小时热门商品小案例
1、需求&数据用户行为数据不断写入kafka,程序不断从kafka读取数据，每个五分钟统计最近一小时浏览次数最多的热门商品top 5。输入数据：UserBehavior 字段名：userId itemId categoryId behavior timestamp 解释： 用户名 商品id 商品类别id 行为 时间戳 值举例： lily 1715 1464116 pv 1511658000 ..
2021-08-25 11:34:50
5667
3
原创 Flink入门第十一课：Flink的checkpoint状态管理
1、检查点基础 一致性检查点：当所有任务都处理完同一个相同的输入数据时，给所有任务拍一个快照，这个快照就是一致性检查点。它默认不开启。 所有任务都处理完同一个相同的输入数据时，状态由状态后端保存，这些状态对应的元数据由jobmanager保存。 source算子一定要保存状态，因为有些数据处理失败后未成功保存checkpoint，而这些数据已经被source读取了，source不保存状态这部分数据就丢失了。 从一致性检查点恢复的过程： 1、重启应用...
2021-08-23 10:36:00
563
原创 Flink入门第十课：借助ProcessFunction api实现定时器小案例和侧输出流小案例
1、ProcessFunction api实现定时器package com.atguigu.FProcessFunctionApi_api;import com.atguigu.Zbeans.SensorReading;import org.apache.flink.api.common.state.ValueState;import org.apache.flink.api.common.state.ValueStateDescriptor;import org.apache.fl...
2021-08-19 17:04:41
483
原创 Flink入门第九课：DataStream api的state操作
package com.atguigu.Dstate;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.common.state.*;import org.apache.fli.
2021-08-17 11:34:23
266
原创 Flink入门第八课：DataStream api的watermark的相关操作
package com.atguigu.Ctime;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.datastream.SingleOut.
2021-08-16 15:25:11
373
原创 Flink入门第七课：Flink DataStaem Api的Window操作
package com.atguigu.Bwindow;import com.atguigu.Fbeans.SensorReading;import org.apache.commons.collections.IteratorUtils;import org.apache.flink.api.common.functions.AggregateFunction;import org.apache.flink.streaming.api.datastream.DataStream;import.
2021-08-13 17:58:57
308
1
原创 Flink入门第六课：Flink DataStream api实现将数据写入Kafka\Redis\ES\JDBC
1、KafkaSink要先加入kafka的连接器依赖。<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version></dependency>package com.atg.
2021-08-13 10:51:57
921
原创 Flink入门第五课：Flink的分流合流算子&重分区算子
package com.atguigu.Adatastream_api.transformations;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.tuple.Tuple3;impo.
2021-08-12 14:41:58
531
原创 Flink入门第四课：flink的增量聚合函数min/max/minBy/maxBy/reduce
匿名内部类方式package com.atguigu.Adatastream_api.transformations;import org.apache.flink.api.common.functions.RichFilterFunction;import org.apache.flink.api.common.functions.RichFlatMapFunction;import org.apache.flink.api.common.functions.RichMapFunction.
2021-08-12 10:33:37
934
原创 Flink入门第三课：匿名内部类方式&lambda表达式测试flink的map/flatMp/filter
package com.atguigu.Adatastream_api.transformations;import com.atguigu.Fbeans.SensorReading;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.dat.
2021-08-12 10:12:44
476
原创 Flink入门第二课：Flink DataStream api读取各种数据源
一、读取Kafkapackage com.atguigu.Adatastream_api.source;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.DataStream;import org.
2021-08-11 21:29:18
795
原创 Flink入门第一课：Flink DataStream api实现wordcount
package com.atguigu.Adatastream_api.source;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datas.
2021-08-11 21:23:46
244
原创 自你离开后的第一篇关于MySQL和Hive开发生涯常见函数对比及SQL书写注意事项汇总
涉及到的任何SQL语句或知识点，未特别注明则表明MySQL和Hive通用。一、时间函数一、时间函数1、时间转换 时间戳转指定格式的时间： select from_unixtime(1234567890,格式); 格式默认是年月日时分秒，如果不是则需要指定格式。 Hive(yyyy-MM-dd HH:mm:ss)。MySQL（%Y-%m-%d %H:%m:%s）。 时间字符串转时间戳： select u.
2021-05-17 21:36:25
271
原创 前端模板引擎Thymeleay基础简录
一、基础理论1、概念 SpringBoot推荐使用Thymeleay来代替jsp进行动态页面展示，和jsp不同，它不需要编译就能运行，所以效率更高。 Thymeleay是基于html的，只要会html，thymeleaf很简单。2、springboot集成thymeleafA.在新建springboot项目时，需要在templates engines中勾选thymeleaf。 这样的话pom文件中就有thymeleaf的起步依赖了。 你也可以不勾选，直接在pom文
2020-07-08 22:29:05
843
原创 尽览Springboot从入门到精通的泣血心酸
1、产生背景 SSM开发web应用配置复杂，springboot极大地简化了配置，让开发人员更多关注与业务逻辑的实现。2、Springboot特性 A。能够快速创建基于spring的应用程序。 B。java main方法可启动内嵌的tomcat服务器来运行springboot程序，不需要部署war包文件。 C。起步依赖简化maven配置。 D。根据maven依赖自动配置spring、springmvc。 E。完全弃用XML配置，采用注解配置。3、Sp.
2020-06-19 16:49:21
514
原创 细致剖析Hive的时间函数
1、时间戳与任何格式的日期互转from_unixtime(时间戳,时间格式) 将时间戳转换为致指定的日期格式 hive> select from_unixtime(1234567890,'yyyy-MM-dd'); 2009-02-14 hive> select from_unixtime(1234567890,'yyyy-MM'); 20...
2020-01-07 11:37:58
566
原创 Azkaban：最受欢迎的工作流定时调度器
1、理论基础1、azkaban是什么？ azkaban是一个工作流定时调度器，可以解决hadoop jobs的作业依赖问题，使相互依赖的job按顺序执行。2、azkaban的特点？ a.兼容所有版本的hadoop。 这一点与oozie不同，oozie严格依赖hadoop的版本。 b.易于使用的web页面。 比oozie功能更强大，...
2019-12-02 17:37:33
826
原创 centos7 rpm安装mysql5.7
rpm -qa | grep mysqlyum -y remove mysql-libs-5.1.66-2.el6_3.x86_64rpm -qa | grep mariadbyum remove mariadb-libs-5.5.64-1.el7.x86_64mysql-5.7.22-1.el7.x86_64.rpm-bundle.tartar -xvf mysql-5.7.22-...
2019-11-29 15:08:42
109
原创 20 Nov 00:00:08 ntpdate[17339]: the NTP socket is in use, exiting
1、报错信息如下2、原因已经有运行中的xtpd进程占用了ntpdate的端口，将其杀死即可。3、解决查看xtp进程：没有则通过lsof进行查看，然后杀死该进程如果lsof命令无法运行，则安装yum install -y lsof之后重新执行...
2019-11-20 09:53:56
399
原创 手把手教你复制黏贴式搭建企业级CDH平台
1、基础知识与节点规划1、cdh的部署形式有三种 bin在线部署 rpm包部署 要访问外网或者私服 tar包部署 这是真正意义上的离线部署 由于公司网路无法访问外网，所以一般我们就是使用第三种模式进行部署2、CDH离线部署的三个部分MySQL离线部署 建议MySQL5.7.11(疑问：mysql的版本以及安装方式对于cdh的部署是否有影响...
2019-11-19 23:51:40
311
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人