- 博客(36)
- 资源 (3)
- 收藏
- 关注
RSS订阅
1原创 Mysql 根据子节点 Id 查询父级节点
根据子节点 Id 查询级节点drop function if exists findParent;CREATE FUNCTION `findParent`(rootId VARCHAR(5)) RETURNS VARCHAR(4000) CHARSET utf8BEGIN DECLARE sTemp VARCHAR(4000); DECLARE sTempChd VARCHAR(4000); DECLARE dname VARCHAR(4000); DECLARE num int;
2022-04-29 15:26:19
1116
原创 递归简单案例
递归函数生成不在 set 中的元素import java.util.HashSet;import java.util.Set;public class Test { public static void main(String[] args) { Set set = new HashSet(); for (int i = 0; i < 100; i++) { set.add(i); } S
2021-08-09 22:55:31
67
原创 微信公众号开发步骤
1，下载内网穿透工具，此处用的是 https://www.ngrok.cc/login.html ，注册，登陆，隧道管理，新建隧道，指定映射到的本地的 IP 以及 端口2，申请测试服务号，基本均可满足开发需求，申请网址如下：https://mp.weixin.qq.com/debug/cgi-bin/sandboxinfo?action=showinfo&t=sandbox/index3，登陆微信公众号，进行相关配置。需要将自己在 第一步 设置的域名配置到公众号的配置中微信公众号地址：ht
2021-08-09 14:44:56
2863
原创 Flink SQL 相关问题
报错1：Flink SQL> select 'hello world';[ERROR] Could not execute SQL statement. Reason:org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph.未启动 Flink集群，先启动Flink集群再进入客户端执行1，启动集群./start-cluster.sh2，启动客户端./sql-client.sh e
2021-08-09 13:55:10
1040
原创 Python相关知识
IDEA中python文件头，注释模板在 jetbrains://Python/settings?name=Editor–File and Code Templates#!/usr/bin/python3 # -*- coding: utf-8 -*-# @Time : ${DATE} ${TIME}# @Author : haoming.liang# @Site : ${SITE}# @File : ${NAME}.py# @Email : ...
2021-08-09 13:54:33
48
原创 二维码相关知识
生成二维码1，获取tokenhttps://api.weixin.qq.com/cgi-bin/token?grant_type=client_credential&appid=wxb******&secret=9c74***2，将拼接好的网址赋值到postman中{ "access_token": "46*****", "expires_in": 7200}3，参考微信开发文档https://developers.weixin.qq.com/doc/off
2021-07-05 10:15:02
86
原创 Postman发送GET和POST请求以及tomcat相关知识
GET请求直接输入访问地址即可http://localhost:8080/admin/qrcode_RegisterPOST请求1，需要登陆到平台，获取 curl(bash)2，将复制的url 复制到下面的地方里3，将post键值添加到postman中，点击send 发送即可关于访问地址的问题1，访问Tomcat中的静态页面，页面位置在Tomcat中的 webapp 下面2，访问的页面在 resource下面...
2021-07-02 19:32:28
613
原创 ueditor-1.1.2.jar下载
免费下载：ueditor参考网址：https://www.kumapai.com/open/3329-com-baidu-ueditor/1-1-2-edit-1-0
2021-06-30 18:10:00
1161
原创 Airflow学习
#1，触发时间Note that if you run a DAG on a schedule_interval of one day, the run stamped 2016-01-01 will be trigger soon after 2016-01-01T23:59. In other words, the job instance is started once the period it covers has ended.Let’s Repeat That The scheduler r
2021-06-25 16:58:12
121
原创 kafka相关问题
Kafka分区与消费者的关系默认的分区策略是：如果在发消息的时候指定了分区，则消息投递到指定的分区如果没有指定分区，但是消息的key不为空，则基于key的哈希值来选择一个分区如果既没有指定分区，且消息的key也是空，则用轮询的方式选择一个分区设置不同的分区策略，会影响消费者消费哪个分区中的数据https://www.cnblogs.com/cjsblog/p/9664536.html...
2021-06-17 15:23:01
127
原创 hbase-简单操作一
1，habase启动进入对应的安装目录，执行 sh start-hbase.sh注：主节点进程：HMaster(主节点)，HRegionServer(主节点)从节点进程： HRegionServer(从节点)2，基本操作java 连接 hbase <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client
2021-06-16 16:15:27
67
原创 大数据组件相关进程名
HDFSNameNode DataNode SecondaryNameNodeZooKeeperQuorumPeerMainYarnNodeManager ResourceManager
2021-06-16 16:15:10
132
原创 Flink相关问题以及解决方法
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。官方文档地址：https://flink.apache.org/zh/flink-architecture.html数据可以被作为 无界 或者 有界 流来处理。**无界流** 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理
2021-06-16 16:14:41
1089
原创 Flink案例之 基于 DataStream API 实现欺诈检测
参考官方网址：https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/try-flink/datastream/pom` org.apache.flinkflink-walkthrough-datastream-scala1.13.1 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-walkthrough-common
2021-06-11 16:21:27
436
原创 hive 自定义函数 UDF 简单案例
hive 自定义函数 UDF 案例hive自定义函数分为三类：UDF（User-Defined-Function）普通函数， 一进一出UDAF（User-Defined Aggregation Function）聚合函数，多进一出UDTF（User-Defined Table-Generating Functions）表生成函数， 一进多出UDF简单案例依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="htt
2020-12-14 21:23:10
585
原创 Hbase
Apache HBase课程设计1、 HBase基础1.1 基本概念官方地址hbase是bigtable的开源java版本，是建立在hdfs之上。提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的
2020-07-21 23:22:22
785
原创 Mysql在linux上安装常见问题之一
1， 装完mysql之后，一定要修改mysql的密码不然其他机器客户端可能连接不上该mysql服务器。报错：Access denied for user 'root'@'192.168.21.2' (using password: YES)思路：a，检查数据库IP和端口是否能连接上，发现IP能ping通，但是加上端口就不行，b，检查端口是否开通，ps -ef|grep 3306，开通端口...
2020-04-25 09:38:46
158
原创 postgresql 学习一
postgresql与mysql的区别1，MySQL 的各种 text 字段有不同的限制, 要手动区分 small text, middle text, large text… Pg 没有这个限制, text 能支持各种大小.2， pg 可以设置 transform_null_equals 把 = null 翻译成 is null 避免踩坑3，MySQL 的事务隔离级别 repeatable...
2020-04-24 22:43:33
201
原创 VMware 克隆Linux系统报错解决
解决因为克隆之后mac地址一样造成的报错执行 rm -rf /etc/udev/rules.d/70-persistent-net.rules修改主机名：vi /etc/sysconfig/network修改静态IP：vim /etc/sysconfig/network-scripts/ifcfg-eth0删除 ifcfg-eth0 中的uuid 和 hwaddr 也就是mac 地址...
2020-04-24 22:20:45
511
原创 Linux 指令 关防火墙 挂载
chkconfig iptables on 开启防火墙chkconfig iptables off 关闭防火墙重启 reboot关机 shutsown -h now查看防火墙的关闭状态chkconfig iptables --list修改主机名vi /etc/sysconfig/network修改ip地址1 setup 可视化2 vi /etc/sysconfig/n...
2020-04-24 22:18:06
204
原创 shell变成之常用操作
- shell中删除空行方法一：利用grepgrep -v '^\s*$' test.txt注：-v表示将匹配的结果进行反转，正则表达式匹配空行。（空行可包括空格符制表符等空白字符）方法二：利用sedsed '/^\s*$/d' test.txt注：d代表删除该行方法三：利用awkawk NF test.txt注：NF代表当前行的字段数，空行的话字段数为0,被awk解释为假，因此...
2020-04-24 21:57:23
138
原创 hive相关知识之面试题
hadoop 几个进程DataNodeTaskTrackerNameNodeJobTrackerSencondaryNameNodehadoop的核心配置文件core-site.xmlhdfs-site.xml(HA)mapred-site.xmlyarn-site.xmlhive 有哪些方式保存元数据 各有什么特点1）、内嵌模式：将元数据保存在本地内嵌的der...
2020-04-23 22:36:34
109
原创 hive相关知识之常用操作语句
开启动态分区功能，允许所有的分区字段都可以使用动态分区set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 查看结果show create table；show partitions table；describe table；Hive几种使...
2020-04-23 22:31:46
113
原创 hive相关知识之优化
limit限制调整–因为使用limit语句时候，是先执行整个查询语句，然后再返回部分结果的set hive.limit.optimize.enable=true;set hive.limit.row.max.size=10000;set hive.limit.optimize.limit.file=10;2.JOIN优化。。。本地模式–hive尝试使用本地模式执行查询，要不然...
2020-04-23 22:20:44
226
原创 shell使用expect实现sftp的自动交互
检查是否安装expect直接在linux上执行 expect 如提示无此命令则未安装安装expect切换到root用户下，执行 yum install expect*expect简单使用1、在需要运行的脚本中调取expect脚本vim exec_expect_sftp.sh<pre name="code" class="plain">#/usr/bin/expe...
2020-04-22 20:48:11
1730
原创 HIve相关知识
Hive数据仓库和数据库的区别传统数据仓库面临的挑战：1、面对实时海量数据，无法满足快速增长的海量数据存储要求2、无法有效处理不同类型数据3、计算和处理能力不足Hive的数据类型...
2019-07-18 21:53:34
99
原创 MapReduce相关知识
参考地址：https://blog.csdn.net/weixin_40102671/article/details/80628736
2019-07-18 21:22:28
121
原创 Hbase相关知识
Rowkey设计原则唯一性 索引排序性散列性Rowkey的长度原则Rowkey是一个二进制，Rowkey的长度被很多开发者建议说设计在10~100个字节，建议是越短越好。官方时16字节，因为操作系统时8字节进行存储。通常有3种办法来解决这个Region热点问题Reverse反转Salt加盐（加前缀-时间戳）Hash散列或者Mod...
2019-07-17 22:34:45
83
原创 JAVA中的锁
JAVA中的锁简单来说：分为悲观锁和乐观锁悲观锁，正如其名，它指的是对数据被外界（包括本系统当前的其他事务，以及来自 外部系统的事务处理）修改持保守态度，因此，在整个数据处理过程中，将数据处于锁定状态。悲观锁的实现，往往依靠数据库提供的锁机制（也只有数据库层提供的锁机制才能 真正保证数据访问的排他性，否则，即使在本系统中实现了加锁机制，也无法保证外部系 统不会修改数据）。乐观锁乐观锁意思...
2019-07-17 21:28:47
93
原创 HDFS中文件数据格式
Hadoop中的文件格式大致上分为面向行和面向列两类：面向行：同一行的数据存储在一起，即连续存储。SequenceFile,MapFile,Avro Datafile。采用这种方式，如果只需要访问行的一小部分数据，亦需要将整行读入内存，推迟序列化一定程度上可以缓解这个问题，但是从磁盘读取整行数据的开销却无法避免。面向行的存储适合于整行数据需要同时处理的情况。面向列：整个文件被切割为若干列数据，...
2019-07-17 21:20:37
6856
原创 Yarn相关知识
Yarn相关知识Yarn中运行MR流程1.client向yarn提交job，首先找ResourceManager分配资源，2.ResourceManager开启一个Container,在Container中运行一个Application manager3.Application manager找一台nodemanager启动Application master，计算任务所需的计算4.Ap...
2019-07-17 21:08:04
139
原创 Spark相关知识
Spark相关知识Spark Task 数量设置参数调优建议：Spark作业的默认task数量为500~1000个较为合适。很多同学常犯的一个错误就是不去设置这个参数，那么此时就会导致Spark自己根据底层HDFS的block数量来设置task的数量，默认是一个HDFS block对应一个task。通常来说，Spark默认设置的数量是偏少的（比如就几十个task），如果task数量偏少的...
2019-07-17 20:46:09
202
原创 Redis相关知识
Redis 相关知识Redis-Cluster集群redis的哨兵模式基本已经可以实现高可用，读写分离 ，但是在这种模式下每台redis服务器都存储相同的数据，很浪费内存，所以在redis3.0上加入了cluster模式，实现的redis的分布式存储，也就是说每台redis节点上存储不同的内容。Redis-Cluster采用无中心结构,它的特点如下：所有的redis节点彼此互联(PING-...
2019-07-17 20:19:19
92
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人