weixin_40173707的博客

原创 几个比较有意思的sql(案例二：连续级联累计查询-间断初始化)

连续级联累计查询基于Hive。同样在DB2,Oracle,MySQL8.0都可以适配原始数据 input.csvUserA,LocationA,2018-01-01 08:00:00,60UserA,LocationA,2018-01-01 09:00:00,60UserA,LocationB,2018-01-01 10:00:00,60UserA,LocationA,201...

原创 3.旋转数组求最大值

算法

原创 旋转数组寻找最小值

算法面试

原创 二分法查找数据

面试必备

原创 Mapreduce 源码

Mapper类方法主要是读取InputSplit的每一个Key,Value对并进行处理public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { /** * 预处理，仅在map task启动时运行一次 */ protected void setup(Context context) throws IOException, InterruptedException { } /**

原创 Hadoop源码编译

准备前期工作1、CentOS联网使用能连接外网的CentOS系统虚拟机，使用root用户进行编译，避免出现文件夹权限问题。2、Jar包准备从官网下载以下安装包（1）hadoop-3.1.3-src.tar.gz（2）jdk-8u212-linux-x64.tar.gz（3）apache-maven-3.6.3-bin.tar.gz（4）protobuf-2.5.0.tar.gz（序列化的框架）（5）cmake-3.13.1.tar.gzJar包安装1、上传软件包到指定的目录,例如 /o

原创 数据湖、数据仓库、数据中台的区别

数据仓库与数据湖区别https://www.jianshu.com/p/3117617a6db0还有就是数据湖具有日后的可挖掘性、数据量的可探索性，会将所有数据都入湖，并且保存分区切片；数据仓库一般是按需入仓，有主要满足当前需求所做的专门去冗余设计。...

原创 最强淘宝词汇英文缩写

原创 银行核心系统入门简介

文章来源与某位大神的力作，写的非常好，科目的地方首位科目号有待商榷，但总之看完后很多东西一目了然。银行核心系统入门简介 本文的目标读者是准备从事银行核心系统开发、维护的从业人员。请注意，是“准备”，换句话说，可以理解为一份对科技人员，尤其是对新入门的科技人员业务知识方面的培训手册，旨在让诸位从业务方面迅速上手（从技术角度上手的手册我已经贴过一份了，所以如果是用400的同行，可以结合本手册双剑合璧，效力倍增）。这里的着重点将会主要在于简单的银行会计原理，以及银行整体的...

原创 银行知识小常识

借贷

原创 VMware 14 Pro 虚拟机下CentOS 7操作系统安装教程

创建虚拟机步骤：创建新的虚拟机[自定义(高级)©]默认稍后安装操作系统[Linux(L) ,CentOS 7 64位][虚拟机名称：Base,位置(L):E:\Linux\Virtual Machines\Base]处理器 2，内核数量 2虚拟机内存 2048M使用网络地址转换(NAT) (E)LSI Logic(L) 推荐SCSI(S) (推荐)创建新的磁盘[最大磁盘大小 20G, 将虚拟磁盘拆分成多个文件]磁盘文件 Base.vmdk (默认的)完成 (此时在左侧

原创 Java入门到精通

Java速成Java基础1.面向对象1.继承性：在继承时会继承父类的属性和方法(私有属性和方法不能继承)；2.重写父类方法时，不能重写父类的私有方法；重写父类的方法后子类对象调用的是重写后的方法；没有重写的方法子类对象调用时，调用的是继承自父类的方法；私有方法不继承，子类有同名的方法但是在父类中是私有的，此时子类同名方法与父类没有关系。3.1重写时返回值类型：功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、

原创 public、private、protect、default 权限访问(Java)

　　类中的数据成员和成员函数据具有的访问权限包括：public、private、protect、default（包访问权限） priavte 本类可见 public 所有类可见 protected 本包和所有子类都可见（本包中的子类非子类均可访问，不同包中的子类可以访问，不是子类不能访问） default 本包可见（即默认的形式）（本包中的子类非子类均可访问，不同包中的类及子类均不能访...

原创 Scala学习入门二：语法内容学习

Scala简单联系REPL：1.针对字符串，按照数组理解取第一个字符：“Hello”.take(1)“Hello”(0)“Hello”.substring(0,1)获取最后一个字符：“Hello”.reverse.take(1)“Hello”.reverse(0)“Hello”.reverse.substring(0,“Hello”.length-1)“Hello”.last“hello”.takeRight(1)...

原创 Scala学习入门之一：安装和配置环境

1.概述Scala是一门基于JVM (Java Virtual Machine) 的语言，主要应用于大数据领域的数据线处理，是一门函数式编程语言(有一点点Python的感觉)。Scala会编译成 .class 文件，我们通过反编译软件(小辣椒)反编译之后会生成Java文件，我们可以这样去理解：Scala是以Java为底层封装的上层语言，主要用于数据处理使用。2.Scala环境配置①.下载、安装scala软件。Scala我们使用版本为scala2.11.8,确保Java的 JDK版本为J...

原创 SQL面试题集合

1.小鹏汽车面试题：小鹏汽车充电有两种类型，快充、慢充，有如下数据：车辆ID 充电时间 充电类型a 20200601 19:21:09 1a 20200611 11:30:09 1a 20200621 21:10:09 0a 20200701 19:01:09 1a 20200701 20:30:09 1a 20200701 21:00:09 0a 20200702 20:30:00 1a 20200703 09:01:09 1a 20200704 1

原创 Shell去掉文件重复行

shell去除重复行：注：uniq只对相邻行做比较，一般结合sort先排序下（以使重复行相邻）sort -n aa.txt | uniq > bb.txt

原创 SQL练习

#drop table Studentdrop table Student,SC,Teacher,Course;create table Student(sid varchar(10) COMMENT ‘学生编号’,sname varchar(10) COMMENT ‘学生姓名’,sage datetime COMMENT ‘出生年月’,ssex nvarchar(10) COMMENT ‘学生性别’)COMMENT ‘学生表’;insert into Student values(‘01

原创 linux-查找某目录下包含关键字内容的文件

grep -r “{关键字}” {路径}例如：grep -r “test” /data/reportsgrep -R --include="*.cpp" key dir上述命令的含义：在dir目录下递归查找所有.cpp文件中的关键字key在application目录下递归查找所有.sh文件中的关键字 81,显示所属行并将查找到的结果覆盖写入/root/t.txt中grep -R -n --include="*.sh" 81 ./application >/root/t.txtg

原创 Excel处理字段截取

①.将日期转成字符串TEXT(C2,“YYYY-MM-DD”)②.对最后一个字符替换=SUBSTITUTE(E2,"-","@",LEN(E2)-LEN(SUBSTITUTE(E2,"-","")))----F2③.截取两个字符键=之间的字符串=MID(F2,FIND("(",F2)+1,FIND(")",F2)-FIND("(",F2)-1) ---- B2–综合一步到位的处理–B2=MID(SUBSTITUTE(E2,"-","@",LEN(E2)-LEN(SUBSTITUTE(E2,

原创 几个有用的Shell命令（文件操作）

1.删除文件重复数据后将结果导入新文件 awk '!count[$0]++' filename >./filename22.计算文件行数wc -l 文件名3.删除含有指定关键字的行sed -i '/BD2050050141683741045346304/d' 文件名4.统计文件中包含指定关键字的行数find 文件名 | xargs cat | grep .*关键字.* | wc -l ...

原创 hadoop001繁忙，关不掉

将windows里面的VM服务都关闭。重启电脑。删除hadoop001节点文件夹里的lck文件和文件夹，以及所有的长序列串文件和文件夹

原创 未能将管道连接到虚拟机: 所有的管道范例都在使用中。已解决

问题:启动vmware时候出现如下问题VMware Workstation 无法连接到虚拟机。请确保您有权运行该程序、访问该程序使用的所有目录以及访问所有临时文件目录。未能将管道连接到虚拟机: 所有的管道范例都在使用中。在这里插入图片描述原因:看了网上很多解决方法关闭vmvare 服务 以及重新启动电脑 都在我这里行不通看了很多资料,解释原因是虚拟机内部bug解决方法:找到启动失败的虚拟机目录复制一份,hadoop-04(1)就是在这里插入图片描述vmware 界面–>文件–&

原创 Mounting HGFS shares: [FAILED]解决方案

在VM中安装LInux系统，然后在安装VMware Tools之后，会报下列错误：Mounting HGFS shares: [FAILED]在Linux启动的时候常常报下列错误：Mounting local filesystems: [FAILED]Mounting HGFS filesystems: [FAILED]Mounting other filesystems: [FAILED]但不影响Linux的任何使用。这是由于VMware的一个新功能设置问题造成的报错，此功能是为了使Gues

原创 VMware Workstation 14 PRO 下安装 CentOS6.5( 安装图文教程 )

一、下载CentOSer6.5镜像文件。链接：https://pan.baidu.com/s/1ljBeEMSbUZhz5wmdlIPyBQ提取码：jhoo二、创建新的虚拟机，命名CentOS6.5。1、在VMware Workstation 14 主页中选择“Create a New Virtual Machine”，创建新的虚拟机。2、选择“Custom（advanced）“，自定义（高级）配置。3、默认，下一步4、选择“I will install the operating sy

原创 关于0.*的小于1的小数的输出问题

原创 远程同步脚本的编写

远程同步脚本用于将文件在集群中进行分发的脚本，适用于批量操作。#!/bin/bash#1.获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenecho no args;exit;fi#2.获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3.获取上级目录到绝对路径pdir...

原创 Linux命令之一：SCP命令与RSYNC命令

scp的几种方式在本机向其它机器传送文件[lizhi@host6002 opt]$ scp software/a.txt lizhi@host6003:/opt/software/lizhi@host6003's password: a.txt 或者$ ...

原创 几个比较有意思的sql(案例一：级联累计查询)

连续级联累计查询,间断清零(基于hive)原始数据类型input.csvUserA,LocationA,2018-01-01 08:00:00,60UserA,LocationA,2018-01-01 09:00:00,60UserA,LocationB,2018-01-01 10:00:00,60UserA,LocationA,2018-01-01 11:00:00,60UserA...

原创 首次尝试MD

MarkDown笔记首用This is the first testnew change功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导...

原创 技术博客开通了

开始技术博客第一次写还是有一些感慨做技术多年，开发多年，今天才开始写技术博客！有些相见恨晚的感觉，不过我会继续下去，永不懈怠的继续下去。路虽远，行必至。我的规划后边分享的文章也会进行分类，所以具体哪些方面的惊喜，大家都会一一看到。能够看到我的文章，我相信是你的荣幸，我的文章能够被你们看到我也感到欣慰。在这个鱼龙混杂的技术世界里，有很多人打着专家的口号传播着错误的知识，你只要仔细一问、...