刘s泽

转载 MYSQL last_insert_id()函数

last_insert_id()函数的返回值不是基于整个数据库的插入语，而是基于单个连接客户端之间所执行的insert语句最近一条，而且客户端之间是不会影响的，它是连接级别的函数，只对当前用户的连接有效。在MySQL中，使用auto_increment类型的id字段作为表的主键。通常的做法，是通过“select max(id) from tablename”的做法，但是显然这种做法需要考虑并发...

转载 （转载）昨天你用的 YYYY-MM-dd 被同事锤了吗？

转载链接：https://www.jianshu.com/p/b6b84980b1b9问题表现问题原因YYYY是week-based-year，表示：当天所在的周属于的年份，一周从周日开始，周六结束，只要本周跨年，那么这周就算入下一年。所以2019年12月31日那天在这种表述方式下就已经 2020 年了。而当使用yyyy的时候，就还是 2019 年。相关说明https://docs.o...

原创 windows下搭建kafka环境

下载https://kafka.apache.org/downloads#2.4.0启动：cd /d D:/360s/kafka_2.11-2.4.0/bin/windows（后台运行start /b，强制切换/d） 1、 启动zookeeper : start /b zookeeper-server-start ../../config/zookeeper.properties 2、 启...

转载 hdfs手动checkpoint

转载 auto.offset.reset值含义解释

auto.offset.reset值含义解释earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据 none topic各分区都存在已提交的offset时，从offset后开始消费；只要有一...

原创 windows下设置hadoop用户

System.setProperty("HADOOP_USER_NAME", "zkpk")System.setProperty("user.name", "zkpk")

原创 hive创建分区表

源文件中 要删除ymd1.创建分区表CREATE TABLE temp (pile smallint,mp smallint,carownerint,hmsint ） partitioned by (ymd` int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’STORED AS parquet;2.加载数据，用sparksqli...

原创 java题

最小公倍数=a*b/最大公约数 public static int BigDivisor1(int a, int b) { int max = max(a, b); int min = Math.min(a, b); while(max%min != 0) { int c = max%min; ...

转载 hadoop开机自动启动

有一次是把脚本注释中的#chkconfig 35 95 1 改成 2345 95 1 好像记得编写运行脚本$ sudo cd /etc/init.d$ sudo vi hadoop#!/bin/bash#chkconfig:35 95 1#description:script to start/stop hadoopsu - hadoop <<!case $1 in...

原创 spark sql修改一列中为null的值改成1

sparksql中用nvl来判断并替换null如：spark.sql("select nvl(age,20) from tableA")会将age列中为null的替换为20

原创 azkaban启动

1.进入到azkaban的server根目录中启动：bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out&2.启动executor：bin/azkaban-executor-start.sh

原创 在 zookeeper上看kafka的消息

ls /consumers 换 get /consumers

原创 sqoop mysql导入hive

导入hdfs:bin/sqoop import –connect jdbc:mysql://master:3306/ke_eleloss –username hadoop –password hadoop –query “select * from transRecord where nodeId=1 and $CONDITIONS” –target-dir hdfs://master...

原创 kafka

启动kafka ./kafka-server-start.sh --daemon /…/config/server.properties创建topic ./kafka-topic.sh --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic xxx查看topic ./kafa-topic.sh --list...

原创 mysql存储过程增删查，简单使用

一、创建存储过程无参数：delimiter // create procedure A() begin select * from tablName; end//delimiter ;调用存储过程 call A;以表名为参数 delimiter // create procedure B(in tablName varchar(250)) ...

转载 Crontab定时执行linux命令

一、脚本执行要用到java或其他环境变量时，通过source命令引入环境变量，脚本为：#!/bin/shsource /etc/profileexport RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf/usr/local/jboss-4.0.5/bin/run.sh -c mev &amp;amp;amp;当手动能执行脚本，但是crontab...

原创 将mysql中的数据导入到hdfs，spark程序实现

程序为：import org.apache.spark.sql.SparkSessionobject import_data { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("MysqlDemo") .master("lo...

原创 hive中注释乱码（设置数据库编码utf-8）

set character_set_client = utf8;set character_set_server = utf8;set character_set_connection = utf8;set character_set_database = utf8;set character_set_results = utf8;set collation_connection = u...

原创 ambari过程中Namenode拒绝连接，ambari失去心跳

namenode连接被拒绝：解决方法：在启动namenode过程中，手动启动hadoop-daemon.sh可能会得到解决。ambari失去心跳：解决方法：重启ambari-server跟agent 可能得到解决。...

原创 sqoop使用过程中报错java.lang. InterruptedException

sqoop使用中报错：查找网上资料为sqoop使用中的bug，测试结果不会受到影响。

原创 idea打jar包与spark-submit提交集群

一、idea打包1.project Structure中选择Aritifacts2.选择+号新建一个要打的jar包删除除了 compile output之外的集群中已经存在的jar包，除非引入了集群中不存在的jar包3.选择设置主类，再build-&amp;amp;amp;amp;amp;amp;amp;gt;build Aritifacts即可二、spark-submin提交集群命令使用yarn管理集群资源：spark-submit -...

原创 sqoop从hdfs导出到mysql中

启动命令为：sqoop export --connect jdbc:mysql://master:3306/test --username root --P --table wordCount --export-dir /b.txt/part* -m 1 --fields-terminated-by ’ ’发现执行任务总是失败,后经过查看原始数据为：(a,1)(b,1)更改程序使最终结果...

原创 linux常用命令

1.passwd：root下更改linux普通用户密码2.hdfs getconf -confKey fs.default.name：查看hdfs提交地址3.关闭防火墙service iptables stopchkconfig iptables offservice iptables status4.。。。。。...

原创 spark编程笔记wholeTextFiles使用\n作为分隔符

spark程序：val word=sc.wholeTextFiles(“E:\new 1.txt”)word.flatMap(_.2.split(&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;\n&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;)) .map(x=&amp;amp;amp;amp;