- 博客(210)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 遍历Map的四种方法
遍历Map的四种方法public static void main(String[] args) {Map<String, String> map = new HashMap<String, String>();map.put("1", "value1");map.put("2", "value2");map.put("3", "value3"); //第一种：普遍使用，二次取值System.out.println("通过Map.key...
2020-10-12 14:23:07
146
原创 linux后台执行命令：&和nohup
当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几种选择方法可供使用。&当在前台运行某个作业时，终端被该作业占据；可以在命令后面加上& 实现后台运行。例如：sh te...
2019-12-16 19:38:52
226
原创 rundeck 警告邮件QQ邮箱设置
现在最常使用微信、QQ，所以警告邮件设置为QQ邮箱文章目录开启邮箱SMTPcentos配置安装mailx服务(可以发带附件邮件)编辑配置文件打开POP3/SMTP/IMAP功能测试rundeck 调用开启邮箱SMTP进入邮箱设置，验证后获得y邮箱授权码 centos配置安装mailx服务(可以发带附件邮件)安装yum -y install mailx测试是否安装成功...
2019-11-29 12:00:55
1046
原创 rundeck 警告邮件设置 postfix问题:Job for postfix.service failed because the control process exited with err
Job for postfix.service failed because the control process exited with error code. See “systemctl status postfix.service” and “journalctl -xe” for details.这是因为防火墙或者配置文件导致，无法启动的邮件服务！！首先关闭防火墙！修...
2019-11-28 12:13:40
964
原创 定时任务crontab 详解
文章目录服务管理常用选项说明系统的定时任务如何实现每秒执行方法一方法二服务管理$ systemctl status crond # 查看服务状态$ sudo systemctl start crond # 启动服务$ sudo systemctl stop crond # 停止服务根据cron的日志实时查看执行情况$ sudo tail -f /var/log/cro 【注意-f...
2019-11-22 12:48:14
311
原创 集群报警 ：Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10
Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响问题：Centos 7 下安装CDH，群...
2019-11-18 20:35:34
2347
原创 若泽数据学员 整理面试题
第一份面试题：1、自我介绍2、画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等https://blog.csdn.net/zhikanjiani/article/details/89284488参考第一个mapreduce离线处理项目，为什么你们选择mapreduce或者spark；不要把东西落到具体的业务上去，应该提升到通用的流程上去，是处理日志的还是处理...
2019-11-14 12:03:33
342
原创 CentOS 中 is not in the sudoers file 解决方法
【涉及权限问题】当在终端执行sudo命令时，系统提示“hadoop is not in the sudoers file”：其实就是没有权限进行sudo，解决方法如下（这里用户名是fbz）：1.切换到超级用户：$ su2.打开/etc/sudoers文件：$vim /etc/sudoers3.修改文件内容： 找到“root ALL=(ALL) ALL”...
2019-11-14 11:58:24
560
原创 sparkSQL常用用法
1)、----CAST和CONVERT的用法SQL中的cast和convert都是用来将一种数据类型的表达式转换为另一种数据类型的表达式。CAST和CONVERT提供相似的功能，只是语法不同。在时间转化中一般用到convert,因为它比cast多加了一个style,可以转化成不同时间的格式。使用 CAST：CAST ( expression AS data_type )使用 CONVE...
2019-10-29 15:43:58
1666
原创 在maven项目中scala和java 混编 问题
1.需要添加scala 相关maven配置：<properties> <scala.version>2.10.1</scala.version> <slf4j.version>1.7.7</slf4j.version> <scala.maven.version>2.1...
2019-10-17 16:47:11
220
原创 OPPO数据中台之基石：基于Flink SQL构建实数据仓库
本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下：OPPO 实时数仓的演进思路； 基于 Flink SQL 的扩展工作； 构建实时数仓的应用案例； 未来工作的思考和展望。一.OPPO 实时数仓的演进思路1.1.OPP...
2019-09-25 16:45:32
193
原创 Oracle 常用通用函数、条件判断函数和多行函数
1|1通用函数通用函数就是可以作用于任何类型的函数（参数类型可以是number或varchar2或date类型）1）NVL(a,b)如果a为null值，则取b为返回结果，否则返回a。2）NVL2(a,b,c)如果a为null， 则结果为b， 否则结果为c。3）NULLIF(a,b)在类型一致的情况下，如果a与b相同，返回NULL，否则返回a。例如：比较10和10.0...
2019-09-22 18:30:48
946
原创 比拼Kafka，大数据分析新秀Pulsar到底好在哪
在用户选择一个消息系统时，消息模型是用户首先考虑的事情。消息模型应涵盖以下 3 个方面：消息消费——如何发送和消费消息；消息确认（ack）——如何确认消息；消息保存——消息保留多长时间，触发消息删除的原因以及怎样删除；消息消费模型在实时流式架构中，消息传递可以分为两类：队列（Queue）和流（Stream）。队列（Queue）模型队列模型主要是采用无序或者共...
2019-09-17 15:45:11
243
原创 oracle 行转列~列转行（几种方法）
工作中，我们经常会碰到行转列的情况这里我介绍几种简单的方法--行转列1.oracle的pivot函数原表使用pivot函数：with temp as(select '四川省' nation ,'成都市' city,'第一' ranking from dual union allselect '四川省' nation ,'绵阳市' city,'第二' ranking f...
2019-07-31 15:46:35
1518
原创 面试手撕代码 判断符号字符串是否有效
需要配对，很明显 用栈① 开始思路public static boolean isValid(String s) { Stack<Character> stack = new Stack<Character>(); str="([{"; str1=")]}"; for (int i = 0; i < s.length(); i...
2019-07-12 20:05:31
220
原创 Oracle 随机获取N条数据
当我们获取数据时,可能会有这样的需求,即每次从表中获取数据时,是随机获取一定的记录,而不是每次都获取一样的数据,这时我们可以采取Oracle内部一些函数,来达到这样的目的1) select * from (select * from tablename order by sys_guid()) where rownum < N;2) select * from (select * ...
2019-07-05 12:34:17
217
原创 Hadoop hdfs 原理探究
HadoopHadoop由两部分组成，分别是分布式文件系统(HDFS)和分布式计算框架MapReduceHDFSNameNode负责文件元数据信息的操作以及客户端的请求 管理HDFS文件系统的命名空间 维护文件树中所有的文件和文件夹的元数据信息以及文件到快的对应关系和块到节点的对应关系 单个NameNode支持4000台DataNode集群 NameNode在内存中保存着整...
2019-06-14 16:21:34
150
原创 浅谈 DML、DDL、DCL的区别
一、DML DML（data manipulation language）数据操纵语言： 就是我们最经常用到的 SELECT、UPDATE、INSERT、DELETE。 主要用来对数据库的数据进行一些操作。SELECT 列名称 FROM 表名称UPDATE 表名称 SET 列名称 = 新值 WHERE 列名称 = 某值INSERT INTO table_name (列1...
2019-04-30 15:00:14
7316
原创 报错 ：该字符串未被识别为有效的 DateTime。有一个未知单词(从索引 9 处开始)
ERROR：服务端系统错误，具体请查询系统日志:该字符串未被识别为有效的 DateTime。有一个未知单词(从索引 9 处开始)。前提简介： 之前公司客户向我反映了一个问题，说为什么我第一使用你们的软件，怎么连工程都建不了(我们做的是一个建筑施工项目)，这点事我们BOSS跟说我要我解决下，这下子我哪敢怠慢，连忙去联系客户看他出现了什么错误，他截了一张图给我看：如下图：...
2019-04-19 14:20:01
13072
原创 记一次Oracle引起的线上惨案——监听日志 listener.log listener.ora
周末，系统突然无法登录，怀疑服务器调整引起的，周一现场同事无法解决，求救， 部队医院无法远程，微信视频将无监听等报错解决后，依然无法登录，中午奔赴现场到了现场，plsql点击登录，显示未响应，卡死了 555555 ，重启服务器涛声依旧。。。。。。。。。意思到数据库问题，查找监听日志，确认问题：监听日志过大导致监听异常的bug，竟然达到了4G【在Ora...
2019-04-18 17:04:49
185
原创 oracle查询 表大小 行数
查看表大小select segment_name as tablename,bytes/1024/1024/1024 gb from dba_segments where segment_name='TEST' and owner='CESHI';TEST为表名 ，CESHI为用户名，注意要大写查看所有表的数据量行数select t.table_name,t.num_ro...
2019-04-18 11:35:17
4421
转载 Oracle ORA-01033: 错误解决办法
转自 Oracle ORA-01033: 错误解决办法打开PLSQL时出现以上错误。解决办法： 解决步骤第一步、sqlplus /NOLOG第二步、SQL>connect sys/change_on_install as sysdba提示：已成功第三步、SQL>shutdown normal提示：数据库已经关闭已经卸载数据库ORACLE 例程...
2019-02-22 16:30:07
377
转载 企业级大数据管理平台CDH(监控)
cloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 监控可以在管理页面看到默认的监控点击进入莫个具体的组件也有与之对应的监控指标二, 自定义监控可以在管理菜单上方的图表里面找到dashboards在具体的...
2019-01-23 21:35:30
857
转载 MySQL 中 6 个常见的日志问题
MySQL 里有两个日志，即：重做日志（redo log）和归档日志（binlog）。其中，binlog 可以给备库使用，也可以保存起来用于恢复数据库历史数据。它是实现在 server 层的，所有引擎可以共用。redo log 是 InnoDB 特有的日志，用来支持 crash-safe 能力。你一定听过 MySQL 事务的两阶段提交，指的就是在事务提交的时候，分成 prepare 和 c...
2019-01-23 20:46:05
378
1
转载 Hive SQL 运行状态监控---HiveSQLMonitor
引言 目前数据平台使用Hadoop构建，为了方便数据分析师的工作，使用Hive对Hadoop MapReduce任务进行封装，我们面对的不再是一个个的MR任务，而是一条条的SQL语句。数据平台内部通过类似JDBC的接口与HiveServer进行交互，仅仅能够感知到一条SQL的开始与结束，而中间的这个过程通常是漫长的（两个因素：数据量、SQL复杂度），某些场景下用户需要了解这条SQL语...
2019-01-23 20:34:36
408
原创 oracle--dblink跨库中文乱码解决
场景：数据库B需要数据库A的数据信息数据库A： US7ASCII数据库B： ZHS16GBKdblink A->B : to_bSELECT * FROM pats_in_hospital@to_b 发现中文字段乱码原因：作为dblink的两端，在A通过to_b访问B数据库时，A为B的客户端，由于数据库A的字符集为WE8DEC，为了使A数据库服务器上的其...
2019-01-17 00:00:54
4156
1
原创 Oracle 查看历史SQL执行记录
--个人最常用的方法--oracle 监控，可以查看执行过的SQL语句SELECT SQL_TEXT, LAST_ACTIVE_TIME,SQL_FULLTEXT FROM v$sql ORDER BY LAST_ACTIVE_TIME DESC--另外 PL/SQL Developer中Ctrl+E可以重新调出历史SQL记录，历史记录文件默认保存在 AppData\Roam...
2019-01-10 23:40:23
42455
1
转载 Hive、Hbase、mysql区别
Hive和HBase的区别Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉...
2019-01-06 12:15:56
160
原创 Rownum,Rowid,row_number()及oracle分页查询
1.rownum和rowid都是伪列，但两者的根本是不同的 rownum是根据sql查询出来的结果给每行分配一个逻辑编号，不同的sql也就会导致rownum不同，但是rowid是物理结构上的，在每条记录Insert到数据库时，就会有一个唯一的物理记录。rowid可以说是物理存在的，表示记录在表空间中的一个唯一位置ID，在DB中唯一。只要记录没被搬动过，rowid是不变的。rowid相对...
2019-01-06 00:28:40
427
原创 oracle 手机通话记录数据显示
手机通话记录显示方式：模拟的字段表结构 老式手机的显示方式，即通话记录最原始状态： 代码如下 With Ate As( Select Row_Number() Over(Order By Time Desc) Rn, Relatedmobilde, Calltype, Time From ...
2019-01-06 00:02:24
396
4
原创 Oracle之 按照特定顺序排序
有一个人员表，需要查询出来的人员顺序和给出的EXCEL顺序保持一致： 查出所有数据： select * from person按照EXCEL人员顺序 QWERTY（ 一个字母代表一个人名）需要借助函数 INSTR（str, substr）是返回substr在str中的位置，若不存在，则返回0 按顺序查询出人员 select * fr...
2019-01-05 23:34:55
1725
原创 Scala 学习之 for 循环- yield 学习
我们先看下scala的 for循环骚操作：scala> for (i <- 1 to 3; j <-1 to 3 if i!=j ) println(s"i=$i,j=$j,i+j=${i+j}") i=1,j=2,i+j=3 i=1,j=3,i+j=4 i=2,j=1,i+...
2019-01-05 21:44:26
265
原创 Scala学习之sorted,sortWith,sortBy源码及用法
scala的集合中提供了三种排序的方式：sorted,sortWith,sortBy。那么这三种方式有什么不同呢。下面我们结合源码来分析一下1.sorted先来看看scala中sorted的源码。 def sorted[B >: A](implicit ord: Ordering[B]): Repr = { val len = this.length val ...
2019-01-05 14:08:06
1533
1
转载 Redis存储总用String？你大概错过了更优的使用方法
Redis为我们提供了5种数据类型，基本上我们使用频率较高的就是String，而对其他四种数据类型使用的频次稍弱于String。原因在于： String使用起来比较简单，可以方便存储复杂的对象，使用场景比较多；由于Redis expire time只能设置在key上，像List、Hash、Set、Zset属于集合类型，会管理一组item，我们无法在这些集合的item上设置过期时间，所以...
2019-01-01 22:42:46
483
原创 阿里云ECS CentOS 7 安装图形化桌面
虽然人们都说Linux的图形化界面会很大程度的降低系统性能什么的，但是我觉得这种人要不是刚进门人云亦云的，要不的确是不需要使用图形化界面的，我觉得图形化界面还是有存在的意义，不然你干嘛不一直去使用windows的命令行操作呢 阿里云官网指导图形化界面安装教程：https://help.aliyun.com/knowledge_detail/41227.html?spm=517...
2018-11-26 09:56:25
718
转载 Beyond Compare 4提示已经过了30天试用期
打开Beyond Compare 4，提示已经超出30天试用期限制，解决方法：1.修改C:\Program Files\Beyond Compare 4\BCUnrar.dll ,这个文件重命名或者直接删除，则会新增30天试用期，再次打开提示还有28天试用期。 2.一劳永逸，修改注册表1)在搜索栏中输入 regedit ，打开注册表2) 删除项目：计算机\HKEY_C...
2018-11-25 13:44:17
400
原创 MapReduce 执行流程总结
一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段 1 map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段 (1) 在read阶段，maptask会调用用户自定义的RecordReader方法，在splitInput中解析出一个个的key-value对 ...
2018-09-23 00:13:06
432
原创 Sqoop最佳实践
一、什么是SqoopSqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是Mysql、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升...
2018-09-08 01:43:44
777
1
原创 Oracle中start with…connect by prior子句用法
SELECT T2.* FROM (SELECT DEPT_CODE FROM SYS_USER_VS_DEPT WHERE USER_ID = '1' UNION SELECT WARD_CODE FROM SYS_USERS S WHERE S.USER_ID = '1') T1 LEFT JOIN SYS_DEPT T2...
2018-08-23 18:22:33
1436
原创 使用开源项目根据IP解析出城市信息的工具类编译
使用github上已有的开源项目 1）git clone https://github.com/wzhe06/ipdatabase.git 2）编译下载的项目：mvn clean package -DskipTests 3）安装jar包到自己的maven仓库 mvn install:install-file -Dfile=/Users/rocky/source/ipdatabase/tar...
2018-08-05 23:04:22
226
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人