- 博客(113)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 NX_Java_02 树的相关概念、二叉搜索树排序、平衡二叉树的旋转
脑中要构想出一个连贯的图形动画，一切的一切都是以这个动画为基础的树的基本概念省略的很多……权：树节点上面的值度：某个节点下面有几个子节点路径：从根节点遍历到某个节点所经过的二叉树每个节点最多只能有两个子节点的一种形式称为二叉树满二叉树所有非叶子节点都存在左子树和右子树，并且 所有叶子都在最后一层的二叉树为满二叉树完全二叉树...
2021-07-29 17:42:55
93
原创 NX_Java_01 数组、链表、ArrayList源码
数组理解：存储 固定 连续 大小的 同类型 元素。创建方式方式：//oneint[] array1=new int[size];//twoint[] array2={1,2,3};System.out.println(array1.length);数组添加与删除元素：数组的添加元素与删除元素归根结底就是给数组对应索引位置进行赋值。并且数组默认添加是 尾部 添加（因为定义是连续的）在数组中最后一个元素+1的位置与之对应的索引，我们称为size，它可以表示有两个含义（无图，请略
2021-07-28 15:16:26
109
转载 Java计算年月日时分秒时间差（两个时间相减）
//测试主方法 public static void main(String[] args) { Date currentTime = df.parse("2004-03-26 13:31:40"); //当前系统时间 Date firstTime = df.parse("2004-01-02 11:30:24"); //查询的数据时间 String str=getTime（currentTime ,firstTime ）;
2020-10-21 14:51:08
3349
原创 两个容量很大的数组a,b（已经排好序了），求两个数组的交集
题目：两个容量很大的数组（已经排好序了），求两个数组的交集穷举法双层for循环进行遍历，外层a数组中的每一个值与内层b数组中的每一个值进行比较，找到两个数组的交集。进阶一：题中已经说了是排好序的数组，我们利用这个条件进行优化：两个数组 ——> a：{4，6，7,……} b：{2，3，5，……}想一想，a数组第一个是4，第一次比较，我们并不需要4与b中所有的数组全...
2019-05-11 19:49:57
2049
转载 到底要怎么学？看书还是看视频？
【码农翻身】看书好还是看视频好？又偷懒了……我的方法是：视频先1.2+倍速入门（针对有一定基础的朋友们，没有基础的话，还是一步一个脚印的来吧），视频中的代码要搞懂，最重要的是你一定要明白这个视频到底要你学会些什么？视频中的老师有没有什么骚操作？好的总结？接下来就是书籍，博客的深入浅出了原文：这个问题仁者见仁、智者见智：有人觉得书细致而严谨，全面而详实，有人觉得看起来比较枯燥；有人觉...
2019-04-30 21:49:28
2178
原创 幂等性
幂等性定义：解释1：一次和多次请求某一个资源应该具有同样的副作用。解释2：同样的请求被执行一次与连续执行多次的效果是一样的，服务器的状态是一样的。解释3：任意多次执行对资源本身所产生的影响均与一次执行相同。解释4：调用接口成功，即使再多次调用，对系统的影响也是一致的。解释5：用户对同一个操作发起的一次请求或多次请求的结果是一致的，不会因为多次点击而产生的副作用。使用了幂等性的场景...
2019-04-29 12:59:43
569
原创 Java String详细介绍
今天没学新东西，把原先总结的脑图发一下吧，凑个数……链接：https://pan.baidu.com/s/1qiprDWLfumnyX48sRURiuQ提取码：zqqy
2019-04-27 19:34:02
338
原创 Hive创建表：FailedPredicateException(identifier,{useSQL11ReservedKeywordsForIdentifier()}?)
FailedPredicateException(identifier,{useSQL11ReservedKeywordsForIdentifier()}?)先给出解决办法，喜欢看案例的可以看下面的案例：你在创建表的时候，使用了Hive的关键字作为字段，这样肯定会报错呀！！！错误信息：错误的语句：CREATE TABLE serde_regex1( host STRING, ...
2019-04-25 09:23:31
2045
原创 Hive与MySQL的区别
Hive与MySQL的区别MySQL逻辑架构图：Hive的架构图：两者的比较：Hive采用了类SQL的查询语言HQL（hive query language）。除了HQL之外，其余无任何相似的地方。Hive是为了数据仓库设计的。存储位置：Hive在Hadoop上；Mysql将数据存储在设备或本地系统中；数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了；数...
2019-04-23 21:38:43
30101
4
原创 面试题：说一说你对@SpringBootApplication这个注解的理解
面试题：说一说你对@SpringBootApplication这个注解的理解@SpringBootApplication来标注一个主程序启动类，说明这是一个Spring Boot应用@SpringBootConfiguration:Spring Boot的配置类；标注在某个类上，表示这是一个Spring Boot的配置类；@Configuration:配置类上来标注这个注解；配置类 --...
2019-04-22 21:33:37
1897
原创 有关分布式session的一到面试题……
先说下我是怎么实现分布式session的 用户登陆那段代码里面，用户登陆成功，我会通过uuid生成一个值作为token，将token返给前端并同时将该token为key，用户的id为value存储到redis中，并设置3天的过期时间。 用户登陆成功后访问其他页面的时候，会被我配...
2019-04-20 16:56:14
750
转载 Java架构师如何学习?
Java架构师如何学习?里面的很多内容是值得我们去借鉴的,但我们一定要明确自己的目标，并为之付出正确的努力，走出一条属于自己的道路。
2019-04-20 16:13:48
322
原创 Java try-catch性能分析
Java try-catch性能分析先给出一段代码，大家对比一下try-catch和普通条件判断执行程序的消耗时间public static void ifTest(String[] args) { if (args != null) { System.out.println(args[0]); } else { ...
2019-04-16 19:19:32
1115
转载 spark内核解析——spark master和worker的启动
更好的理解spark——spark master和worker的启动1、master通过start-master.sh 启动之后，首先创建了RpcENV。设置了MasterEndpoint这种通讯环境，然后通过onstart来初始化了自己的服务，通过receive和receiveAndReplay方法来初始化了消息体系。2、worker通过start-slave.sh 启动之后，首先创建了R...
2019-04-11 15:43:10
1475
转载 spark内核解析——spark通信架构
更好的理解spark——spark通信架构此篇摘抄自某教程的ppt，希望大家可以更深刻的理解sparkspark既然是分布式集群，那么他的master和worker节点之间是怎么进行通信的？spark1.3之前的通信框架是什么？之后为什么不使用这个通信框架了？1、Spark内部的通信架构使用Actor模型进行开发，在Spark1.3之前直接使用AKKA来作为具体的通信框架。为了解决s...
2019-04-11 15:34:55
386
转载 spark内核解析——spark 脚本解析
更好的理解spark——spark 脚本解析在学习spark的时候，我们一个start-all.sh就将spark集群成功启动，有没有仔细看过这里面的细节呢？今天来总结一下spark启动脚本的流程集群启动脚本：start-all.shspark-config.sh 的作用主要就是初始化两个环境变量spark-master.sh 的作用是初始化变量，启动master进程调用spa...
2019-04-11 13:27:32
207
原创 大数据开发注意事项
大数据开发注意事项今天开始记录一下大数据之路的坑：所有的地址，不管本地还是远程的的，全部写192.xxx.xxx.xxx，不许写localhost所有的字符串切割操作，全部分开进行切割，不许一行代码写多个字符串的操作在map函数中的操作，能直接利用索引在数组中取到，就不要自己额外的定义一行变量，容易出错自己定义变量的时候，一定要注意val和var的使用（绝大多数在map函数中自定义的变...
2019-04-02 19:43:37
367
原创 IllegalArgumentException:requirement failed: No output operations registered, so nothing to execute
ERROR StreamingContext: Error starting the context, marking it as stoppedjava.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute at scal...
2019-04-01 09:49:46
2537
1
转载 sqoop map：100% reduce：0%卡住
sqoop执行作业： map：100% reduce：0%卡住我的情况是使用sqoop从hive向RDBMS中导入数据出现的。对于这种情况：绝大多数都是yarn的配置问题。内存与CPU的资源不够。解决：更改yarn中的设置<property> <name>yarn.nodemanager.resource.memory-mb</name> ...
2019-03-29 18:21:16
3521
原创 org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxx.xxx.xxx.xxx, port: xxxxx}: RPC
错误如下：org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxx.xxx.xxx.xxx, port: xxxxx }: RPC根本原因：当前启动的这个flume-agent无法连接这个（host:port）的服务。解决：使用netstat -tunlp|grep xxxxx查看当前这个端口号是否被监控。如果没有被监...
2019-03-29 18:02:04
5102
原创 Kafka的坑： 消费者无法消费消息
问题：今天使用Kafka做一个小DEMO，但运行的时候，可以在控制台上看到生产者发送的消息，无法看到消费者在消费消息，但通过命令行可以看到消费者消费的消息。生产者应该是没有问题的，给出消费者的代码：/** * Kafka消费者 */public class KafkaConsumer extends Thread{ private String topic; public...
2019-03-29 11:19:31
22192
9
原创 日志分析 进入大数据Spark SQL的世界
以慕课网日志分析为例 进入大数据 Spark SQL 的世界这篇blog是这个项目的总结，因为从别的地方学习过Hadoop、Spark的一些基础知识了，所以这部分略过。针对自身的不足，我抛出一些问题，自己思考。什么是大数据？大数据公司的现存模式？Hadoop生态圈长什么样子？spark为什么这么快？spark vs mapreduce自己编译一套spark的源码来使用spark...
2019-03-28 15:06:18
608
3
原创 Scala复习教程（自用）
Scala复习教程（自用）链接：https://pan.baidu.com/s/1qiprDWLfumnyX48sRURiuQ提取码：zqqy
2019-03-26 16:52:24
336
转载 Hadoop的CDH版本是什么？
Hadoop的CDH版本是什么？1.Apache社区版优点：完全开源免费 社区活跃 文档、资料详实缺点：版本管理比较混乱，各种版本层出不穷，很难选择，选择生态组件时需要大量考虑兼容性问题、版本匹配问题、组件冲突问题、编译问题等。集群的部署安装配置复杂，需要编写大量配置文件，分发到每台节点，容易出错，效率低。集群运维复杂，需要安装第三方软件辅助。2.第三方发行版（CD...
2019-03-21 21:27:31
8188
原创 IDEA安装插件的两种方式
1.IDEA中在线安装，如图所示2.有的插件下载需要VPN，导致下载很慢，我们可以通过官网下载安装包，通过本地安装包进行安装
2019-03-20 11:01:46
226256
10
原创 spark shell 启动出现：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':
Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:解决方法:sudo chmod -R 777 /tmp/hive/
2019-03-16 16:31:32
3678
2
原创 scala、spark有关环境的一些坑
今天重新学习了下spark，出现了一系列的环境问题，总结一下，希望以后小伙伴们不要踩坑Caused by: java.lang.ClassNotFoundException: org.apache.spark:出现这个问题的原因是pom文件配置问题，我在pom中关于spark、scala、hadoop的依赖里面使用了这个标签provided表明该包只在编译和测试的时候用，所以在启...
2019-03-15 09:45:00
662
转载 你真的面向对象了吗？充血模式和贫血模式
还记得我们刚开始学面向对象的时候吗？对象里面有什么？属性和行为。但时至今日，我们的对象只有属性，何来行为一说呀！充血模式和贫血模式贫血模型：是指领域对象里只有get和set方法，或者包含少量的CRUD方法，所有的业务逻辑都不包含在内而是放在Business Logic层。优点是系统的层次结构清楚，各层之间单向依赖，Client-&gt;(Business Facade)-&gt;Busi...
2019-03-12 21:02:30
741
原创 Hadoop生态圈(三驾马车+ZK+Hive+Sqoop+Flume)复习脑图 version-1.0
这几天一直在复习前段日子自学的大数据视频教程，现在算是把Hadoop第一阶段的脑图整理出来了，这个脑图大部分都是针对理论知识（比较重要的都有了），没有实践，毕竟复习面试使用的么……哈哈链接：https://pan.baidu.com/s/1EJr1J2crzB_Gpbvx8Wu2xw提取码：gh8d...
2019-03-12 19:23:52
808
原创 Linux上有关ssh的那个问题
Linux系统环境信息读取的顺序，ssh执行远程脚本的坑、gradle远程部署的坑问题描述：1.hadoop集群一台一台的启动太麻烦了，因此copy个脚本（内容：通过ssh连接每台服务器，启动对应的服务），希望在一台机器上执行脚本，可以将整个集群启动、但不幸的是：当前机器是启动成功的，但其他的机器都是失败的并且显示没有对应的环境变量，很奇怪？2. 项目中使用到了gradle，里面通过’or...
2019-03-09 19:14:21
290
转载 有哪些新手程序员不知道的小技巧？
有哪些新手程序员不知道的小技巧？重构是程序员的主力技能。工作日志能提升脑容量。先用profiler调查，才有脸谈优化。注释贵精不贵多。杜绝大姨妈般的“例注”。漫山遍野的碎碎念注释，实际就是背景噪音。普通程序员+google=超级程序员。单元测试总是合算的。不要先写框架再写实现。最好反过来，从原型中提炼框架。代码结构清晰，其它问题都不算事儿。好的...
2019-03-01 21:02:43
91
原创 Java 秒杀系统方案优化
秒杀系统方案优化这几天一直在看这方面的视频教程，今天总算是结束了，秒杀大体流程是很清楚的，但是一落到细节还是挺懵的，总结一下学到的知识点吧，写的不好，还请见谅哈 ⊙ω⊙一. 表结构的设计：订单表商品表秒杀订单表秒杀商品表1. 为什么要这么设计？原因：假如没有下面这两张秒杀表的存在（自然，就需要向上面两张表中添加关于秒杀的字段），这次我们仅仅是做了一个秒杀的业务，如果以后我们...
2019-02-26 21:41:33
1731
2
原创 本地navicat连接不上阿里云服务器mysql（不开放3306端口，通过ssh连接远端mysql）
今天需要在一台新的服务器上部署项目，但发现在命令行中可以连接mysql，一到navicat怎么连接就是不成功，很尴尬……出现原因：阿里云没有开放3306端口服务器的防火墙没有开放3306端口mysql 用户连接受限制直接给出大家阿里云未开放3306端口，如何通过navicat连接阿里云的mysql（前提要保证服务器的防火墙开放3306端口，mysql user表中root的访问权限...
2019-02-26 13:13:02
2300
转载 Mysql之Specified key was too long; max key length is 767 bytes
Mysql之Specified key was too long; max key length is 767 bytesmysq索引的字段都太长了，解决办法：让mysql支持比较长的索引,然后在插入表的时候，添加ROW_FORMAT=DYNAMIC ，自动格式化索引。数据库层面的修改show variables like 'innodb_file_format'; --修改最大索引...
2019-02-26 12:13:45
9268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人