- 博客(132)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 浅谈对Cmake的理解
在学习云计算相关知识的时候遇到了这个概念，查找资料后有了一定的了解，记录下来，一方面增加自己的理解，另一方面希望能够帮助到有需要的人。目录一 CMake定义二 网上高赞的理解1. CMake2. makefile3. 二者关系4. CMake的Helloworld示例三 个人理解四 总结一 CMake定义CMake是一个跨平台、开源的构建系统。它是一个集软件构建、测试、打包于一身的软件。比如它能根据源码和预先配置好的构建配置文件构建出Visual Studio的.sln文件或者Linux中的Mak.
2021-10-04 21:27:35
808
原创 mr底层源码的过程总结
不是解释源码，只是把过程总结一 读取阶段把输入文件做逻辑切分，切分成split 读取文件列表 按照规则将文件进行逻辑切分(剩余文件大小/split大小>1.1) Split包含的属性： Path 起始位置 大小  .
2021-09-18 17:16:53
366
原创 hdfs写文件底层分析
对hdfs底层的写入进行分析一 流程图1. 流程图2. 过程解析create 阶段： 1.1 在hdfs系统上创建文件，过程会经历大量的判断； 1.2 创建DataQueue数据队列来接收本地的数据，启动DataStreamer线程监控和处理队列中的数据。write阶段： 2.1 向DataStreamer中的DataQueue队列中写数据，有则唤醒，满则等待 2.2 建立数据通信管道以及创建输出流 2.2.1 从nameNode获取bl.
2021-09-18 17:08:33
165
原创 浅谈行式存储和列式存储
摘要本文主要对行式存储和列式存储原理做简单的分析，行式存储以mysql的Innodb 引擎和 Myisam 引擎为例，列式存储以parquet为例，最后对各自的优劣势总结。一 总览二 行式存储三 列式存储
2021-09-17 15:42:12
1412
原创 浅谈spark sql、hive on spark、spark on hive
主要讨论spark sql、hive on spark、spark on hive的区别
2021-09-16 11:44:09
869
原创 Linux /dev/sda3 100%解决
最近学习了linux相关的知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用第一步：查看整体情况> df -hFilesystem Size Used Avail Use% Mounted on/dev/sda3 195G 195G 0 100% /tmpfs 3.9G 12K 3.9G 1% /dev/shm/dev/sda1 190M 57M 124M 32% /b.
2021-03-15 21:06:03
16786
4
原创 浅谈Linux /dev/loop0文件
最近学习了一些Linux知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 概念二 losetup命令三 使用举例四 总结一 概念在类 UNIX 系统里，loop 设备是一种伪设备(pseudo-device)，或者也可以说是仿真设备。它使我们能像块设备一样访问一个文件。在使用之前，一个 loop 设备必须要和一个文件进行连接，这种结合方式给用户提供了一个替代块特殊文件的接口。因此，如果这个文件包含有一个完整的文件系统，那么这个文件就可以像一个磁盘.
2021-03-15 20:51:38
8034
1
原创 sda、sdb、sdc、sda1、sda2的意思
最近学习了一些陌生知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用意义如下：第一个软驱 /dev/fd0第二个软驱 /dev/fd1第一块硬盘 /dev/sda第二块硬盘 /dev/sdb, 以此类推.第一个SCSI CD-ROM /dev/scd0, 可以用/dev/sr0sda1, sda2是sda这块硬盘上的两个分区。举例：总结如有错误恳请指正，如有侵权请联系我删除参考文章: sda, sdb, sdc, sda1, sda2在Li.
2021-03-15 20:26:14
12193
原创 浅谈df和du的区别
最近学习了大数据知识，用到了一些命令，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 概念1. du2. df二 举例1. du使用举例2. df使用举例三 总结一 概念1. dudu estimates and displays the disk space used by files.可知du基于文件计算和显示磁盘占用情况,简单说就是查看文件占用磁盘的大小，或者说就是文件的大小。du常用参数：a：显示全部目录和其次目录下的每个档案所占的磁.
2021-03-15 20:17:43
629
原创 Unable to connect to remote host: No route to host(亲测解决)
最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。文章目录一 问题描述二 解决思路和步骤三 修改完成后的结果四 总结一 问题描述今天遇到了一个ip能ping通，但是telnet报错：Unable to connect to remote host: No route to host二 解决思路和步骤看了下资料说是有可能是icmp(Internet Control Message Protoco.
2021-03-13 16:58:23
9241
原创 Ubuntu中telnet 127.0.0.1时Unable to connect to remote host: Connection refused(亲测解决)
最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。文章目录一 问题描述二 错误的原因三 解决思路和步骤1. 安装xinetd和telnetd2. 创建文件/etc/inetd.conf3. 修改文件/etc/xinetd.conf4. 创建文件/etc/xinetd.d/telnet5. 重启系统，查看端口状态四 修改后的结果五 总结一 问题描述执行命令：telnet 127.0.0.1报错：.
2021-03-13 16:44:09
12392
1
原创 java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as ip:端口(亲测有效)
最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。文章目录一 问题描述二 解决思路和步骤1. 关闭集群中所有节点的防火墙2. 测试集群中节点的联通性3. 测试节点的控制性4. 修改防火墙的设置三 修改完成后的结果四 总结一 问题描述执行程序时，在控制台报的错(或者类似的错误)：在Hadooop的日志中的错误(或者类似的错误)：2021-03-12 22:21:14,316 INFO hdfs.D.
2021-03-13 16:15:44
6928
原创 初识HDFS
最近学习了大数据Hadoop相关知识，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 NameNode结构二 双向链表三 顺序表和链表对比四 总结一 NameNode结构主从结构二 双向链表三 顺序表和链表对比四 总结如有错误恳请指正，如有侵权请联系我删除参考文章：http://wiki.xuwei.tech/hadoop1/quick.html...
2021-03-10 12:52:15
162
2
原创 杜欧已训练
北京时间10月24日，NBA新赛季的目标日期已确定（北京时间12月23日），这意味着距离新赛季开始刚好只剩60天。篮网队两大核心凯文-杜兰特和凯里-欧文最近已经投入训练，两人都有在社交媒体上晒出个人训练照。杜兰特在去年总决赛遭遇跟腱断裂的重伤，但恢复情况非常出色，医学专家不久前曾透露了杜兰特的康复情况。...
2020-10-24 20:49:00
137
2
原创 centos7+hadoop3搭建伪分布式集群[亲测好用]
最近学习了hadoop3的伪分布式配置，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 前置工作二 安装hadoop三 测试四 总结一 前置工作1、修改主机名首先，命令行输入：hostnamectl set-hostname hadoop001在hosts文件中修改域名映射：vi /etc/hosts在hosts文件中添加：内网ip hadoop001测试是否修改成功：ping hadoop0012、安装jdk1.8点击下载.
2020-09-13 21:33:03
553
原创 浅谈Python数据结构(七)--树
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 树二 二叉树三 二叉搜索树四 总结一 树1、基本概念树是由结点或顶点和边组成的(可能是非线性的)且不存在着任何环的一种数据结构。没有结点的树称为空(null或empty)树。一棵非空的树包括一个根结点，还(很可能)有多个附加结点，所有结点构成一个多级分层结构。树是由n个节点组成的集合：如果n=0，那么这是一颗空树如果n>0，那么存在一个节点作为树的根.
2020-08-24 22:33:42
199
原创 浅谈Python数据结构(六)--哈希表
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 定义二 演变过程三 解决冲突的方法四 哈希表的应用五 哈希表模拟set六 总结一 定义哈希表是普通数组概念的推广，是能够根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数(Hash Function)，存放记录的数组叫做散列表(Hash Table)。在平均情况下，.
2020-08-21 14:55:56
317
原创 浅谈Python数据结构(五)--链表
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 单向链表二 双向链表三 顺序表和链表对比四 总结一 单向链表1、定义链表是由一系列节点组成的元素集合。每个节点包含两部分，数据域item和指向下一节点的指针next。通过节点之间的相互连接，最终串联成一个链表。代码实现：class Node: def __init__(self,item): self.item = item # 数据 .
2020-08-20 08:33:55
256
原创 浅谈Python数据结构(四)--栈和队列练习之迷宫问题
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 情景介绍二 栈实现三 队列实现四 总结一 情景介绍就是给定的点，绕过障碍物，找到一条到达目标点的通路。二 栈实现原理：深度优先搜索，栈里存的是路径。maze = [ [1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 0, 0, 1, 0, 0, 0, 1, 0, 1], [1, 0, 0, 1, 0, 0, 0, 1, .
2020-08-19 17:54:39
524
原创 浅谈Python数据结构(三)--队列
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 基础知识二 循环队列三 Python实现四 总结一 基础知识定义队列是一个数据集合，仅允许在队列的一端进行插入，另一端进行删除特点先进先出 FIFO基本概念队头：进行删除的一端(front)，删除动作称为出队队尾：进行插入的一端(rear)，插入动作称为入队缺点每个空间域只能利用一次。造成空间极度浪费。并且非常容易越界！二 循环队列针对上述的.
2020-08-17 15:47:42
289
原创 浅谈Python数据结构(二)--栈
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 基础知识二 Python实现三 使用举例四 总结一 基础知识定义栈是一个数据集合，可以理解为只能在一端进行插入或删除操作的列表特点后进先出 LIFO基本概念栈顶 栈底基本操作进栈：push出栈：pop取栈顶：gettop是否空栈：isempty()二 Python实现简单实现，没有考虑一些复杂的情况。class Stack: def .
2020-08-17 11:50:19
202
原创 浅谈Python数据结构(一)--列表
最近学习了python数据结构，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 C数组在内存中的存储二 Python列表与C数组的不同三 Python的列表是怎样实现的四 Python列表常见操作的时间复杂度五 64位和32位机器的区别六 总结一 C数组在内存中的存储开辟一块连续的指定大小的空间来存储指定类型的数据。假设数组的首地址为50，每个浮点数占8个字节那么在查找的时候：a[2] = 50 + 2 * 8二 Python列表与C数组的不.
2020-08-17 10:09:40
197
原创 浅谈算法(一)--递归
最近学习了python版算法，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 定义二 举例三 总结一 定义1、定义程序调用自身的编程技巧称为递归。2、特点调用自身结束条件二 举例以汉诺塔问题为例。1、解题思路，当有n个盘子时：把 n-1 个圆盘从A经C移动到B把 n 个圆盘从A移动到C把 n-1 个圆盘从B经A移动到C我们可以发现：其实每次操作，可用的只有两根柱子，也就是说每次只能对两个圆盘进行.
2020-08-05 18:10:46
151
原创 浅谈算法--时间复杂度和空间复杂度
最近学习了python版数据结构和算法，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 时间复杂度二 空间复杂度三 常用算法的时间复杂度和空间复杂度四 总结一 时间复杂度1、基本概念（1）时间频度：一个算法执行所耗费的时间，也就是一个算法中的语句执行次数称为语句频度或时间频度，记为T(n)。（2）空间复杂度：一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n),使得当n趋近于无穷大时，T(n)/f.
2020-08-05 16:53:19
271
原创 Pycharm 引用模块报错，但是程序运行正常
最近学习了在用pycharm导入模块时出了问题，通过查找资料解决。做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用1、问题描述同目录下，当多个文件之间有相互依赖的关系的时候，import无法识别自己写的模块，PyCharm中提示No Module。2、解决办法（1）打开File–> Setting—> 打开 Console下的Python Console，把选项（Add source roots to PYTHONPAT）点击勾选上。（2）右键点.
2020-08-01 12:13:58
1388
原创 python跨目录引用模块
最近学习python，导入模块的时候遇到了一些问题，通过查找资料解决。做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 跨目录调用模块二 补充说明三 总结一 跨目录调用模块1、调用同级目录下的模块目录结构：– src|– mod1.py|– test1.py若在程序 test1.py 中导入模块 mod1 , 则直接使用：import mod1 引入模块， 然后通过 mod1.function_name() 调用方法；或者通过 from m.
2020-08-01 11:08:43
613
原创 python零基础入门最简洁版
最近学习了python入门，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 环境变量二 变量和简单数据类型三 列表总结本教程内容和 Eric Matthes的<<Python编程从入门到实践>>章节对应。一 环境变量1、去python官网下载安装文件2、点击开始安装，一直下一步就可。。。3、在命令行输入python，如果出现对应的信息，证明安装正确二 变量和简单数据类型1、输入和输出# 输入输出函数# print.
2020-07-21 12:25:52
604
原创 解决ServletContextListener注入失败
最近做项目时需要在项目初始化的时候缓存数据，经历了一些采坑，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 产生原因二 解决方案三 总结一 产生原因首先，ServletContextListener监听的是项目的启动或停止，这个时候Spring的Bean还没来得及注入，所以通过@Autowired或者@Resource是取不到值的。那么我们肯定会想到通过实现ApplicationContextAware接口的方式来手动地实例化Bean，如下所示：@.
2020-07-07 17:50:32
1353
原创 InitializingBean在项目中的使用
最近做项目需要在项目初始化前加载数据进内存，用到了InitializingBean接口，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 使用场景二 举例三 拓展四 总结一 使用场景最近在项目中需要在项目初始化的时候，对一些常用数据进行缓存，我的第一反应是监听器，所以使用了java的ServletContextListener全局异常监听器，但是出现了一个问题，就是项目使用的spring,而ServletContextListener监听器是监听的tom.
2020-07-07 17:09:27
2397
原创 浅谈ApplicationContextAware
最近做项目需要手动地获取Spring容器中的bean，通过查找资料得以实现，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 接口的作用二 如何使用此接口三 总结一 接口的作用当一个类实现了这个接口（ApplicationContextAware）之后，这个类就可以方便获得ApplicationContext中的所有bean。换句话说，就是这个类可以直接获取spring配置文件中，所有有引用到的bean对象。二 如何使用此接口例如我有一个方法类App.
2020-07-07 14:57:50
255
原创 浅谈ServletContextListener
最近做项目时需要在项目启动的时候把一些数据库数据加载如内存，用到了ServletContextListener，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 作用原理二 简单举例(1)三 简单举例(2)四 简单概括五 总结一 作用原理在 Servlet API 中有一个 ServletContextListener 接口，它能够监听 ServletContext 对象的生命周期，实际上就是监听 Web 应用的生命周期。当Servlet 容器启动或终.
2020-07-07 14:28:36
379
1
原创 百度站内搜索使用教程
最近做了一个博客CMS网站，用到了百度站内搜索，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 使自己的网站被百度收录二 获取百度站内搜索代码三 总结声明一下，我本人很讨厌用百度的产品，求轻喷~~使用百度站内搜索需要两步：使自己的网站(上所有的网页)被百度收录获取百度站内搜索代码一 使自己的网站被百度收录1、 登录https://ziyuan.baidu.com/linksubmit/url，输入要被收录的网页地址2、点击提交，.
2020-07-06 22:28:00
4854
1
原创 运行jar包报 “XXX中没有主清单属性”
最近写了一个博客采集系统，用的是普通maven项目中的main方法作为启动项，打完jar包在centos7上运行时报错，查找资料改正，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 报错原因二 解决方案三 相关常用命令汇总四 总结一 报错原因打包后的jar文件中的MANIFEST.MF缺少项目启动项，即没有Main-Class，如下：二 解决方案1、指定MANIFEST.MF路径项目打包前：第一步 file–>project stru.
2020-07-06 21:55:02
54559
9
原创 连接远程mysql权限不足
最近部署项目的时候突然连不上远程数据库了，通过查找资料解决，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 产生原因二 解决方案三 总结一 产生原因这类问题的原因一般就是一下几种：防火墙开启但未开放端口数据库未授予远程连接权限我的问题比较特殊，我的密码不符合新版数据库的安全要求(贼简单)，但是通过临时的修改设置(即不重启mysql就一直能用) 使得密码设置成功，并且我也授予了root远程连接的权限，起初一直都可以远程连接，直到有一天我.
2020-07-06 20:53:56
324
原创 IDEA Jsp乱码大全
最近做项目遇到了jsp乱码问题，通过参考资料得以解决，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 常规乱码二 控制台输出乱码三 .java文件编译后乱码四 总结一 常规乱码主要包括JSP页面乱码、JSP源文件乱码、GET请求中的乱码、POST请求中的乱码。解决方案：JSP中文乱码问题终极解决方案(下)二 控制台输出乱码解决方案：彻底解决Intellij IDEA中文乱码问题三 .java文件编译后乱码.java文件编译前中文正常显示，编.
2020-07-06 20:31:52
812
原创 Springboot前后端日期格式处理
最近做项目用到了前后端日期传递和格式转换，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 前端 ---> 后台二 后台 ---> 前端三 效果图四 总结一 前端 —> 后台我们从前端传回来表单的数据，当涉及时间、日期等值时，后端的模型需将其转换为对应的Date类型等。我们可以使用DateTimeFormat注解，在对应模型的字段上标注：public class MyModel{ @DateTimeFormat(patter.
2020-07-06 12:56:06
2866
1
原创 Springboot模糊分页查询思路
最近做项目用到了模糊分页查询，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用我们几乎做的每一个项目都会用到分页查询，多条件动态查询或者这两者结合即多条件动态分页查询1、先谈一下分页查询的思路前端需要提供page(页号)pageSize(每页大小)两个核心参数，由page和pageSize我们通过公式：start = (page-1)*pageSize获取到数据库查询的起始位置start，然后通过：<select id="list" .
2020-07-06 11:20:27
1378
原创 IDEA创建xml文件以及打开方式变成file，代码变成灰色的解决方案
在用IDEA开发项目的时候，经常会创建xml配置文件，用IDEA创建xml模板可以供多次使用，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用文章目录一 IDEA创建xml文件二 解决IDEA中xml打开方式变成file，代码变成灰色三 总结一 IDEA创建xml文件创建过程如图所示：1、file—setting，左上角输入template，2、在左侧栏找到File And Code Templates3、中间选中Files4、点击+号，添加模板5、输.
2020-07-06 10:27:23
4688
原创 java.sql.SQLException: Incorrect string value: ‘\xF0\x9F\x8C\xB01\xEF...‘ for column ‘content‘ at
最近在爬取博客存入数据库时出现了这个问题，通过查找资料得以解决，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用出现原因：当insert数据中有表情时发生。而这些表情是按照4个字节一个单位进行编码的，而我们使用的utf-8编码在mysql数据库中默认是按照3个字节一个单位进行编码的.第一步：修改mysql的配置文件mysql/bin/my.ini, 添加如下内容：[client]default-character-set=utf8mb4 [mysql]def.
2020-07-06 09:15:37
849
BlogCrawler.jar
2020-07-06
tmall_springboot.zip
2020-04-11
qqlogin.zip
2020-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人