- 博客(34)
- 资源 (19)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 知识管理 | 从做笔记到知识管理的探索之路
一、知识管理是什么1.1 什么是知识知识管理，顾名思义就是对知识进行管理，那么首先需要明白什么是知识。我们很容易将信息与知识混淆。简单来讲，信息是你看到的内容，而知识是将信息加工的结果。比如你看了一本书—《知识管理可以改变你的人生》，读完之后深受启发，就根据这本书的内容写了一篇文章叫《如何进行知识管理》，并且根据自己的这篇文章开始进行知识管理。这本书的内容就是信息，是原生态的。《如何进行知识管理》这篇文章就是知识（但是对于别人来讲这篇文章是信息）。从上面的分析可以看出： 知识是经过思考加工的产物
2021-07-02 11:26:28
3085
3
原创 知识管理 | 印象笔记体系构建v4.0
一、序言本文是个人在探索笔记体系构建过程中的心路历程，包含对已有笔记体系的反思、新笔记体系的思考、一些构建技巧在4.0之前有过两个版本的探索如何开始构建个人笔记系统个人笔记系统的优化升级4.0算是一个比较大的进步吧，它是我对知识管理的入门窥探，在4.0之前都是收集与整理，4.0开始是思考与反思，只有思考与反思在内的笔记体系才算是一只脚踩进了知识管理的门槛，也是做笔记这件事质变的标志。以下是探索过程中的一些参考资料大象学院 《21天知识管理OS训练营》网络的碎片化知识一些整理类、阅读技
2021-06-29 12:28:48
583
1
原创 学习笔记 | 高效能团队打造
推荐以下几本书作为理论知识的相互印证参考，高效能不只是对于中高层的领导有用，对于每一个打工人的思考与行为方式都有着很好的指导意义。当你了解了如何做领导时，那么如何做一个合格的员工就比较简单了《凤凰项目：一个IT运维的传奇故事》《用系统来工作》《高效能人士的七个习惯》第一本书比较适合程序员阅读，代入感比较强。一、理论依据1.1 大脑构造1）爬行脑爬行脑主管爬行、四肢等爬行脑会判断外界是否安全，比如能让人类繁衍至今的自我保护行为。遇到危险时，下意识的跑或者是僵住了等，都是爬行脑发出的指
2021-06-21 08:13:39
508
1
原创 Axure RP9 赶鸭子上架级入门指南
最近临时客串了一把产品经理，需要画几个页面的原型图，因为之前用过一次Axure，就继续勇敢的尝试了这个神器。本文是对Axure使用的一些感受及使用笔记。在此郑重声明：此文来自非专业人士，仅适用于赶鸭子上架级别选手！！本文主要涉及以下几个功能：元件库交互方式动态面板母版组合这几个功能组合在一起，可以发挥出无穷的力量PS:最好养成给元件、组合、动态面板等起名字的习惯，这样后续需要多元件组合使用时也好找PPS:最好每操作一步都 ctrl S一下，然后阶段性备份一下。一、元件库元件库
2021-06-18 08:24:09
412
1
原创 Centos 7 重新分配存储空间
关键字：/home /root Centos7 存储空间0）简介Centos 7系统安装完后，/root下默认分配了50G的存储空间，其余的绝大部分空间都在/home下，本文的主要目的是将/home的存储空间分配一部分给/root系统详情如下名称：Centos 7内核：3.10.0-1062.1.2.el7.x86_64查看磁盘使用情况df -hl如果需要的话先备份home分区的文件tar cvf /tmp/home.tar /home卸载/homeumount
2021-06-09 22:05:39
2009
原创 Centos 7 离线安装Cloudera Manager6 和CDH6.3.1
零、前言之前写过一篇CDH5的，本文是在之前操作基础上进行的Centos 7 离线安装Cloudera Manager5 和CDH5.13.0CDH6与CDH5安装的整体流程基本一致，而且简单了不少。###一、前期准备安装环境系统配置： 系统：centos 7 64位关于内存，《Hbase权威指南》中master建议24G内存，而slave机器则建议24G及以上配置。机器内存过小，可能会出现各种莫名其妙的问题关于硬盘，作为slave的机器不建议使用RAID，因为RAID比单个磁盘慢。
2021-06-09 21:57:53
812
原创 学习笔记 | Spark Streaming 从入门到放弃
上课时，老师讲的几个学习Spark Streaming的几个要点，先放在前面作为指导思想1）核心抽象：DStream2）程序入口：sc = new SparkContext(); new StreamingContext(sc,Seconds(2))3）算子的操作（map、flatMap、transform、updateStateByKey等）PS：本文是Spark Streaming学习笔记，如有问题，欢迎留言指正~PPS:配合实战代码食用会更香哦。 Spark Streaming企业级开
2021-06-03 21:32:53
215
3
原创 Spark Streaming On Yarn实现日志自动化采集
一、目标及思路1.1 目标Spark Streaming运行在Yarn上，查看日志不是很方便，而且日志是一个大文件，无用信息过多。所以打算将必要的业务日志和系统错误日志发送到kafka上，然后做后续的日志分析。本文简单实现了Driver和Executor的日志发送功能，如有问题，请留言或者私信指正，不胜感激~1.2 思路使用kafka-log4j-appenderdriver和executor都有自己默认的日志配置，将其覆盖掉即可1.3 环境CDH6.3.1二、实现2.1 配
2021-05-30 11:48:51
478
原创 Spark Streaming企业级开发入门实战
写在前头本文主要是Spark Streaming学习过程中写的一些示例代码，如有bug，请留言指正，不胜感激。1. 包含功能Spark Streaming集成KafkaSpark Streaming与HbaseSpark Streaming与RedisSpark Streaming与MySQL2. 环境集群：CDH6.3.1Spark版本：2.4.0-cdh6.3.1Hbase版本：2.1.0-cdh6.3.13. 源码地址，点击访问GitHub一、理论基础1.1 Spar
2021-05-28 19:27:52
293
原创 实战代码（十四）：常用MySQL语句速查笔记
序本文主要记录下日常略微复杂且比较常用的SQL语句，持续更新……一、重复数据查看是否存在重复数据SELECT `code`, guid, COUNT(1) FROM crosshistory WHERE in_or_out = 1 GROUP BY guid having COUNT(1) > 1清除重复数据DELETE FROM crosshistory WHERE `code` in ( SELECT `code` from (SELECT `code` FROM crosshist
2021-01-18 21:56:48
146
原创 实战代码（十三）：Springboot集成Mybatis-Plus
一、理论基础MyBatis-Plus 是MyBatis的增强工具,配合Lombok，可以极大的减少代码量、提升开发效率。Mybatis-Plus的文档介绍很详细，这里只说下个人的使用感受使用简单，少量的操作便可以完成CRUD的全部工作，可以让人把绝大部分精力放在业务逻辑上。多数据源管理、分页插件等常用的功能都支持的很好代码生成器简单好用，可以极为快速的实现CRUD官方文档更新及时，而且极为详细，根据文档可以很容易的实现一个demo，本文完全是按照文档做的小demo。有着完善的示例代码，各种常
2021-01-17 21:19:16
127
原创 实战代码（十二）：Springboot 常用代码速查笔记
一、关闭banner在配置文件application.yml中添加spring: main: banner-mode: 'off'二、将tomcat替换为undertow<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <exclusions&
2021-01-12 22:12:44
231
原创 实战代码（十一）：Springboot集成Hbase
一、理论基础Hbase基础见另一篇笔记《学习笔记 | HBase学习笔记》本文示例完整源码地址：https://github.com/lysmile/spring-boot-demo/tree/master/spring-boot-hbase-demo二、实战代码2.1 依赖引入<!--for hbase--><dependency> <groupId>org.apache.hbase</groupId> <artifactId>h
2021-01-11 08:14:47
445
原创 实战代码（十）：Springboot RestTemplate连接池
一、理论基础RestTemplate是Springboot中内置的Http请求工具，可以直接注入使用。两个常用的构造方法如下图 (点击进入文档地址)从上面可以看出，最简单的方式就是使用默认配置，不需要额外的配置，便可以直接使用该工具。对于请求频次比较低的情况下，默认配置完全够用。如果需要大量的请求，可以自定义配置，使用HttpClient的连接池。二、实战代码2.1 依赖引入<dependency> <groupId>org.springframework.boot
2021-01-06 08:08:18
1005
原创 实战代码（九）：Springboot集成ActiveMQ
一、理论基础1.1 什么是ActiveMQActiveMQ是Apache出品的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。JMS即Java消息服务（Java Message Service）1.2 ActiveMQ的应用场景ActiveMQ的优势在于安装简单、学习成本较低，而且内置管理界面。有种即插即用的感觉缺点是对大数据量的支持比较差，数据量越大，消费和查找的速度越慢。ActiveMQ适合对吞吐量要求较低的场景，如果是大数据场景
2021-01-04 21:05:58
137
原创 实战代码（八）：Springboot接口处理方法集合
一、理论基础1.1 如何实现一个相对健壮的接口接口设计应该假设所有的调用者都是不靠谱的，所以需要做全方位的防御措施并尽可能考虑到各种因素正常访问一个接口能正常访问是最基本的、最低的要求。不管调用者传递什么参数，接口应该都能给予良好的反馈，即使参数是错的。当用户参数传递错误时，应该将错误信息反馈给用户，比如缺少参数或者参数格式不正确等返回值统一化标准化的返回格式，是绝对有利于同事间的感情发展的。如果你一会返回个S,一会返回个B，你一定会被诅咒成这个返回值的拼接体的（人工狗头）返回该返回的尽
2020-12-11 22:34:32
468
原创 实战代码（七）：Springboot集成RocketMQ
一、理论基础1.1 RocketMQ能用来做什么消息通讯消息通讯是最基本也是最为简单的应用。比较典型的一个应用场景就是没有公网IP的情况下，外界服务无法访问接口，可以使用消息队列来订阅事件来实现双向通信。异步处理对于处理频繁且不需要即时反馈的场景来讲，RocketMQ具备良好的性能，而且比较优秀的消息堆积处理能力对于异步操作来说也是加分项。其余功能比如流量削峰、应用解耦等，具体可看下网上对于该功能的详细讲解，本文不做深入。1.2 基础概念Topic：主题，一级消息类型，可以配合Tag使
2020-12-10 21:51:35
417
1
原创 实战代码（六）：Springboot配置多数据源
一、理论基础本示例基于dynamic-datasource，源码地址请点击此处进入GitHubdynamic-datasource-spring-boot-starter 是一个基于springboot的快速集成多数据源的启动器。关键注释@DS(“这里填写你的db配置名称”)在service的类或方法上使用，可以指定该类或方法所使用的DataSource如果不使用此注解，表示使用默认配置二、实战代码2.1 依赖引入<!-- 多数据源 --><dependency>
2020-11-30 21:19:10
167
1
原创 实战代码（五）：Springboot集成Redis实现多Db管理
一、理论基础见上篇 实战代码（三）:Springboot集成redis二、实战代码2.1 配置项redis: host: 127.0.0.1 port: 6379 password: 123456 pool: max-total: 10 # 连接池最大阻塞等待时间（使用负值表示没有限制） max-wait: 3000 # 连接池中的最大空闲连接 max-idle: 5 # 连接池中的最小空闲连接 min-idle: 2 #
2020-11-23 21:12:06
1197
1
原创 实战代码（四）：Springboot AOP实现接口访问次数统计
一、理论基础1.1 AOP是什么AOP（Aspect Oriented Programming）–面向切面编程可以通过预编译方式和运行期动态代理实现在不修改源代码的情况下给程序动态统一添加功能的一种技术以上介绍来自百度百科-AOP1.2 AOP能做什么统计接口访问次数增强功能：在不改动代码的情况下，为接口增加一些额外的功能二、实战代码2.1 依赖引入<!-- AOP --><dependency> <groupId>org.aspectj&
2020-11-19 21:37:33
3709
6
原创 实战代码（三）:Springboot集成redis
一、理论基础1.1 redis是什么redis是一种key-value的数据库，数据缓存在内存中，也可以持久化到硬盘一种远程字典服务高性能、单线程的NoSQL数据库支持的数据类型StringListSetzSet（有序集合）hash1.2 redis可以做什么最常用的功能是缓存，将频繁访问的资源提前缓存到内存中加快访问速度，减少网络、IO等损耗可用做简易版的消息队列redis是单线程的，可以用作计数器，比如接口访问次数等……二、实战代码2.1 依赖引入<
2020-11-16 21:52:50
180
原创 实战代码（二）:Springboot Batch实现定时数据迁移
一、理论基础1.1 Batch是什么Spring Batch是Spring全家桶中的一员，是一个轻量级的批处理框架，比较实际的应用场景是数据迁移，比如将csv文件中的数据迁移到MySQL。优势在于上手简单，编码规范化，能以较少的代码实现强大的功能。和ETL工具-kettle功能类似，但是定制性比较强应用场景集中在各种DB、文件等各种已经存在的历史数据，貌似不支持消息队列的实时监听（如果有知道如何实现的，一定要告诉我），实时数据监听可以使用Storm等流式数据处理框架1.2 基础概念ItemRe
2020-11-15 19:29:01
1629
原创 实战代码（一）：SpringBoot集成Quartz
一、简单介绍Quartz 是一个完全由 Java 编写的开源作业调度框架,可以由少量的代码实现较为复杂的功能。Springboot内置的task虽然也可以实现定时任务，但是它默认单线程，虽然可以通过配置实现多线程，但是功能略显单薄。Quartz有着强大的任务管理功能，可以在运行时进行任务的开启、关闭、修改任务执行时间等。二、开发2.1 依赖引入<dependency> <groupId>org.springframework.boot</groupId>
2020-11-15 19:27:58
204
原创 Git 最基本的操作命令
序言Git操作是作为程序猿必备的一项技能，虽然现在各种git操作软件满天飞，但是很多人还是在merge、commit、add、pull、push中迷离了双眼，本文是最简单的git命令操作，旨在以最简洁的语言记录下最常用的功能，不涉及任何原理~另外，温馨提示，使用Git命令操作有助于理解Git协作的整个流程。对于初学者来讲，最简单的学习方式就是流程走一遍，然后再理解会更容易些。另：本文流程是建立本地分
2017-12-23 22:48:04
279
原创 读书笔记 | 《走出思维的误区》
写在前头作为一个搬砖的程序猿，一直觉得思维方式才是最重要的，技术知识是可以慢慢积累的，是可以从别人那里学到的，但是逻辑思维真的就是完全属于自己的，一个很难说短时间就能形成的。所以也一直在寻找可以锻炼自己思维的书籍，正好也就刷到了这本书，就迫不及待的下单买了。把《走出思维的误区》看完了之后，收获也是挺大的。虽然看完的时候感觉并没有什么，但是过了一段时间发现，其实它会在潜移默化的影响着你，思考问题的方式
2017-12-20 10:48:17
2725
原创 Centos 7 离线安装Cloudera Manager5 和CDH5.13.0
这两天终于是把这个Hadoop集群搭起来了，从装系统到最终成功真是曲折，中间遇到了各种奇葩的问题，比如网太卡了，yum一直访问不了服务器，而我以为某个地方配置失败，各种查看配置文件，重启network，也没发现问题。。。真是个无比惨痛的教训……这篇笔记记录下搭hadoop集群踩过的那些坑，也祝自己以后好运，能够少走点弯路~~一、前期准备安装环境系统配置：系统：centos 7 最
2017-10-25 10:20:40
9681
5
WebCollector2.24所需所有jar包
2015-12-14
关于网络爬虫的一些问题（java）
2015-12-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人