- 博客(205)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 Java static静态变量只有一个，被类拥有
java类提供了两种类型的变量：用static关键字修饰的静态变量和没有static关键字修饰的实例变量。1.静态变量属于类，在内存中只有一个副本（所有势力都指向同一个内存地址）。只要静态变量所在的类被加载，这个静态类就会被分配空间，因此就可以被使用。对静态变量的引用有两种方式，分别为“类.静态变量”和“对象.静态变量”。2.实例变量属于对象，只有对象被创建后，实例变量才会被分配空间，才能...
2019-07-14 15:35:33
3237
转载 行存储（关系型数据库）与列存储（hbase，es聚合的doc_value）
1.为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表：Ø Row-based storage stores atable ina sequence of rows.Ø Column-based storage storesa table in...
2019-06-30 16:40:55
1879
转载 推荐系统 - 基于物品本身的特征来（分类）推荐- 专有名词解释
我们将这些数据集分为了两个部分，第一部分用来构造分类器，因此称为训练集；另一部分用来评估分类器的结果，因此称为测试集十折交叉验证：将数据集随机分割成十个等份，每次用9份数据做训练集，1份数据做测试集，如此迭代10次。进而得出准确率。留一法：我们用几乎所有的数据进行训练，然后用一个数据进行测试。留一法的另一个优点是：确定性。衡量分类器准确率的方式是使用以下公式：正确分类的记录数...
2019-05-26 16:18:05
980
转载 推荐系统 - 基于物品本身的特征来（分类）推荐- 步骤与进阶的knn
原文https://github.com/litaotao/guidetodatamining/blob/master/chapter-4.mdhttps://github.com/litaotao/guidetodatamining/blob/master/chapter-5.md定义分类器是指通过物品特征来判断它应该属于哪个组或类别的程序！分类器程序会基于一组已经做过分类...
2019-05-26 15:59:26
943
转载 数据挖掘，机器学习，人工智能区别
有篇很好的解释：https://www.cnblogs.com/zlslch/p/7398781.html下面是以前自己总结的。定义（以下都是百度百科抽取出来）数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的...
2019-05-26 13:10:38
741
转载 推荐系统 - 基于物品的协同过滤推荐 - 入门
https://github.com/litaotao/guidetodatamining/blob/master/chapter-3.md定义而基于物品的协同过滤则是找出最相似的物品，再结合用户的评价来给出推荐结果。比较基于用户的协同过滤又称为内存型协同过滤，因为我们需要将所有的评价数据都保存在内存中来进行推荐。基于物品的协同过滤也称为基于模型的协同过滤，因为我们...
2019-05-17 22:11:10
992
转载 推荐系统 - 基于用户的协同过滤推荐 - 入门
原文：https://github.com/litaotao/guidetodatamining/blob/master/chapter-2.md定义协同过滤，这个方法是利用他人的喜好来进行推荐，也就是说，是大家一起产生的推荐。他的工作原理是这样的：如果要推荐一本书给你，我会在网站上查找一个和你类似的用户，然后将他喜欢的书籍推荐给你。如何找到相似的用户？ 曼哈顿距离 不...
2019-05-10 08:25:15
333
转载 Yarn(分布式资源管理器)和Zookeeper(分布式协作服务)区别
ZookeeperZookeeper是一个分布式协调服务（Coordination），一个leader，多个follower组成的集群，就是为用户的分布式应用程序提供协调服务。Zookeeper是为别的分布式程序服务的。Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。YarnYARN的目标就是实现“一个集群多个...
2019-05-08 21:43:21
1086
转载 Spark(这里只谈批处理)必知
1.what这个技术是什么官方文档定义Apache Spark™is a unified analytics engine for large-scale data processing. 就是大数据分析引擎，至于unified（统一），应该是因为下图。Combine SQL, streaming, and complex analytics.Spark powers a sta...
2019-05-05 14:28:26
4514
转载 Deep Learning深度学习(一)简介
1.what这个技术是什么官方文档定义深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。对比同类技术的优缺点，适用场景（to be continue）Deep learning本身算是machine learning的一个分支，简单可以理解为neural network的发展。二者的相同在于deep learning采用了神经网络相似的分层结构，...
2019-05-05 11:55:22
1113
转载 操作型数据库(OLTP) VS 分析型数据库(OLAP)
1.what这个技术是什么官方文档定义1. 操作型数据库(OLTP)OLTP，也叫联机事务处理（Online Transaction Processing），表示事务性非常高的系统，一般都是高可用的在线系统，以小的事务以及小的查询为主，评估其系统的时候，一般看其每秒执行的Transaction以及Execute SQL的数量。主要用于业务支撑。一个公司往往会使用并维护若干个数据库，...
2019-05-04 22:37:52
5508
原创 html自定义radio button和checkbox
radio button例子和代码:http://jsrun.net/ERXKp/editcheckbox例子和代码：http://jsrun.net/QRXKp/editgit 地址：https://gitee.com/abcd_1101/html_demo
2019-05-02 22:33:32
731
原创 winscp tunnel隧道实现跳板机/跨机连接[local-serverA-destinationB]
1、建立跳板机连接（serverA)点advance/高级，点tunnel/隧道，填写好跳板机的地址，端口等信息，注意此处的是跳板机的信息。2、设置需要跳到的主机（destinationB）其他默认设置。...
2019-04-30 13:19:01
1830
原创 理论文章结构
1.是什么官方意思通俗意思2.理论的背景3.解决问题4.例子进阶：从实践中发掘这个理论理论文章的有序结构就是要把导论、正论和结论及逻辑关系内在地联系为一个整体。导论是提出问题，引起人们的思考，从而引出正论，正论是分析问题，围绕主题，通过论证或反驳，一层一层、一个方面一个方面地提示问题的实质和症结所在。结论是解决问题，是正论的自然持续，是论证过后的论断、即结论。我表示看不...
2019-04-26 16:47:27
1154
原创 分布式理论CAP - C（一致性）A（可用性）P（分区容忍性）不可兼得
1.what这个理论是什么官方文档定义分布式系统的CAP理论：理论首先把分布式系统中的三个特性进行了如下归纳：一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本） 可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。（对数据更新具备高可用性） 分区容忍性（P）：必然存在网络故障断开的风险，这个网络断...
2019-04-26 16:46:00
6438
原创 dod(definition of done) of story
1.design(diagram of f/e and b/e communication)2.code3.unit test4.bdd test5.review(ui/ux)6.wording review by biz7.end2end test8.sign off
2019-04-23 21:18:25
418
原创 技术文章结构
以后写的文章大概参照这个大纲来了解技术。如果专有名词很多，应该还要写个入门来介绍各种专有名词。1.what这个技术是什么官方文档定义对比同类技术的优缺点，适用场景此技术的架构组成2.why为什么有这个技术此技术解决什么问题如果是我，怎么解决这个问题3.how怎么学这个技术quickstartdemo源码项目实践如何分享...
2019-04-14 11:11:06
2427
原创 elasticsearch使用别名alias和_update_by_query来和其他index一起做kibana图
背景：有两个index，一个叫abc_edf，一个叫qwe_ert，他们都是交易信息的，一个可能记转账，一个可能记二维码交易，以前没打算会结合一起做图标，做pie图的，所以前序用的是项目名。问题：现在要把他们结合一起做pie图，结合其他交易来看客户更喜欢什么交易解决方法：我们知道kibana建index pattern可以使用前序来把两个index合起来用，但是如果index前...
2019-04-11 23:29:22
1408
转载 吞吐量与并发的公式，优化和参考值
下面的都是整理别人的加上自己的一些思考，有什么不对请多多指教。1.公式：响应时间(RT)是指系统对请求作出响应的时间。吞吐量(Throughput)是指系统在单位时间内处理请求的数量。并发用户数（Maximum concurrent user）是指系统可以同时承载的正常使用系统功能的用户的数量。吞吐量一般指相当一段时间内测量出来的系统单位时间处理的任务数或事务数（我的理解，...
2019-04-09 20:58:38
5611
原创 elasticsearch必知
1、快速掌握Elasticsearch节点知识，增删查改后台过程。节点，分片和副本的关系如果你的索引也如常见的那样是偏向查询使用的，那你可以通过增加副本的数目来提升查询性能，但也要为此 _增加额外的硬件资源_。一个拥有两个主分片一份副本的索引可以在四个节点中横向扩展如果提高搜索效率，优化后：https://www.elastic.co/guide/cn/elastics...
2019-04-07 18:16:43
316
1
转载 分布式系统在存储层的两种不同架构方式
第一种：基于本地文件系统的分布式系统第二种：基于分布式文件系统HDFS的分布式系统（共享存储）详细：第一种：基于本地文件系统的分布式系统上图中是一个基于本地磁盘存储数据的分布式系统。Index一共有3个Shard，每个Shard除了Primary Shard外，还有一个Replica Shard。当Node 3机器宕机或磁盘损坏的时候，首先确认P3已经不可用，重新选举R3位Pr...
2019-04-07 17:46:35
1392
转载 elasticsearch面试必考（亲身经历的问题）
作者：手留余香 | 转自：Java架构沉思录 | 原文面试题es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？面试官心理分析问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es 在干什么，...
2019-04-04 08:13:30
128671
25
原创 java序列化implements Serializable最好要带上serialVersionUID
1.什么是序列化序列化 由于存在于内存中的对象都是暂时的，无法长期驻存，为了把对象的状态保持下来，这时需要把对象写入到磁盘或者其他介质中，这个过程就叫做序列化。反序列化 反序列化恰恰是序列化的反向操作，也就是说，把已存在在磁盘或者其他介质中的对象，反序列化（读取）到内存中，以便后续操作，而这个过程就叫做反序列化。2.为什么序列化序列化的应用情景主要有以下情况（但不限于以下情...
2019-04-03 08:29:50
2990
原创 Kibana visualize对字段值操作
JSON InputA text field where you can add specific JSON-formatted properties to merge with the aggregation definition, as in the following example:乘法：{ "script" : "doc['grade'].value * 1.2" }截取...
2019-04-01 21:05:57
3304
转载 mysql索引的其中一种-------b树索引
1.what这个技术是什么官方文档定义B-treeA tree data structure that is popular for use in database indexes. The structure is kept sorted at all times, enabling fast lookup for exact matches (equals operator) an...
2019-03-30 18:51:26
171
原创 mysql索引（本质是数据结构，常用b树）
1.what这个技术是什么官方文档定义https://dev.mysql.com/doc/refman/5.7/en/glossary.html搜索indexindexA data structure that provides a fast lookup capability forrowsof atable, typically by forming a tree st...
2019-03-30 15:44:49
331
转载 Java反射机制
原文：http://www.cnblogs.com/jqyp/archive/2012/03/29/2423112.html一、什么是反射机制 简单的来说，反射机制指的是程序在运行时能够获取自身的信息。在java中，只要给定类的名字， 那么就可以通过反射机制来获得类的所有信息。二、哪里用到反射机制 有些时候，我们用过一些知识，但是并不知道...
2019-03-24 17:34:45
110
原创 [网页自动化/测试]Firefox selenium plugin 安装及使用
1.安装本来一开始下载最新版firefox和selenium，后来安装发现不兼容。下面这个版本亲测有效。selenium-server-standalone-2.53.1.jarfirefox47下载到下面这两个网址：http://ftp.mozilla.org/pub/firefox/releases/http://selenium-release.storage.googl...
2019-03-24 17:33:33
198
原创 AWS Certificate Developer Associate 201806版本 考点中英翻译
官网在此：https://aws.amazon.com/cn/certification/certified-developer-associate/当然他不会说考点是什么，所以我去了acloud guru上看，人家说看完课程会懂得下面这些，清晰很多各个技术：IAMCognitoS3CloudFrontLambdaAPI GatewayX-RayDynamoDBKMS ...
2019-03-24 17:32:28
1317
转载 慕课网-java高并发秒杀api之高并发优化-总结
1.架构优化2.spring声明式事务声明式事务：http://www.open-open.com/lib/view/open1414310646012.html配置并使用Spring声明式事务在spring-service.xml中添加上配置事务管理器 <bean id="transactionManager" class="org.springframewo...
2019-03-24 17:30:53
4144
2
转载 Spark入门知识（application, job, stage, task）
http://litaotao.github.io/deep-into-spark-exection-model1.what这个技术是什么官方文档定义spark 里，job，stage，task 的概念：application（应用）：其实就是用spark-submit提交的程序 job: A job is triggered by an action, like count...
2019-01-20 16:26:03
447
1
原创 Spark简单的word count，计算，stream代码
https://gitee.com/abcd_1101/BigData/tree/master/springboot-spark-demo用的是本地项目起来的spark，自己搭的rpc连不上。
2019-01-20 15:50:29
649
转载 Spark安装，使用docker
notice:看这篇要注意，暂时我能跑起来，web ui也能访问，但是程序连的时候报rpc问题，不知道是不是内存不够。Docker的入门 启动Docker服务：systemctl start docker.service 我们可以拉一个Ubuntu镜像，基于该镜像我们搭建Spark集群：docker pull ubuntu 下载好镜像到本地后，我们可以查看镜...
2019-01-06 22:16:49
2191
原创 top used大, 可能是buff/cache大
问题used实际是个比较关键的指标，而该指标却并没有反应出服务器实际占用情况：原因实际这是缓存原因导致，可以通过命令释放，即上图的cached部分解决执行以下命令：echo 0 >/proc/sys/vm/drop_cachesfree -m #看内存是否已经释放掉了。如果我们需要释放所有缓存，就输入下面的命令：echo 3 > /proc/s...
2019-01-06 15:38:01
3402
2
原创 kafka实践
https://gitee.com/abcd_1101/BigData/tree/master/springboot-kafka-demo这里的readme有详细步骤，下包什么的就不说了，全是命令加代码。1.startup zookeepernohup bin/zookeeper-server-start.sh config/zookeeper.properties &n...
2019-01-05 20:39:03
853
原创 2018年小结，2019年展望
2018年1.实现了的目标：出了国旅游，读了几本书，其他好似还真没有了，哎~还买了房，买了股票，坑爹的20182.没有实现的目标：aws cda没有过（好难。。。），高级软件架构师没有过（就差论文写不够字。。。）3.学习了：elk集群为主（遇到脑裂问题），少量hive和flume，mysql的优化，小程序，kibana的react插件，消息推送的项目（知道了jemeter, j...
2018-12-25 21:52:57
603
原创 软考经典题目
计算机组成原理：cpu流水线时间计算某指令流水线由5段组成，各段所需要的时间如下图所示。连续输入100条指令时的吞吐率为(4)。2016年(4)A．100/800△tB．100/495△tC．100/305△tD．100/300△t【答案】C【解析】 在题目给出的环境下，100条指令的执行时间为：(Δt+3Δt+Δt+2Δt+Δt)+(100-1)*3Δt=305Δt...
2018-11-10 00:02:22
11625
原创 用例关系（包含、扩展、泛化） uml类关系（依赖、关联、聚合、组合、泛化）
用例关系用例图使用户 与开发人员交流的一种重要的方式，是对用户需求的一种描述。开发人员从用户的角度整体上理解系统的功能。1）用例“注册学生信息”和“充值”与用例“用户登陆”之间的关系就是包含关系。b和a本质不一样，就是做b之前一定要做a，那a和b就是包含。如图 2）扩展用例只有在基本用例满足某种条件的时候才会执行。包含关系中基本用例的基本流执行时，...
2018-10-21 14:00:13
17171
6
转载 软考个人补漏 开发方法 RUP
RUPRUP将项目管理、业务建模、分析与设计等统一起来，贯穿整个开发过程。RUP中的软件过程在时间上被分解为4个顺序的阶段，分别是初始阶段、细化阶段、构建阶段和移交阶段。基于RUP的软件过程是一个迭代和增量的过程。除非产品退役，否则通过重复同样的4个阶段，产品将演化为下一代产品，但每一次的侧重点都将放在不同的阶段上。这样做的好处是在软件开发的早期就可以对关键的、影响大的风险进行处理。初始阶...
2018-10-17 23:42:57
257
原创 软考个人补漏 计算机网络 RAID5, DAS, NAS, SAN
RAID5RAID5的存储机制是两块存数据，一块存另外两块硬盘的交易校验结果。RAID5的建立后，坏掉一块硬盘，可以通过另外两块硬盘的数据算出第三块的，所以至少要3块。RAID5是一种旋转奇偶校验独立存取的阵列方式，它与RAID3，RAID4不同的是没有固定的校验盘，而是按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上，所以在每块硬盘上，既有数据信息也有校验信息。这一改变解决了争用校验...
2018-10-17 22:40:45
1498
1
logstash-input-sftp插件
2018-10-12
selenium server standalone 2.39 jar
2017-04-03
Java嵌入式技术（caj格式）
2013-09-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人