- 博客(266)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 springboot工作原理
SpringBoot为我们做的自动配置，确实方便快捷，但一直搞不明白它的内部启动原理，这次就来一步步解开SpringBoot的神秘面纱，让它不再神秘。@SpringBootApplicationpublic class Application { public static void main(String[] args) { SpringApplication...
2019-06-21 09:17:48
8920
转载 chrome插件(尖兵一号)实现自动刷新淘宝m站的cookie
1.背景最近接手了爬虫的项目, 爬取对象是天猫和京东的价格相关的数据, 其中对于天猫的优惠券的爬取需要有已登录的cookie才能成功爬到数据。之前对于这块的cookie都是我们手动用自己淘宝账号登录淘宝m站，并获取cookie存到服务端。并且cookie的最长有效时间是24小时，也就是说我们每天都要有人去手动操作一下。问题：每天都需要手动操作，费时费力，而且容易忘记容易出错。 ...
2019-01-23 20:41:36
3232
转载 jquery 更改angularJS input 内容导致绑定失效的解决办法
在使用greasemonkey过程中，对angularJS框架的WEB 进行自动表单提交动作。发现JQuery的对inputd的val()赋值操作会使原有的angularJS的绑定验证操作失效。虽然我在赋值的同时使用的jQuery的change 和trigger方法都没有效果。查找stackoverflow上看到一个人的情况与我类似，并且下面的解决办法我经过测试也是没有问题的，完美的解...
2019-01-23 20:40:22
746
原创 vue-cli3实现分环境打包步骤（给不同的环境配置相对应的打包命令）
在vue-cli3的项目中，npm run serve时会把process.env.NODE_ENV设置为‘development’；npm run build 时会把process.env.NODE_ENV设置为‘production’；此时只要根据process.env.NODE_ENV设置不同请求url就可以很简单的区分出本地和线上环境。头疼的是打包时线上环境可能分多种，比如测试环境...
2019-01-23 20:38:19
1362
转载 内存故障排查
本节介绍常见内存故障的排查与定位。以下先对内存中常见的内存相关错误进行分析。内存相关的错误，按错误来源可划分为以几类： 内存泄漏 内存泄漏是指系统中没有引用的“孤儿”内存对象。 持续的内存泄漏会表现为系统内存不断减少，而偶发的少量泄漏则可能难以觉察，并不会有破坏性后果 错误的内存使用方式 应用程序未按预期使用内存，占用了大量内存以致于影响到系统的正常运行。 这类...
2018-11-24 15:13:13
1177
转载 MySQL5.7生产环境参数文件优化
[client]port = 3306socket = /data/mysql/tmp/mysql.sockdefault-character-set = utf8mb4[mysqld]# ---------------- Basic ----------------port = 3306socket = /data/mysql/tmp/mysql.sockbasedir =...
2018-11-13 16:16:39
690
转载 认证与授权——单点登录协议盘点：OpenID vs OAuth2 vs SAML
无论是Web端还是移动端，现在第三方应用账户登录已经成为了标配，任意打开个网站都可以看到，QQ/微信账号登录的字样。使用第三方账户的登录的过程，既要限制用户身份只让有效注册用户才能登录，还要根据注册用户的不同身份来控制能浏览的内容，这就需要认证和授权相关文章链接：OAuth2.0 协议入门指南 OpenID Connect 协议入门指南 SAML2.0入门指南 OpenSAML 使...
2018-10-09 08:44:35
3342
原创 activiti数据库表结构剖析
1、结构设计1.1、 逻辑结构设计Activiti使用到的表都是ACT_开头的。ACT_RE_*:’RE’表示repository(存储)，RepositoryService接口所操作的表。带此前缀的表包含的是静态信息，如，流程定义，流程的资源（图片，规则等）。ACT_RU_*:‘RU’表示runtime，运行时表-RuntimeService。这是运行时的表存储着流...
2018-09-16 18:00:30
449
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十一节 Spark Streaming—— DStream Transformation操作
本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.htmlDStream Transformation操作1. Transformation操作Transformation Meaning map(func) 对DStream中的各个元素进行func函数...
2018-09-14 17:44:55
165
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十二节 Spark Streaming—— DStream Window操作
作者：周志湖 微信号：zhouzhihubeyond本节主要内容Window Operation 入门案例1. Window OperationSpark Streaming提供窗口操作（Window Operation），如下图所示： 上图中，红色实线表示窗口当前的滑动位置，虚线表示前一次窗口位置，窗口每滑动一次，落在该窗口中的RDD被一起同时处理，生成一个窗口DStream...
2018-09-14 17:44:48
259
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming
主要内容Spark SQL、DataFrame与Spark Streaming1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetw...
2018-09-14 17:44:40
769
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十四节 Spark Streaming 缓存、Checkpoint机制
作者：周志湖 微信号：zhouzhihubeyond主要内容本节内容基于官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.htmlSpark Stream 缓存 Checkpoint 案例1. Spark Stream 缓存通过前面一系列的课程介绍，我们知道DStream是由一系列的RD...
2018-09-14 17:44:32
191
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十五节 Kafka 0.8.2.1 集群搭建
作者：周志湖 微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建 kafka 安装与配置 到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz http://kafka.apache.org/downloads.html 下载...
2018-09-14 17:44:24
177
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十六节 Spark Streaming与Kafka
作者：周志湖主要内容Spark Streaming与Kafka版的WordCount示例（一） Spark Streaming与Kafka版的WordCount示例（二）1. Spark Streaming与Kafka版本的WordCount示例 （一）启动kafka集群root@sparkslave02:/hadoopLearning/kafka_2.10-0.8.2.1# ...
2018-09-14 17:44:13
237
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)
本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介 Spark Streaming相关核心类 入门案例1. Spark流式计算简介Hadoop的MapReduce及Spark SQL等只能进行离线计算，...
2018-08-13 08:54:56
359
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第九节 Spark SQL运行流程解析
1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.val sqlContext = new org.apache.spark.sql.SQLContext(sc)// this is used to implicitly conve...
2018-08-13 08:53:36
480
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第八节 Spark SQL与DataFrame（一)
本节主要内宾Spark SQL简介 DataFrame1. Spark SQL简介Spark SQL是Spark的五大核心模块之一，用于在Spark平台之上处理结构化数据，利用Spark SQL可以构建大数据平台上的数据仓库，它具有如下特点： （1）能够无缝地将SQL语句集成到Spark应用程序当中 （2）统一的数据访问方式 DataFrames and SQL provide...
2018-08-13 08:51:33
547
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第七节 Spark运行原理
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容Spark运行方式 Spark运行原理解析本节内容及部分图片来自： http://blog.csdn.net/book_mmicky/article/details/25714419 http://blog.csdn.net/yirenboy/article/details/47441465 这两篇...
2018-08-13 08:50:21
288
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第六节 Spark编程模型（三)
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容RDD transformation（续) RDD actions1. RDD transformation（续)（1）repartitionAndSortWithinPartitions(partitioner) repartitionAndSortWithinPartitions函数是rep...
2018-08-13 08:48:46
342
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第五节 Spark编程模型（二)
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本文主要内容RDD 常用Transformation函数1. RDD 常用Transformation函数（1）union union将两个RDD数据集元素合并，类似两个集合的并集 union函数参数： /** * Return the union of this RDD and another...
2018-08-13 08:46:58
438
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第四节 Spark编程模型（一)
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容Spark重要概念 弹性分布式数据集（RDD）基础1. Spark重要概念本节部分内容源自官方文档：http://spark.apache.org/docs/latest/cluster-overview.html（1）Spark运行模式目前最为常用的Spark运行模式有： - loca...
2018-08-13 08:44:38
366
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第三节 Spark Intellij IDEA开发环境搭建
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容Intellij IDEA 14.1.4开发环境配置 Spark应用程序开发1. Intellij IDEA 14.1.4开发环境配置Intellij IDEA 功能十分强大，能够开发JAVA、Scala等相关应用程序，在依赖管理 智能提示等方面做到了极致，大家可以到:http://www.je...
2018-08-13 08:43:57
296
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第二节 Hadoop、Spark生成圈简介
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容Hadoop生态圈 Spark生态圈1. Hadoop生态圈原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa...
2018-08-13 08:43:11
651
转载 Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond本节主要内容操作系统环境准备 Hadoop 2.4.1集群搭建 Spark 1.5.0 集群部署注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译...
2018-08-13 08:41:00
646
转载 elasticsearch 性能调优
所有的修改都可以在elasticsearch.yml里面修改，也可以通过api来修改。推荐用api比较灵活1.不同分片之间的数据同步是一个很大的花费，默认是1s同步，如果我们不要求实时性，我们可以执行如下: $ curl -XPUT 'http://localhost:9200/twitter/' -d '{ "settings" : { "index" : ...
2018-08-09 14:17:06
274
原创 计算并发用户数的五种方法
一、经典公式1： 一般来说，利用以下经验公式进行估算系统的平均并发用户数和峰值数据 1）平均并发用户数为 C = nL/T 2）并发用户数峰值 C‘ = C + 3*根号C C是平均并发用户数，n是login session的数量，L是login session的平均长度，T是值考察的时间长度 C’是并发用户数峰值 举例1，假设系统A，该系...
2018-08-08 10:57:59
3703
转载 Spark学习之路 （一）Spark初识
Spark学习之路 （一）Spark初识一、官网介绍1、什么是Spark官网地址：http://spark.apache.org/Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、...
2018-08-08 09:20:07
723
1
原创 使用Docker+Jenkins自动构建部署
环境阿里云ESC，宿主机服务器安装Docker，在安全规则中确认8080端口开启。客户端mac运行jenkins运行jenkins容器在主机上创建目录，并添加读写权限以便jenkins应用运行时读写文件，如：$ mkdir -p /var/jenkins_node$ chmod 777 /var/jenkins_node拉取jenkins镜像： docker pull jenk...
2018-08-06 09:01:09
410
原创 前端跨域访问利器
什么是跨域跨域是指从一个域名的网页去请求另一个域名的资源。比如从www.baidu.com 页面去请求 www.google.com 的资源。跨域的严格一点的定义是：只要协议，域名，端口有任何一个的不同，就被当作是跨域为什么浏览器要限制跨域访问呢？原因就是安全问题：如果一个网页可以随意地访问另外一个网站的资源，那么就有可能在客户完全不知情的情况下出现安全问题。比如下面的操作就有安全问...
2018-08-06 08:54:27
1163
转载 深入理解Hystrix之文档翻译
转载请标明出处： http://blog.csdn.net/forezp/article/details/75333088 本文出自方志朋的博客什么是Hystrix在分布式系统中，服务与服务之间依赖错综复杂，一种不可避免的情况就是某些服务将会出现失败。Hystrix是一个库，它提供了服务与服务之间的容错功能，主要体现在延迟容错和容错，从而做到控制分布式系统中的联动故障。Hystrix...
2018-08-04 13:39:23
179
转载 深入理解Ribbon之源码解析
转载请标明出处： http://blog.csdn.net/forezp/article/details/74820899 本文出自方志朋的博客什么是RibbonRibbon是Netflix公司开源的一个负载均衡的项目，它属于上述的第二种，是一个客户端负载均衡器，运行在客户端上。它是一个经过了云端测试的IPC库，可以很好地控制HTTP和TCP客户端的一些行为。 Feign已经默认使用...
2018-08-04 13:39:15
536
转载 史上最简单的SpringCloud教程 | 第十二篇: 断路器监控(Hystrix Dashboard)
转载请标明出处： http://blog.csdn.net/forezp/article/details/70217283 本文出自方志朋的博客在我的第四篇文章断路器讲述了如何使用断路器，并简单的介绍了下Hystrix Dashboard组件，这篇文章更加详细的介绍Hystrix Dashboard。一、Hystrix Dashboard简介在微服务架构中为例保证程序的可用...
2018-08-04 13:39:07
184
转载 深入理解Eureka之源码解析
转载请标明出处： http://blog.csdn.net/forezp/article/details/73017664 本文出自方志朋的博客Eureka的一些概念 Register：服务注册 当Eureka客户端向Eureka Server注册时，它提供自身的元数据，比如IP地址、端口，运行状况指示符URL，主页等。 Renew：服务续约 Eureka客户会每...
2018-08-04 13:38:58
199
转载 深入理解Feign之源码解析
转载请标明出处： 本文出自方志朋的博客什么是FeignFeign是受到Retrofit，JAXRS-2.0和WebSocket的影响，它是一个jav的到http客户端绑定的开源项目。 Feign的主要目标是将Java Http 客户端变得简单。Feign的源码地址：https://github.com/OpenFeign/feign写一个Feign在我之前的博文有写到如何用F...
2018-08-04 13:38:50
158
转载 史上最简单的SpringCloud教程 | 第十三篇: 断路器聚合监控(Hystrix Turbine)
转载请标明出处： http://blog.csdn.net/forezp/article/details/70233227 本文出自方志朋的博客上一篇文章讲述了如何利用Hystrix Dashboard去监控断路器的Hystrix command。当我们有很多个服务的时候，这就需要聚合所以服务的Hystrix Dashboard的数据了。这就需要用到Spring Cloud的另一个组件了...
2018-08-04 13:38:42
181
转载 史上最简单的SpringCloud教程 | 第十一篇: docker部署spring cloud项目
转载请标明出处： http://blog.csdn.net/forezp/article/details/70198649 本文出自方志朋的博客一、docker简介Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、bare metal、OpenStack 集群和其他的基础...
2018-05-31 08:48:06
445
转载 Spring Cloud Sleuth进阶实战
转载请标明出处： http://blog.csdn.net/forezp/article/details/76795269 本文出自方志朋的博客为什么需要Spring Cloud Sleuth微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。主要体现在，一个请求可能需要调用很多个服务，而内部服...
2018-05-31 08:47:58
742
转载 深入理解Zuul之源码解析
转载请标明出处： http://blog.csdn.net/forezp/article/details/76211680本文出自方志朋的博客Zuul 架构图在zuul中， 整个请求的过程是这样的，首先将请求给zuulservlet处理，zuulservlet中有一个zuulRunner对象，该对象中初始化了RequestContext：作为存储整个请求的一些数据，并被所有的zuulfilter共...
2018-05-31 08:47:47
290
转载 如何使用MongoDB+Springboot实现分布式ID?
转载请标明出处： http://blog.csdn.net/forezp/article/details/69056017 本文出自方志朋的博客一、背景如何实现分布式id，搜索相关的资料，一般会给出这几种方案：使用数据库自增Id 使用reids的incr命令 使用UUID Twitter的snowflake算法 利用zookeeper生成唯一ID MongoDB的O...
2018-05-31 08:47:39
326
转载 史上最简单的 SpringCloud 教程 | 第十四篇: 服务注册(consul)
转载请标明出处： http://blog.csdn.net/forezp/article/details/70245644 本文出自方志朋的博客这篇文章主要介绍 spring cloud consul 组件，它是一个提供服务发现和配置的工具。consul具有分布式、高可用、高扩展性。一、consul 简介consul 具有以下性质：服务发现：consul通过http 方式注册服务，并且服务与服务之...
2018-05-31 08:47:32
222
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人