- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据平台任务监控
监控的定义监控是收集和分析数据以确定业务应用程序的性能，运行状况和可用性及其依赖的资源的行为。 有效的监控策略可帮助用户了解应用程序组件的详细进程，还可以通过主动通知关键问题来避免错误发生，以便在问题发生之前解决问题。宏观上看，监控的内容可以总结为下图： Ref: https://www.digitalocean.com/community/tutorials/an-introduc...
2020-12-23 15:50:02
815
转载 Spring MVC中@Controller 和@RestController 注解的区别
原文链接：The Spring @Controller and @RestController AnnotationsThe @RestController annotation was introduced in Spring 4.0 to simplify the creation of RESTful web services. It’s a convenience annotation ...
2018-10-09 16:12:34
608
原创 Could not extract response: no suitable HttpMessageConverter found for response type ***
用RestTemplate.getForObject()获取URL的JSON时，可能会遇到如题所示的报错信息。我的问题在于：在非MVC的Project中使用RestTemplate. 简单的说，message converters是负责Java Object和Http上的JSON/XML互相转换的中介工具。Ref by baeldung. 如果是在非MVC的Project中，根本就不会产生...
2018-09-15 18:17:41
76166
3
原创 Why use Git tag?
Git tags are like milestones, markers or a specific point in the repo’s history marked as significant. Tags are usually used to mark stable releases or achievement of very important milestones.Tags ...
2018-07-30 14:09:21
158
原创 Spark SQL 和 Hive 的交互
Spark SQL可以读写Hive表 Spark SQL also supports reading and writing data stored in Apache Hive. However, since Hive has a large number of dependencies, these dependencies are not included in the defaul...
2018-07-30 11:38:12
878
转载 Hadoop: Job vs Application vs Task vs Task attempt
In terms of YARN, the programs that are being run on a cluster are called applications. In terms of MapReduce they are called jobs. So, if you are running MapReduce on YARN, job and application are th...
2018-07-25 17:06:17
1108
转载 Counters in MapReduce
Hadoop Counters Explained:Hadoop Counters provides a way to measure the progress or the number of operations that occur within map/reduce job. Counters in Hadoop MapReduce are a useful channel for g...
2018-07-25 16:48:58
184
原创 Spring Application 随机端口 + Eureka 实践
随机端口随机端口是Spring Application经常使用的策略，Spring也提供了便捷的配置方法：server.port = 0或者server.port = ${random.int[10000,65535]}这两种方式在配合Eureka使用时会产生一些问题：配置端口为0会造成： 1. 在注册到Eureka的时候会一个问题：所有实例都使用了同样的实例名（如：...
2018-07-24 13:34:05
1388
原创 软件从生产到使用的管理过程
软件从生产到使用的管理过程不外乎产品管理、项目管理、测试管理、发布管理、运营管理这个循环，成熟的团队在每一个环节都有着较为明确的分工，且产品目标一致性必须贯穿全程。 ...
2018-07-21 11:18:42
1368
原创 服务的注册和发现+Eureka实践过程的一些问题及解决
问题现象用Eureka做服务的注册和发现，有一个奇怪的现象：有些服务停止后（如图中的A-BOOTIFUL-CLIENT-2服务），该服务还会在Eureka上显示一段时间，需要过一段时间在更新该服务才会在Eureka上消失。 原因这是由于Eureka的Fetch Registry，解释原因为： Eureka clients fetches the registry info...
2018-07-11 10:57:50
2288
原创 Spring项目配置随机端口号
作用对于有多个服务的项目，各服务改为随机端口启动，这样就不需要每次启动要先关掉老版本的服务，可以用新端口直接启动，新版本启动成功后再停掉老版本。With option of providing an port range for starting web service we do not need to modify service starting script, we can jus...
2018-07-10 16:14:34
4581
原创 Spark运行状态的监控
强力推荐，相见恨晚的文档，建议先看关于Spark监控，推荐一个讲的非常好的PPT：monitoring-spark-applications，简练、全面的讲解了Spark监控的必要性、方法、缺点及改进方法。下面是我自己的一些总结本文内容主要来自Spark Monitoring官方文档和Cloudera文档，和一些自己的思考。Spark UI监控，有三个维度对Spark运行时...
2018-07-06 18:19:50
22228
4
原创 数据驱动下的人性弱点
今天，在回家地铁上看了公众号“caoz的梦呓”几篇文章：《数据驱动是怎么跑偏的》、《所谓数据驱动，这个锅技术不能背。》、《万恶的kpi》、《再谈万恶的kpi》，看着看着理解了很多生活中不能理解的现象，对于数据驱动这个概念，和在这个概念引导下下人的行为有了一些了解，总结分享至此。数据驱动，我对这个概念的理解就是：企业用数据指标来衡量员工的绩效或者衡量业务的效果。一眼看上去，这种想法是没毛病啊，但...
2018-07-06 00:07:09
334
原创 分享一些有意思的软件公司和人——流媒体音乐服务商Pandora
偶然间在看到了这么一家公司，公司规模不小，而且已经上市，但是之前从来没听过，查找了一番，觉得这家公司听有意思的，分享一下。 简介：Pandora，一家美国流媒体音乐服务商。在 App Store 拥有其自己的应用程式上架。作为苹果商店，音乐及多媒体软件类精选APP之一，致力于为用户提供免费的音乐和广播，在北美具有一定的用户基础。 盈利模式：广告 对标产品：iTunes Radio、Rdio、...
2018-06-27 11:43:52
707
原创 分享一些有意思的软件公司和人——Matthew Rathbone
今天，遇到一个Hive的问题，在stackoverflow上看了一个相似的提问：What is Hive: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask 下面Matthew Rathbone的一个回答不错，我就顺着他的stackoverflow主页 看了下他的个人信息，发现这人挺有意思他是beekeeper（公司主...
2018-06-25 15:20:55
189
原创 现阶段大数据技术最直接的商业应用场景——Business Intelligence
稳定的获取利润是企业健康发展、不断壮大的保证，因此直接获取利润的环节往往是企业关心的地方，有的是让用户直接消费，如汽车、生活用品、房地产、食品、游戏、电商，有的是通过获取流量、再利用一对多的信息分发模式提供有效的信息传输渠道这种方式获利，如即时通讯、搜索引擎、信息流通平台（招聘猎头、二手车、房屋中介）。大部分情况下，大数据技术不直接参与到直接获取利润的环节，那大数据技术在这些获取利润的场景中有...
2018-06-21 11:11:43
1472
原创 Scalability and Extensibility in Software Engineering
Definition可扩展性（Scalability）是指 系统/网络/软件 能被快速方便应用到的不断增长的工作中的能力。例如，好的数据库系统可以通过增加硬件设施扩大数据库容量。Scalability is the capability of a system, network, or process to handle a growing amount of work, or its...
2018-06-19 15:14:11
1848
原创 软件测试的分类简介
按照是否清楚代码的内部结构，可将测试过程分为两种：黑盒测试和白盒测试。 黑盒测试又称为功能测试、数据驱动测试或基于规格说明书的测试，是一种从用户观点出发的测试。测试人员一般把被测程序当作一个黑盒子。常用的黑盒测试方法有：等价类划分法；边界值分析法；因果图法；场景法；正交实验设计法；判定表驱动分析法；错误推测法；功能图分析法。MoreDetails白盒测试也称结构测试或逻辑驱动测试，它是...
2018-06-13 14:06:25
366
原创 对Spring的概念的一些理解：IoC和Bean
从Spring Core Technologies文档中节选了一些概念性的解释，有利于Spring基本概念的理解。SpringIoC is also known as dependency injection (DI). It is a process whereby objects define their dependencies, that is, the other objects...
2018-06-05 19:54:12
360
原创 What is Boilerplate code?
Boilerplate code refers to sections of code that have to be included in many places with little or no alteration. It is often used when referring to languages that are considered verbose, i.e. the pro...
2018-06-05 19:34:16
1599
1
原创 Spring vs Spring Boot
Spring Boot是什么Spring Boot是写Java应用的工具。功能：检查项目组织的路径和配置的Beans自动补全缺失的组件并添加作用：让开发过程更多关注在业务上，不必花费太多精力在基础架构上。Spring Boot offers a fast way to build applications. It looks at your classpath a...
2018-06-05 18:55:23
845
转载 依赖倒置、控制反转和依赖注入辨析
依赖与耦合依赖：依赖描述了两个模型元素之间的关系，如果被依赖的模型元素发生变化就会影响到另一个模型元素 耦合：如果改变程序的一个模块要求另一个模块同时发生变化，就认为这两个模块发生了耦合[Fowler 2001]。模块间太强的耦合关系给代码的维护带来许多困难，为了解决这个问题，有面向过程和面向对象两种方式的尝试： 依赖倒置(Dependency Inversion Princi...
2018-06-05 17:09:58
977
《SpringBoot实战》第4版清晰版
2018-06-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人