鸭梨山大山大的博客

转载 Spark内存计算内幕

首先我们来看一张Spark计算时的架构图。上图引入了很多术语："Executor","Task","Cache","Worker Node"等等，当我开始学习Spark的时候，这几乎是整个互联网上唯一一张关于Spark架构的图了，我个人觉得该图缺失了一些很重要的概念或者是描述的。任何Spark的进程都是一个JVM进程，既然是一个JVM进程，那么就可以配置它的堆大小（-Xmx和-Xms）,但是进程怎么使用堆内存和为什么需要它呢？下面是一个JVM堆空间...

原创 Hadoop学习笔记 —— 概述（一）

**1 大数据部门组织结构****2 Hadoop概述**2.1 Hadoop发展史Hadoop是由Apache基金会所开发的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。Lucene框架是Doug Cutting开创的开源软件，用Java语言开发，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。2001年底Lucene成为Apache基金会的一个子项目，对于海量数据的场景，Lucene面对与Google同样的困难，存储数

原创 数据库常见面试题整理

1、MySql引擎（1）InnoDB定义：（默认的存储引擎）InnoDB是一个事务型的存储引擎，有行级锁定和外键约束。Innodb引擎提供了对数据库ACID事务的支持，并且实现了SQL标准的四种隔离级别，关于数据库事务与其隔离级别的内容请见数据库事务与其隔离级别这类型的文章。该引擎还提供了行级锁和外键约束，它的设计目标是处理大容量数据库系统，它本身其实就是基于MySQL后台的完整数据库系统...

原创 Java基础常见面试题整理

1、Java模式（1）单例模式饿汉模式占用资源class SingletonHungary { private static SingletonHungary singletonHungary = new SingletonHungary(); //将构造器设置为private禁止通过new进行实例化 private SingletonHungary() { } publi...

原创 Java内存模型

共享内存模型指的就是Java内存模型(简称JMM)，JMM决定一个线程对共享变量的写入时,能对另一个线程可见。从抽象的角度来看，JMM定义了线程和主内存之间的抽象关系：线程之间的共享变量存储在主内存（main memory）中，每个线程都有一个私有的本地内存（local memory），本地内存中存储了该线程以读/写共享变量的副本。本地内存是JMM的一个抽象概念，并不真实存在。它涵盖了缓存，写缓冲区，寄存器以及其他的硬件和编译器优化。从上图来看，线程A与线程B之间如要通信的话，必须要经历下面2个步骤：

原创 算法与数据结构常见面试题整理

1、排序算法代码见：https://blog.csdn.net/weixin_41190227/article/details/86600821

原创 计算机网络常见面试题整理

计算机网络1、七层/五层网络模型2、TCP协议（1）三次握手第一次握手：建立连接时，客户端A发送SYN包（SYN=j）到服务器B，并进入SYN_SEND状态，等待服务器B确认。第二次握手：服务器B收到SYN包，必须确认客户A的SYN（ACK=j+1），同时自己也发送一个SYN包（SYN=k），即SYN+ACK包，此时服务器B进入SYN_RECV状态。第三次握手：客户端A收到服务器B的...

原创 操作系统常见面试题整理

一、Linux查看文件内容的命令：cat 由第一行开始显示内容，并将所有内容输出tac 从最后一行倒序显示内容，并将所有内容输出more 根据窗口大小，一页一页的现实文件内容less 和more类似，但其优点可以往前翻页，而且进行可以搜索字符head 只显示头几行tail 只显示最后几行nl 类似于cat -n，显示时输出行号tailf 类似于tail -f...

原创 Nginx的搭建

一、windows的Nginx搭建1、配置多个tomcat这里一两个为例。2、修改tomcat的配置文件，将端口进行修改一共三个端口。‘这里可能会出现一个坑，无法正常启动多个tomcat，这里可以参考一下以下链接可能是启动参数的问题https://jingyan.baidu.com/article/4f7d5712eb23221a21192757.html3、安装windo...

原创 Nginx以及代理的相关知识

一、Nginx介绍来自百度百科的介绍二、代理和反向代理1、正向代理一般情况下，如果没有特别说明，代理技术默认说的是正向代理技术。关于正向代理的概念如下： 正 向代理(forward)是一个位于客户端【用户A】和原始服务器(origin server)【服务器B】之间的服务器【代理服务器Z】，为了从原始服务器取得内容，用户A向代理服务器Z发送一个请求并指定目标(服务器B)，然后代 理服务器...

原创 Webservice 概述

一、简介 Web service 即web服务，它是一种跨编程语言和跨操作系统平台的远程调用技术即跨平台远程调用技术。 Web service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。 Web Service为整个企业甚至多个组织之...

原创 Python基础（五）------ 变量类型

2.2 变量的类型在 Python 中定义变量是 不需要指定类型（在其他很多高级语言中都需要）数据类型可以分为 数字型 和 非数字型数字型整型 (int)浮点型（float）布尔型（bool）真 True 非 0 数 —— 非零即真假 False 0复数型 (complex)主要用于科学计算，例如：平面场问题、波动问题、电感电容等问题非数字型字符串列...

原创 程序执行原理

程序执行原理（科普）目标计算机中的 三大件程序执行的原理程序的作用01. 计算机中的三大件计算机中包含有较多的硬件，但是一个程序要运行，有 三个 核心的硬件，分别是：CPU中央处理器，是一块超大规模的集成电路负责 处理数据／计算内存临时 存储数据（断电之后，数据会消失）速度快空间小（单位价格高）硬盘永久 存储数据速度慢空间大（单位价格低）...

原创 Python基础(四)------算数运算符

算数运算符计算机，顾名思义就是负责进行 数学计算 并且 存储计算结果 的电子设备目标算术运算符的基本使用01. 算数运算符算数运算符是 运算符的一种是完成基本的算术运算使用的符号，用来处理四则运算运算符描述实例+加10 + 20 = 30-减10 - 20 = -10*乘10 * 20 = 200/除10 / 20 = ...

原创 Python基础（三）------注释

注释目标注释的作用单行注释（行注释）多行注释（块注释）01. 注释的作用使用用自己熟悉的语言，在程序中对某些代码进行标注说明，增强程序的可读性02. 单行注释(行注释)以 # 开头，# 右边的所有东西都被当做说明文字，而不是真正要执行的程序，只起到辅助说明作用示例代码如下：# 这是第一个单行注释print("hello python")为了保证代码的...

原创 Python基础（二）

Python基础（二）------PyCharm 的初始设置目标恢复 PyCharm 的初始设置第一次启动 PyCharm新建一个 Python 项目设置 PyCharm 的字体显示PyCharm 的升级以及其他PyCharm 的官方网站地址是：https://www.jetbrains.com/pycharm/01. 恢复 PyCharm 的初始设置PyCharm 的 配置...

原创 Python基础（一）

Python 基础（一）目标第一个 HelloPython 程序Python 2.x 与 3​​.x 版本简介执行 Python 程序的三种方式解释器 —— python / python3交互式 —— ipython集成开发环境 —— PyCharm01. 第一个 HelloPython 程序1.1 Python 源程序的基本概念Python 源程序就是一个特殊格...

原创 Python简介

认识 Python人生苦短，我用 Python —— Life is short, you need Python目标Python 的起源为什么要用 Python？Python 的特点Python 的优缺点01. Python 的起源Python 的创始人为吉多·范罗苏姆（Guido van Rossum）1989 年的圣诞节期间，吉多·范罗苏姆为了在阿姆斯特丹...

原创 zookeeper概述

**1》zookeeper**1.1》什么是zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户参照博客：https://www.cnblogs.com/felixzh/p...

原创 SSM去除自动检测bean是否存在

原创 SpringBoot创建Maven多模块项目

一、修改maven配置文件建议本地仓库放在C盘之外的其他盘，防止系统重装的时候仓库的丢失。二、新建空项目File -> New -> Project -> Empty Project 然后给自己的项目命名，之后一直next。三、新建springboot-父项目File -> New -> Module -> Spring Initializ...

原创 Dubbo概述

**Dubbo**官网：http://dubbo.apache.org/参考文档：http://dubbo.apache.org/books/dubbo-user-book/preface/background.html一、什么是DubboDubbo是 阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 [2] Spring框...

原创 ActiveMQ（发布和订阅）

**ActiveMQ的发布和订阅**一、创建订阅者订阅者1：import org.apache.activemq.ActiveMQConnection;import org.apache.activemq.ActiveMQConnectionFactory;import javax.jms.*;public class Consumer1 { private sta...

原创 ActiveMQ（点对点使用）

**ActiveMQ的点对点使用**Session.AUTO_ACKNOWLEDGE。当客户成功的从receive 方法返回的时候，或者从MessageListener.onMessage方法成功返回的时候，会话自动确认客户收到的消息。Session.CLIENT_ACKNOWLEDGE。 客户通过消息的 acknowledge 方法确认消息。需要注意的是，在这种模式中，确认是在会话层上进...

原创 ActiveMQ概述和下载

**一、ActiveMQ简介**ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。**二、ActiveMQ的下载和配置**1、下载主页：http://activemq....

原创 JMS概述

**一、什么是JMS**JMS即Java消息服务（Java Message Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。在JAVA中，如果两个应用程序之间对各自都不了解，甚至这两个程序可能部署在不同的...

原创 Spring Boot整合 druid数据源

1、添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac...

原创 Spring Boot项目打包部署

1、打包时添加下面依赖代码<!-- 编译版本可以省略 --> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration&...

原创 Spring Boot 修改端口号

**一、在application.properties中**server.port=8888server.context-path=/test**二、在application.yml中**注意冒号后用空格yml还能配置许多其他配置，具体的自行发掘...

原创 使用AOP统一处理Web请求日志

**一、导入依赖** <!-- AOP --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </depend...

原创 Spring Boot整合Log4j

**一、导入Log4j属性文件****1、log4j.properties**注意，复制时要把每一行后面的空格去除log4j.rootLogger=INFO,Console,File log4j.appender.Console=org.apache.log4j.ConsoleAppender log4j.appender.Console.Target=System.out...

原创 Spring Boot中的多事务管理

**一、多数据源问题**最后一个可以插入一条数据，原因是Transactoinal的事务只针对userMapper有效，因为之前的事务只给test1配置了，而test2并没有配置事务。**二、Spring Boot中的多事务管理**使用springboot+jta+atomikos 分布式事物管理解决方案1、添加jta事务依赖<dependency> <...

原创 SpringBoot配置多数据源

**配置多数据源**以前是在applicationContext.xml中配置数据源现在可以通过通过注解来配置数据源一、配置文件添加数据源spring.datasource.test1.driverClassName=com.mysql.jdbc.Driverspring.datasource.test1.url=jdbc:mysql://localhost:3306/test1?...

原创 spring中使用的事务

**spring中使用的事务**只需要加个Transactional注解即可

原创 SpringBoot ------ Web开发（二）整合Mybatis

**SpringBoot整合Mybatis**Step1:pom导入 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.3.2...

原创 SpringBoot ------ Web开发（二）整合JDBC

**SpringBoot整合JDBC**Step1:添加依赖<!-- JDBC --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId></...

原创 SpringBoot ------ Web开发（一）

在我们开发Web应用的时候，需要引用大量的js、css、图片等静态资源。Spring Boot默认提供静态资源目录位置需置于classpath下，目录名需符合如下规则：/static/public/resources/META-INF/resources举例：我们可以在src/main/resources/目录下创建static，在该位置放置一个图片文件。启动程序后，尝试访问http:...

原创 Spring Boot 依赖介绍

**Spring Boot依赖介绍**spring-boot-starter 核心 POM，包含自动配置支持、日志库和对 YAML 配置文件的支持。spring-boot-starter-amqp 通过 spring-rabbit 支持 AMQPspring-boot-starter-aop 包含 spring-aop 和 AspectJ 来支持面向切面编程（AOP）。spring-...

原创 SpringBoot的启动方式

第一种：在控制器配置EnableAutoConfiguration并使用SpringApplication启动程序,但是这种一次只能启动一个服务。@RestController //声明Rest风格的控制器@EnableAutoConfiguration //自动配置，相当于写了spring的配置文件@RequestMapping("user")public class UserC...

原创 SpringBoot入门案例

**SpringBoot入门案例** Step01:安装好maven，并且配置好本地仓库路径和远程中央仓库的路径。Step2:创建一个 maven war项目(test1)创建一个 maven jar项目(test2)这两种都可以，但一般都使用jar,因为spring是用于服务，不建议与jsp使用Step03:在pom.xml添加spring-boot-starter-web...