大腿配件-CSDN博客

翻译《大型网站技术架构》学习总结（4）

网站高可用架构 1、网站可用性业界用多少个9来衡量网站的可用性，即99.999%的形式，两个9是基本可用，不可用小时小于88小时，3个9是小于9小时，4个9是具有自动恢复能力的高可用，不可用时间小于53分钟，5个9是极高可用，不可用时间小于5分钟，6个9。。。。emmm2、session管理可用性高、伸缩性好、性能不错、对信息大小没有限制的服务器集群s...

2018-03-07 14:48:42 183

翻译《大型网站技术架构》学习总结（3）

性能优化优化 1、Web性能前端（1）减少Http 请求每次Http请求都需要建立通信链路层进行数据传输，在服务端要对应一个线程处理，可以通过合并CSS、合并JS文件、合并图片等手段，讲一次访问所需的资源合成一个文件，多个请求合成一个，若有多张图片连接，可通过CSS偏移相应鼠标点击操作，构造不同的URL。（2）使用浏览器缓存 CSS和图标等静态资源更新的频率比较低...

2018-03-07 11:41:23 193

翻译《大型网站技术架构》学习总结（2）

2 大型网站架构模式 2.1网站架构模式 2.1.1分层将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责，然后通过上层对下层的依赖和调用组成一个完整的系统。网站软件系统可分为应用层（负责具体业务和视图展示）、服务层（提供服务支持）、数据层（数据存储访问服务）2.1.2分割将不同的功能和服务分隔开，包装成高内聚低耦合的模块单元，有助...

2018-03-06 23:23:56 177

翻译《大型网站技术架构》学习总结（1）

1.1 大型网站软件系统的特点高并发，大流量；高可用性，应对宕机；海量数据；用户分布广泛，网站情况复杂；安全环境恶劣；需求快速变更、发布频繁；渐进式发展1.2大型网站架构演化发展历程1.2.1初始阶段从小型网站架构演化到大型网站所有资源在一台服务器上，Linux + PHP + Apache + MySQL 1.2.2应用服务和数据服务分离数据增多导致存储...

2018-03-06 20:27:05 175

原创 NoSQL数据库学习过程（1）

键值数据库特性:1、简洁。数据模型简单，只需给出该键值对所在的命名空间及其键名即可，命名空间可以是数据库名、桶名（bucket），向键值数据库提供命名空间和键名2、速度。告诉，可用于cache，能对应高吞吐量的数据密集型操作，可利用RAM或磁盘LRU算法，决定数据库所释放的数据3、易于缩放。主从式复制和无主式。适用...

2018-03-06 15:36:30 255

原创 Hadoop学习记录---MapReduce的输入

一、输入格式InputFormat 运行一个MapReduce时，我们需要为作业指定它的输入格式。InputFormat是所有输入格式的抽象基类，有两个抽象方法。 List getSplits(JobContext jc)作用是将输入文件分割成逻辑上的多个分片InputSplit，而不是将文件分割成多个数据块。 RecordReader createRecordRea

2018-01-11 22:49:39 201

原创 Hadoop学习记录---MapReduce并行计算模型之介绍

目录：1、简单说明 2、任务角色 3、任务流程 4、优化简单说明MapReduce分为Map和Reduce阶段，一个任务会先将输入的数据切分成独立的小块，被Map任务在DataNode中处理，实现分布处理，然后将Map任务的结果汇总到Reduce任务中做进一步汇总处理，最后输出。因为Hadoop是将计算放在数据节点上，而不是数据放在数据节点，所以计算和存储结点相同。任务

2018-01-10 23:04:18 1011

原创线程基础知识

前言：复习了一遍线程，查漏补缺，但又经常记不住，只好写下来，时不时回来看看，可能会有错误。。。。我能力有限。。。阅读大约需要一刻多目录： 1、线程的创建 2、对象及变量的并发访问 3、线程间通信 4、Lock 5、线程池 6、Fork/Join框架 7、定时器Timerjava线程基础线程有六种状态：New（新建）、Runnable（可运行）、Blocked（被阻塞）、Waiting

2017-11-08 22:41:29 349

原创密码学----基础概念（三）

非对称密钥加密算法1、RSA算法过程：选择两个大素数P,Q,计算N=P*Q 选择一个公钥（加密密钥）E，使其不是（P-1)和（Q-1）的因子选择私钥（解密密钥）D，满足条件：（D*E）mod (P-1)*(Q-1)=1 加密时，从明文PT计算密文CT如下：CT=PT^E mod N，将密文CT发送给接受方解密时，从密文CT计算明文P

2017-08-09 12:14:28 464

原创密码学----基础概念（二）

1、流加密法流加密法是一次加密明文中的一个位，解密时也是一位一位解密。异或逻辑：两次异或会得到原来的数。这个可逆性使得在运算过程中，三者知其二可推出另一。2、块加密法一次加密明文中的一个块。 2.1电子编码簿最简单的，将明文信息分成64位块，然后单独加密每个块，解密时就一个一个解密，使用相同的密钥加密。2.2加密块链接模式在加密块链接模式

2017-08-09 01:07:24 390

原创密码学----基本概念

密码学的目的是通过将信息编码使其不可读，从而达到安全性。1、明文和密文明文信息是知道这种语言的任何人都能理解的，该信息不进行任何编码，是发送人、接受人和任何访问信息的人都能理解的信息。明文信息用某种模式编码之后，得到密文信息。2、替换方法 2.1凯撒加密法第一个替换加密实例，把明文消息中的每个字母换成向后三个字母的字母，是隐藏明文信息的脆弱机制。破解：逆转

2017-08-09 00:27:38 912

原创 Hadoop（七）---MapReduce计算模型

MR架构（1.x） 1、主从结构主节点：只有一个JobTracker(HA有多个) 从节点: 多个TaskTracker2、JobTracker——>对应NameNode （1）负责接受并处理客户请求（2）负责资源监控和作业调度（3）分配任务给TaskTracker3、TaskTracker，执行分配任务—->对应于DataNode MapReduce的过程：编写实体类，继承

2017-08-08 01:37:13 317

原创 Hadoop（六）--->核心设计

1、安全模式（safemode） NameNode在启动时自动进入安全模式，也可手动操作，当在安全模式时，会检查数据完整性。命令： hadoop dfsadmin -safemode leave 强制退出 enter 进入

2017-08-08 01:21:49 165

原创 Hadoop（五）----API 操作

1、要从HDFS文件系统中读取文件，最简单的就是使用Java.net.URL对象打开数据流读取数据 2、要让Java程序识别Hadoop的HDFS的URL，需采用FsUrlStreamHandlerFactory实例调用URL中的setURLStreamHandlerFactory方法，（JVM只调用一次上述方法，因此可考虑设为static方法） static{ UR

2017-08-08 00:56:24 206

原创 Hadoop（四）----流程

项目的基础配置包括:项目的配置文件；集群信息配置。基础代码的实现：实现工具类和实体类；清洗HDFS数据。如何学习Hadoop:原理和运行机制；操作、开发程序。Google的基本思想（奠定Hadoop的原理和运行机制）:（1）GFS，Google File System，分布式文件系统--->数据存储--->HDFS（Hadoop Distributed File System）（2）Page

2017-08-08 00:34:11 154

原创 Hadoop（三）

Reduce任务这是数据聚合的步骤,默认是1，数量通过mapreduce.job.reduces设置,或者编程方式(调用Job对象的setNumReduceTasks()) 一个Reduce能并行处理多少个Map任务获取数据由mapreduce.shuffle.reduce.parallelcopies参数决定MapReduce作业的计数器一个简单的自定义计数器 (1)创建一计数器，用其

2017-08-07 23:49:44 141

原创 Hadoop（二）

Map任务让map任务处理更大的块容量，可以通过: (1)通过增加参数fileinputformat.split.minsize,使其大于块的容量; (2)增加文件储存在HDFS中的块容量Map任务产生的中间输出记录使用环形缓冲区,大小通过mapreduce.task.io.sort.mb设置，默认100，会被mapred-default.xml或mapred-site.xml的值冲掉由ma

2017-08-07 23:49:21 165

原创 Hadoop(一)

Hadoop数据类型–MapReduce的输入 1、Writable和WritableComparable接口 Writable含write()和readFileds()两方法，当数据在网络上传输或从硬盘读写时，提供数据的序列化和反序列化机制，所有用作mapper/reducer输入输出值的类型都须实现(v1/v2/v3),用作键的k1,k2,k3还需实现Comparable接口2、wrappe

2017-08-07 23:48:44 188

原创 Hibernate入门（一）

目录: 1、Hibernate体系架构 2、流程 3、操作数据库的步骤 ORM，即对象/关系映射，ORM框架，完成面向对象的程序设计语言到关系型数据库的映射。 Hibernate体系架构: Configuration:负责配置并启动Hibernate，创建SessionFactory对象 SessionFactory:负责初始化，充当数据存储的代理，并负责创建Sessi

2017-08-05 18:25:20 149

原创敏捷开发

敏捷开发以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。软件项目在构建初期被分成多个子项目，各个子项目的成功都经过测试，具备可视、可集成和可运行使用的特征核心原则: 主张简单:不要过分构建的你的软件拥抱变化:随着项目的进行，项目环境也不停的变化，目标与成功的标准也变化可持续性性：能够适应的拓展，不仅需要构建高质量的软件，还要创建足够的文档和材料

2017-08-05 16:19:09 317

原创 Struts2（二）

目录: 1、Struts2框架的运行过程 2、Struts的开发步骤 3、Struts2的国际化支持 4、文件的 1、Struts2框架的运行过程 (1)客户端发送请求 (2)请求先通过ActionContextCleanUp–>FilterDispatcher (3)FilterDispatcher通过ActionMapper来决定这个Request需要调用哪个Action (4

2017-08-05 15:25:47 180

Linux: 安装 1、从apache网站http://hadoop.apache.org/releases.html下载，其中src是要编译的，bin可以直接解压安装2、下载JDK，一路确定安装后，配置环境变量，JAVA_HOME=C:\Program Files\Java\jdk1.8.0_65(这是我的),PATH=%JAVA_HOME%\bin;等，在shell输入java -versio

2017-08-04 02:05:23 192

原创 Struts2（一）

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-07-20 00:25:23 193 1

原创随手记录--Spring 基础与容器(1)

1、使用XML装配JavaBean，根据定义的信息去创建并注入依赖的属性调用setter()->再调用propertyName(getBean()) --> 随便写点什么，有意义的，用于描述当前的配置文件构造方法传递的参数

2017-05-14 11:10:19 167

原创随手记录--Go基础知识

GoF：\GOcmd->go version检测输出相应信息，cmd进入到f:\go文件夹，go run 文件名（.go结尾），在p文件名.go目录下运行go build print.go即可把go程序编译成exe文件基本知识：1、语句无须分号区分2、多返回值类型3、｛需在上一语句结尾处不能单独一行4、可直接swap，例如是a,temp,b，可

2017-05-01 21:13:26 248

原创随手记录--mysql（1）

基本类型:char:由用户指定长度的字符串varchar:可变长度的字符串int:整数类型smallint:小整数numeric:定点数,numeric(3,1)精确储存三位有效数字，包括一位小数real,double precision : 浮点数和双精度浮点数float:浮点数create database dbname; //数据库名create

2017-05-01 21:12:20 213

原创随手记录--java fx（1）

java FX场景图：显示在整体框架的最顶层，是整体JavaFX应用的起始点。它是一个分层次的树状结构的结点来表示应用用户接口的可视化元素。一个场景中单独的元素叫节点。每一个节点都有一个ID，样式类和边界值。Scene相当于画布，也就是根节点，Stage就是窗口，将scene绑定到主窗口中public void start(Stage primaryStage)throws Exc

2017-05-01 21:11:20 702

原创随手记录--python基础知识

Python存储地址：F:\py2.7 F:\PY3.01、语句无须分号结束2、输出print( ‘string’) / print( ‘ ’，‘ ’） / print(‘ ’，name)，遇到逗号“,”会输出一个空格3、输入input（）4、数据类型：整数（除法有两种：/两个整数恰好整除，结果是浮点数；//称为地板除，两个整数的除法仍然是整数）

2017-05-01 21:08:48 311

原创随手记录--java排序（1）冒泡、选择、希尔、归并

/** * 迭代的对序列中的元素进行比较，需要就交换 * 没有交换操作就意味着排序完成 * @param A * @param n */ void BubbleSort(int A[],int n){ int pass,i,temp,swapped=1; for(pass=n-1;(pass

2017-05-01 21:07:56 135

原创随手记录--xml in java

XML是一种简单的数据存储语言，使用一系列简单的标记描述数据，XML占用的空间比二进制数据多，在其格式中，元素必须配对、元素名称区分大小写，必须使用正确的嵌套。XML的标准中定义每个元素都可以有自己的属性，需要用引号把属性值括起来，引号处于半角状态下输入，在解析XML时，元素内容会出现""，CDATA必需成对出现，同时也不能嵌套使用，;遇到特殊符号也可以用替代符号表示。XML在编辑器中

2017-05-01 21:06:25 269

原创随手记录--线程

java.lang.Thread 线程有六种状态：New（新建）、Runnable（可运行）、Blocked（被阻塞）、Waiting（等待）、Timed waiting（计时等待）、Terminated（被终止）static vooid sleep(long mills)休眠给定的毫秒数,sleep方法可能抛出InterruptedException异常Thread(Ru

2017-05-01 21:05:24 147

原创随手记录--网络编程

获得本机IP：通过InetAddress类的getLocalHost()方法获得本机的InetAddress对象，然后调用该对象的getHostAddress()方法获得本机的IP地址InetAddress inetAddr=InetAddress.getLocalHost();String ip=inetAddr.getHostAddress();获取本机域名和主机名：通过I

2017-05-01 21:04:29 271

原创随手记录-通信协议基础知识

通信协议HTTP和UDP都是通信协议，TCP/IP是个协议组，可分为四个层次：网络接口层、网络层、传输层和应用层。在网络层有IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议。在传输层中有TCP协议与UDP协议。在应用层有FTP、HTTP、TELNET、SMTP、DNS等协议。因此，HTTP本身就是一个协议，是从Web服务器传输超文本到本地浏览器的传送协议

2017-05-01 21:02:47 545

原创随手记录--爬虫基本概念

爬虫 Web spider，网络蜘蛛，通过网页的链接地址来寻找网页，从某一页面开始，读取网页内容，找到网页的其他链接地址，一直循环下去，基本操作就是抓取网页。浏览器的功能就是将获取的HTML代码进行解析，然后将原始的代码转变成我们直接看到的网站页面。大部分网站都会定义robots.txt文件，这样有利于让爬虫了解爬去该网站存在那些限制。爬取网站的常用方法：（1）爬取网站地图（

2017-05-01 21:01:09 307

sinat_35695092的博客