- 博客(92)
- 收藏
- 关注
RSS订阅原创 EMQ学习笔记
--------------------------------debugger-----------------------werl -setcookie emqsecretcookie -name node_3@CN00209774 -remsh emq@CN00209774orwerl -sname observer -hidden -setcookie emqsecretcookie -run observerCtrl+Gr 'emq@CN00209774'jc 2.
2020-08-18 14:19:23
1075
原创 系统设计 -- 并发用户数与吞吐量
在做系统设计时，架构师希望建立一套高性能的系统，而吞吐量(TPS)则作为衡量系统性能的重要指标。在做性能测试的时候，测试人员需要了解系统并发用户数、系统吞吐量、以及响应时间等，下面就按照这几者之间的关系简单整理如下。1、响应时间：对请求作出响应所需要的时间网络传输时间：N1 + N2 + N3 + N4应用服务器处理时间：A1 + A3数据库服务器处理时间：A2则响应时间 = N1 + N2 + ...
2018-05-11 14:07:05
835
转载 RHEL7 模块开机加载
一、问题背景 平台上的虚拟机经常遭遇DDOS攻击，由于我们启动了iptables的state模块做安全策略，因此收到攻击时经常导致物理机nf_contract表超过默值，进而影响到整个物理机上的虚拟机丢包，因此要增大该值，我通过/etc/sysctl.conf来实现这个功能。测试发现，修改后服务器（RHEL7.1)重启一直不生效！之前在RHEL6的系统上是好的啊，why ？二、操作步骤 ...
2018-04-18 18:01:34
729
转载 nf_conntrack满之解决方法
vim /var/log/message报错nf_conntrack: table full, dropping packet先关掉iptables/etc/init.d/iptables stop查看当前的连接数：# grep nf_conntrack /proc/slabinfo查出目前 nf_conntrack 的排名：$ cat /proc/net/nf_conntrack | cut -...
2018-04-16 17:15:51
2056
转载 让并发和容错更容易：Akka示例教程
写并发程序很难。程序员不得不处理线程、锁和竞态条件等等，这个过程很容易出错，而且会导致程序代码难以阅读、测试和维护。所以，很多人不倾向于使用多线程编程。取而代之的是，他们使用单线程进程（译者注：只含有一个线程的进程），依赖外部服务（如数据库、队列等）处理所需的并发或异步操作。虽然这种方法在有些情况下是可行的，但还有很多其他情况不能奏效。很多实时系统——例如交易或银行业务应用，或实时游戏——
2017-01-04 17:11:57
758
转载 Cassandra+Akka+Spark分布式机器学习架构
目前基于Mesos的 Spark, Akka, Cassandra 和 Kafka (简称SMACK)架构将机器学习 大数据分析 快数据实时流处理和集群自动化管理结合一起，形成大数据领域的主流架构。数据分为快数据和大数据；快数据包括相关的最新信息以及提供可操作的事件。大数据是有关分析与模型和学习，聚类，分类以及组织事实。下图是展示对大数据和快数据分别进行批处理和流处理以后，进入
2017-01-04 16:32:51
829
转载 京东11.11：商品搜索系统架构设计解密
刘尚堃，京东推荐搜索部技术总监，有丰富的团队管理经验以及推荐、搜索、广告产品研发经验。一、 京东商品搜索简介京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验。虽然只有短短几年的时间，我们的搜索引擎已经经过了多次618店庆和双11的考验，目前已经能够与人们日常使用的如谷歌、百度等全文搜索引擎相比，我们的产品与其有相通之处，比如涵
2017-01-04 14:23:27
1619
转载 命令模式（Command）的两种不同实现
命令模式（Command）：将一个请求封装成一个对象，使得你用不同的请求把客户端参数化，对请求排队或者记录请求日志，可以提供命令的撤销和恢复功能。 命令模式，顾名思义来理解即可，就是客户端发布一个命令（也就是“请求”），而这个命令是已经被封装成一个对象的。即这个命令对象的内部可能已经指定了该命令具体被谁负责执行。就像开发经理从客户那边获取对方的需求（命令），客户在描述具体的需求可以决定是否
2016-11-25 17:14:25
430
转载 精品 jQuery Ajax 分页插件和教程
在这篇文章中，我为大家收集了20个基于 jQuery 框架的 Ajax 分页插件，这些插件都提供了详细的使用教程和演示。Ajax 技术的出现使得 Web 项目的用户体验有了极大的提高，如今借助优秀的 jQuery 框架很容易实现各种基于 Ajax 技术实现的功能。我们一起来看看下面这些优秀的分页插件。1.Client-side jQuery pagination plugin : jPag
2016-11-17 11:19:38
493
转载 推荐20个很有帮助的 Web 前端开发教程
在平常的搜索中，我碰到过很多有趣的信息，应用程序和文档，我把它们整理在下面这个列表。这是收藏的遇到的有用内容的一个伟大的方式，可以在你需要的时候方便查阅。相信你会在这个列表中发现对你很有用的资料。 1. CSS Vocabulary一个伟大的指向和点击的小应用程序，让你加快速度掌握 CSS 语法的各个不同部分，学习各个属性的正确的名称。 2. Liquidapsiv
2016-11-17 11:00:37
345
转载 11个最值得Java开发者收藏的网站
Java是一种面向对象的编程语言，由Sun Microsystems公司在1995年的时候正式发布。直到今天，Java都一直是最受欢迎的编程语言之一。如今，Java应用于各种各样的技术领域，例如网站开发、Android开发、游戏开发、大数据等等。在世界各地，成千上万的Java开发者进行着各式各样的软件开发项目。不同的开发者使用的工具不同，每一个项目所要求的技术也不同。但是，他们都会通过网络
2016-11-17 10:48:03
365
转载 12个最佳的免费学习编程的游戏网站
在这篇文章中，我们对 200 多个编程游戏网站的各个方面进行了评估，包括是否免费、是否自由开源、是面对菜鸟还是有经验的程序员、支持的编程语言等等，然后遴选出这 12 个上佳的免费的编程游戏网站，希望能让你或你的朋友(或者你的孩子)真正喜欢上编程。作者：Mybridge来源：Linux中国|2016-10-11 15:28 收藏 分享学习
2016-11-17 10:43:29
4955
转载 前端工程师如何搞定设计
前端是一个承上启下的职位，正因为其位置的特殊性导致其必须了解设计和后台的一些基本知识。本文并非教大家如何取代设计的工作，而是讲解前端如何更快更便捷的实现一些简单的设计任务，在没有设计师的情况下如何利用工具解决UI呈现的问题，让工作事半功倍。Photoshop使用大多数前端工程师都有过切图的经历，也就是将设计师制作的PSD等格式的图片按照需求切成项目需要的大小并实现页面的呈现，那么作
2016-10-20 10:34:46
503
转载 2016 Web 开发资源工具大搜罗
原文链接： 100+ Awesome Web Development Tools and Resources Web的迅猛发展对于开发者来说既是一件好事也是一件坏事。不断紧跟潮流学习新的技术、编程语言、适应变化听起来就很令人兴奋又紧张。你需要面对的挑战可能包括使用已有的框架适应新的业务需求，测试网站的兼容性，优化你的网站前端和后端更好地协同。今天在这里介绍给大家的这个收集列表也许能够帮
2016-10-09 09:59:14
632
转载 kafka windows环境的搭建之路
简介：kafka是一个分布式的、可分区的、可复制的消息系统，它常常用于处理日志信息，是Apache下的一个开源项目（觉得Apache简直太牛逼了。。） （一）基本的消息术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的
2016-07-21 21:53:13
554
转载 Apache Kafka：下一代分布式消息系统
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自
2016-07-20 16:40:02
416
转载 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建
一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例
2016-07-19 16:17:04
275
转载 各种 Java Thread State 第一分析法则
使用 TDA 工具，看到大量 Java Thread State 的第一反应是：1，线程状态为“waiting for monitor entry”：意味着它 在等待进入一个临界区 ，所以它在”Entry Set“队列中等待。此时线程状态一般都是 Blocked：java.lang.Thread.State: BLOCKED (on object
2016-06-30 10:31:01
535
转载 JVM调优总结 + jstat 分析
jstat -gccause pid 1 每格1毫秒输出结果jstat -gccause pid 2000 每格2秒输出结果 不断的在屏幕打印出结果 S0 S1 E O P YGC YGCT FGC FGCT GCT LGCC GCC
2016-06-29 17:40:13
1253
转载 解决 - java.lang.OutOfMemoryError： unable to create new native thread
工作中碰到过这个问题好几次了，觉得有必要总结一下，所以有了这篇文章，这篇文章分为三个部分：认识问题、分析问题、解决问题。 一、认识问题:首先我们通过下面这个 测试程序 来认识这个问题：运行的环境 （有必要说明一下，不同环境会有不同的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，测试程序：Java代码
2016-06-22 17:09:10
456
转载 ByteBuffer 到底怎么用？网络编程中一点总结！
做tcp网络编程，要解析一批批的数据，可是数据是通过Socket连接的InputStream一次次读取的，读取到的不是需要转换的对象，而是要直接根据字节流和协议来生成自己的数据对象。按照之前的编程思维，总是请求然后响应，当然Socket也是请求和响应，不过与单纯的请求响应是不同的。这里Socket连接往往是要保持住的，也就是长连接，然后设置一个缓冲区，网络流不断的追加到缓冲区。然后
2016-06-02 10:57:13
646
转载 从前端菜鸟到大神，看这一篇就够了
结合个人经历总结的前端入门方法，总结从零基础到具备前端基本技能的道路、学习方法、资料。由于能力有限，不能保证面面俱到，只是作为入门参考，面向初学者，让初学者少走弯路。互联网的快速发展和激烈竞争，用户体验成为一个重要的关注点，导致专业前端工程师成为热门职业，各大公司对前端工程师的需求量都很大，要求也越来越高，优秀的前端工程师更是稀缺。个人感觉前端入门相对容易，但是也需要系统地认真学习，在打好
2016-03-21 11:35:40
3961
2
转载 29个非常实用的HTML 5实例、教程和技巧
下面我们介绍了一份完整的列表——如果你是位Web开发者，绝对不想错过这30余个HTML5实例、教程和技巧。不妨先看一下几个HTML5实例1. 用HTML5创建移动设备上的离线Web应用程序IBM的技术库里面有一篇由IT架构师Dietmar Krueger撰写的内容翔实的文章。作者在该文中描述和介绍了为什么为操作系统和移动平台编写应用程序困难重重。作者选择了走开放的道
2016-03-17 14:49:30
1203
1
转载 大锅乱炖10大 H5 前端框架
作为一名在前端死缠烂打6年并且懒到不行的攻城士，这几年阅过很多从知名到很知名的前端框架，本来想拿15-20个框架来分享一下，但在跟几个前辈讨教写文章的技巧时果断被无情的打击了，所以这里我还是低调的只拿出10个框架来个大锅乱炖，凑够字数也就全剧终了。下面的框架也没有什么先后顺序之分，我想到啥就写啥啦( 作为前端，我一向都这么的任性 ^_^ )。Bootstrap首先说 B
2016-03-11 10:01:17
589
转载 每个程序员应该阅读的10本经典书籍
每个程序员应该阅读的10本经典书籍如果你是一个程序员， 除了编码之外，你还需要大量的阅读。今天我要为大家介绍几本值得一读的书，包括《The Pragmatic Programmer》，《The Mythical Man-month: Essays on Software Engineering》和《Clean Code: A Handbook of Agile Software Craftsm
2016-03-04 10:39:41
453
转载 大型网站架构系列：消息队列（二）
本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】本次分享大纲消息队列概述（见第一篇：大型网站架构系列：分布式消息队列（一））消息队列应用场景（见第一篇：大型网站架构系列：分布式消息队列（一））消息中间件
2016-02-25 17:28:04
420
转载 大型网站架构系列：分布式消息队列（一）
以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。本次分享大纲消息队列概述消息队列应用场景消息中间件示例JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二））常用消息队列（见第二篇：大型网站架构系列：分布式消息队列（二））参考（推荐）资料（见第二篇：大型网站架构系列：分布式消息队列（二））本次分享总结（见第二篇：大型
2016-02-25 17:26:13
443
转载 大型网站架构系列：负载均衡详解（4）
本文是负载均衡详解的第四篇，主要介绍了LVS的三种请求转发模式和八种负载均衡算法，以及Haproxy的特点和负载均衡算法。具体参考文章，详见最后的链接。 三、LVS负载均衡LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，用来实现Linux平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。
2016-02-25 17:24:26
383
转载 大型网站架构系列：负载均衡详解（3）
本次分享大纲软件负载均衡概述Ngnix负载均衡Lvs负载均衡Haproxy负载均衡本次分享总结一、软件负载均衡概述硬件负载均衡性能优越，功能全面，但是价格昂贵，一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx，Lvs，HaProxy等。本文参考大量文档，部分为直接拷贝，参考出处见负载均衡详解（4）。二、Ng
2016-02-25 17:23:07
484
转载 大型网站架构系列：负载均衡详解（2）
本文是负载均衡详解的第一篇文章，介绍负载均衡算法， 硬件负载均衡。部分内容摘自读书笔记。三、负载均衡算法常用的负载均衡算法有，轮询，随机，最少链接，源地址散列，加权等方式；3.1 轮询将所有请求，依次分发到每台服务器上，适合服务器硬件同相同的场景。优点：服务器请求数目相同；缺点：服务器压力不一样，不适合服务器配置不同的情况；3.2 随机
2016-02-25 17:21:48
338
转载 大型网站架构系列：负载均衡详解（1）
面对大量用户访问、高并发请求，海量数据，可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器，采用高效率的编程语言比如(Go,Scala)等，当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据的问题。从单机网站到分布式网站，很重要的区别是业务拆分和分布式部署，将应用拆分后，部署到不同的机器上，实现大规模分布式系统。分布式和业务拆分
2016-02-25 17:20:52
424
转载 大型网站架构系列：电商网站架构案例(3)
本文章是电商网站架构案例的第三篇，主要介绍数据库集群，读写分离，分库分表，服务化，消息队列的使用，以及本电商案例的架构总结。6.5数据库集群（读写分离，分库分表）大型网站需要存储海量的数据，为达到海量数据存储，高可用，高性能一般采用冗余的方式进行系统设计。一般有两种方式读写分离和分库分表。读写分离：一般解决读比例远大于写比例的场景，可采用一主一备，一主多备或多主多备方式。
2016-02-25 17:18:30
828
转载 大型网站架构系列：电商网站架构案例(2)
电网网站架构案例系列的第二篇文章。主要讲解网站架构分析，网站架构优化，业务拆分，应用集群架构，多级缓存，分布式Session。五、网站架构分析根据以上预估，有几个问题：需要部署大量的服务器，高峰期计算，可能要部署30台Web服务器。并且这三十台服务器，只有秒杀，活动时才会用到，存在大量的浪费。所有的应用部署在同一台服务器，应用之间耦合严重。需要进行垂直切分和水平切分。大量应
2016-02-25 17:17:13
613
转载 大型网站架构系列：电商网站架构案例(1)
大型网站架构是一个系列文档，欢迎大家关注。本次分享主题：电商网站架构案例。从电商网站的需求，到单机架构，逐步演变为常用的，可供参考的分布式架构的原型。除具备功能需求外，还具备一定的高性能，高可用，可伸缩，可扩展等非功能质量需求（架构目标）。根据实际需要，进行改造，扩展，支持千万PV，是没问题的。本次分享大纲电商案例的原因电商网站需求网站初级架构系统容量估算网站架构分析网站架
2016-02-25 17:13:39
662
转载 大型网站架构系列：20本技术书籍推荐
学习是技术人员成长的基础，本次分享20本技术方面的书籍，这些书不是每一本都是经典，但是每一本都有其特点。以下20本大部分本人都看过，因此推荐给大家。（本次推荐的20本只是一个参考，比如像Head First，Java编程思想等经典书籍是大家都知道，因此不在推荐之列）本次分享大纲大型网站架构系列分布式系统系列BAT技术文学系列架构设计系列本次分享总结一、大型网站架构系列
2016-02-25 17:11:08
407
转载 CSS Modules 详解及 React 中实践
CSS 是前端领域中进化最慢的一块。由于 ES2015/2016 的快速普及和 Babel/Webpack 等工具的迅猛发展，CSS 被远远甩在了后面，逐渐成为大型项目工程化的痛点。也变成了前端走向彻底模块化前必须解决的难题。CSS 模块化的解决方案有很多，但主要有两类。一类是彻底抛弃 CSS，使用 JS 或 JSON 来写样式。Radium，jsxstyle，react-st
2016-02-03 14:04:21
743
转载 Java内存溢出的详细解决方案
一、内存溢出类型 1、java.lang.OutOfMemoryError: PermGen space JVM管理两种类型的内存，堆和非堆。堆是给开发人员用的上面说的就是，是在JVM启动时创建；非堆是留给JVM自己用的，用来存放类的信息的。它和堆不同，运行期内GC不会释放空间。如果web app用了大量的第三方jar或者应用有太多的class文件而恰好MaxPermSize设
2016-01-29 15:50:59
291
转载 透过浏览器看HTTP缓存
作为前端开发人员，对于我们的站点或应用的缓存机制我们能做的似乎不多，但这些却是与我们关注的性能息息相关的部分，站点没有做任何缓存机制，我们的页面可能会因为资源的下载和渲染变得很慢，但大家都知道去找前端去解决页面慢的问题而不会去找服务端的开发人员。因此，了解相关的缓存机制和充分的利用它似乎就变得必不可少。web端的缓存机制其实有多种，我在这里只是学习和整理了以浏览器为载体的HTT
2016-01-29 09:33:16
311
转载 浏览器、apache的连接超时详解
前言要理解浏览器和apache之间的连接超时问题，需要先明白http的keep-alive属性。先简单介绍keep-alive，您可以从网上查找更加详细的介绍。浏览器和apache都是基于http协议的。而http协议中的keep-alive属性通俗的解释就是浏览器和apache第一次建立TCP连接，传输完数据不会立刻断开这个TCP连接，而是继续等待下一个请求。保持一段时间（kee
2016-01-27 10:40:11
4941
转载 正则表达式基本语法
1.正则表达式基本语法两个特殊的符号'^'和'$'。他们的作用是分别指出一个字符串的开始和结束。例子如下："^The"：表示所有以"The"开始的字符串（"There"，"The cat"等）；"of despair$"：表示所以以"of despair"结尾的字符串；"^abc$"：表示开始和结尾都是"abc"的字符串——呵呵，只有"abc"自己了；"notice
2016-01-23 15:03:39
280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人