自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(175)
  • 资源 (3)
  • 收藏
  • 关注

原创 收集好的技术与学习网站

技术网址

2016-04-22 10:04:52 489

转载 web服务器、Apache 和 tomcat 关系的理解

以一次JSP请求响应为例,讲解服务器,Apache、Tomcat之间的关系。带着这样一个概念去看:Apache与Apache Tomcat(简称Tomcat)都是可以独立运行的服务器。你平时见到的apache-tomcat-7.0.72实际上只是Tomcat服务器。此处整合了Apache和Apache Tomcat。Apache用来处理静态资源,减少Tomcat的服务开销。先来个热身一个...

2018-10-30 15:52:33 1235

原创 开发软件费用为什么这么贵?

开发软件的费用跟软件用途息息相关。单独就开发软件这个动作,成本就是研发人力成本和硬件成本,但软件开发并非一个开发动作那么简单。一旦软件需要公开让更多人使用,就不得不考虑到更多实际问题:下面具体对比下三者之间的差异: 1)当独立程序员根据自己想法研发一个软件:这类软件中,除非极少数具备商业眼光的程序员研发的软件,一般很难公开让更多人使用。 2)如企业选择自主开发软...

2018-08-20 14:15:52 9255

转载 所谓的架构

所谓的架构,是指构成一个系统的主要元素及它们之间的主要关联,这些元素和关联能够反映该系统的本质特征。从抽象的系统层面来看,软件架构、系统架构、解决方案架构和企业架构,本质上是一致的,区别在于关注的主体不同。软件架构,即为构成一套软件的主要脉络,至少包括两个不同的子架构:横向的业务功能架构和纵向的技术架构,业务功能架构是从软件使用的角度进行定义,比如其功能分解结构;技术架构则是从软件的实现上

2018-01-25 12:24:58 770

原创 centos 空闲一段时间后自动断网

用客户端工具,例如securecrt连接linux服务器,有的会出现过一段时间没有任何操作,客户端与服务器就断开了连接。造成这个的原因,主要是因为客户端与服务器之间存在路由器,防火墙以及为了本身的安全性,在超过特定的时间后就会把空闲连接断开。或者是服务器端设置了断开空闲连接。那么解决的方法有两种,一是从服务器着手,一是在客户端工具上下手。服务器端修改/etc/ssh/sshd_co

2017-03-08 23:22:34 14556 3

原创 zookeeper leader选举机制

转载最近看了下zookeeper的源码,先整理下leader选举机制先看几个关键数据结构和函数服务可能处于的状态,从名字应该很好理解public enum ServerState {  LOOKING, FOLLOWING, LEADING, OBSERVING;} 选票参数,还有Notification,参数也都差不多  stat

2017-03-07 22:04:28 497

转载 Protostuff序列化和反序列化

Java序列化和反序列化序列化和反序列化是在应对网络编程最常遇到的问题之一。序列化就是将Java Object转成byte[];反序列化就是将byte[]转成Java Object。这里不介绍JDK serializable的序列化方式,而是介绍一个更高效的序列化库-protostuff。Protostuff简介Protostuff的项目主页:http:

2017-03-03 15:06:17 2980

原创 怎么理解并发多进程服务和多线程服务器

1,进程:子进程是父进程的复制品。子进程获得父进程数据空间、堆和栈的复制品。 2,线程:相对与进程而言,线程是一个更加接近与执行体的概念,它可以与同进程的其他线程共享数据,但拥有自己的栈空间,拥有独立的执行序列。 两者都可以提高程序的并发度,提高程序运行效率和响应时间。 线程和进程在使用上各有优缺点:线程执行开销小,但不利于资源管理和保护;而进程正相反。同时,线程适合于在SMP机器上运行,而进程则

2017-02-24 11:08:20 898

转载 用户画像数据建模方法(转)

从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚焦于如何利用大数据挖掘潜在的商业价值,如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新,个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮

2017-02-14 15:19:30 617

转载 大数据处理分析的六大最好工具

我们的数据来自各个方面,在面对庞大而复杂的大数据,选择一个合适的处理工具显得很有必要,工欲善其事,必须利其器,一个好的工具不仅可以使我们的工作事半功倍,也可以让我们在竞争日益激烈的云计算时代,挖掘大数据价值,及时调整战略方向。本文转载自中国大数据网。大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数

2017-02-14 09:50:42 10279

转载 数据结构的分类

结构化数据就像上面举的例子。这种类别的数据最好处理,只要简单的建立一个对应的表就可以了。非结构化数据像图片、声音、视频等等。这类信息我们通常无法直接知道他的内容,数据库也只能将它保存在一个BLOB字段中,对以后检索非常麻烦。一般的做法是,建立一个包含三个字段的表(编号 number、内容描述 varchar(1024)、内容 blob)。引用通过编号,检

2017-02-14 09:38:43 663

转载 关系型数据库与NOSQL

关系型数据库把所有的数据都通过行和列的二元表现形式表示出来。 关系型数据库的优势:1. 保持数据的一致性(事务处理)2.由于以标准化为前提,数据更新的开销很小(相同的字段基本上都只有一处)3. 可以进行Join等复杂查询其中能够保持数据的一致性是关系型数据库的最大优势。 关系型数据库的不足:不擅长的处理1. 大量数据的

2017-02-13 17:40:11 416

转载 如何进行大数据分析及处理?

大数据的分析从所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于如此的认识,大数据分析普遍存在的方法

2017-02-13 17:27:06 903

转载 开源大数据处理工具汇总(下)

第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统一、Facebook Scribe贡献者:Facebook简介:Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中

2017-02-13 16:37:53 489

转载 开源大数据处理工具汇总(上)

查询引擎一、Phoenix贡献者::Salesforce简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HB

2017-02-13 16:36:30 929

转载 推荐大数据分析的八大工具

去年,IBM宣布以17亿美元收购数据分析公司Netezza;EMC继收购数据仓库软件厂商Greenplum后再次收购集群NAS厂商Isilon;Teradata收购了Aster Data 公司;随后,惠普收购实时分析平台Vertica等,这些收购事件指向的是同一个目标市场——大数据。是的,大数据时代已经来临,大家都在摩拳擦掌,抢占市场先机。而在这里面,最耀眼的明星是hadoop,Hadoo

2017-02-13 16:25:34 6701

转载 程序员想玩转大数据:需要知晓的12种工具

摘要:无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具,这绝对是一个好东西。GigaOm的记者Derrick Harris列举了十二种大数据工具。可谓各有千秋,不过适合自己的才是最好的。无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个

2017-02-13 16:09:22 521

转载 大数据分析到底需要多少种工具?

摘要JMLR杂志上最近有一篇论文,作者比较了179种不同的分类学习方法(分类学习算法)在121个数据集上的性能,发现Random Forest(随机森林)和SVM(支持向量机)分类准确率最高,在大多数情况下超过其他方法。本文针对“大数据分析到底需要多少种工具?”这一问题展开讨论,总结机器学习领域多年来积累的经验规律,继而导出大数据分析应该采取的策略。1.分类方法大比武大

2017-02-13 11:53:49 1190 1

转载 VNC使用

1.每次服务器关闭后,都要重新kill,重新申请vnc端口号。否则出现“authentication failure” #vncpassword  修改密码#vncserver -geometry 1280x1024(不能是*,用小写x(字母)) 设置vnc server分辨率#vncserver -alwaysshared  设置vnc的同一个显示窗口可以连接

2016-12-12 12:25:56 3957

原创 Hadoop 3.0.0-α1:common:overview

Apache Hadoop 3.0.0-alpha1包含很多重要的改进在hadoop2.x的基础上。这个是一个alpha 版,通过开发者和使用者帮助测试和搜集反馈。API的稳定性和质量还不能保证。概述提倡阅读全部发布说明,这里对更改内容做一个概述。1.Java最低版本要求从Java7更改为Java8所有的Hadoop JARs针对运行时版本的Java 8被编译。

2016-12-04 21:22:17 367

原创 adobe flash player 已过期

最近总是提示 adobe flash player 已过期的问题,从网上也找了很多办法都没有解决。下面是经亲自测试,完美解决adobe flash player插件过期遇到阻止的问题的办法:在百度搜索 " adobe flash player ppapi ",去官方网站下载完成安装。http://labs.adobe.com/downloads/flashplayer.ht

2016-11-14 12:11:05 958

原创 HBase详解一

HBase详解一

2016-11-04 19:53:05 344

原创 HDFS详解一

HDFS详解

2016-11-04 19:52:30 363

原创 yarn详解一

yarn详解

2016-11-04 19:49:17 218

原创 kafka详解一

kafka

2016-10-28 14:09:10 272

原创 Storm详解一

Storm详解

2016-10-28 11:42:09 291

原创 Spark详解一

Spark详解

2016-10-28 11:41:21 262

原创 hadoop详解一

hadoop详解

2016-10-28 11:40:48 279

原创 zoomkeeper / Yarn

zookeeperyarn

2016-10-28 11:31:54 1322

原创 数据仓库与数据库

数据库和数据仓库都是用来存储数据的,只不过存的形式不同;数据库是按照应用给的数据形式存储,可以增删改查;数据仓库是面向主题的、集成的、与时间相关且不可修改的数据集合。“面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的。这一点,类似于传统农贸市场与超市的区别—市场里面,白菜、萝卜、香菜会在一个摊位

2016-10-26 11:47:56 425

原创 浅析 MapReduce/ Spark/ Spark Steaming/ Storm 与 HBase/HDFS

mapreduce 是大的批量操作,不要求时限。基于文件系统,hdfs。spark 是快速的批量操作,基于内存,所以速度快。其主要亮点在于把过程给数据。storm是流式处理,快速实时。storm技术架构:Flume  +  kafka  +  Storm / Spark + Hbase / Redis的技术架构。storm:: 把topology有向

2016-10-25 18:58:19 4751 1

转载 技术成长四个阶段需要的架构知识

今天的下午茶活动,与很多技术圈的老朋友详谈甚欢,听到了几位老朋友的分享颇为受益,我也给小伙伴分享我的一点心得。技术成长需要什么架构知识?初入工程师这行时我有一个梦想,希望具备强大技术架构能力,让服务于亿级用户的产品稳定运行于其上,今天我看到身边很多架构师都走到这一步。但对于当年刚入行的我来讲,要达到这一点还只是个梦想,因为那时我并不知道应该怎样构建这样的架构,甚至连需要学习

2016-07-05 10:55:17 2199

转载 Linux errno 错误对照表

errno 在 中定义,错误 Exx 的宏定义在 /usr/include/asm-generic 文件夹下面的  errno-base.h 和 errno.h,分别定义了 1-34 、35-132 的错误定义。strerror() 函数依据 errno 值返回错误描述字符串,下面程序打印对照表:[cpp] view plain copy

2016-06-30 10:24:48 2368

原创 菜鸟教程Python100例-笔记

练习实例74-元组强制转为list列表练习实例76-函数名做参数传递#!/usr/bin/python#print("Hello, World!");a=123b=456stra="abc"strb="def"strc=(a,b,'c')strd=('d','e','f')stre=['abc','def','ghi']strf=['gkl','mno','p

2016-06-24 15:55:45 9175

转载 Python 3 中print 函数

print("fish", "panda", sep=';')print("%s,%s,%s" % ("abdc","efg","hik"))a="abdc"b="ewfo"print("fish","%s" % a)结果如下:fish;pandaabdc,efg,hikfish abdc这个print函数中的sep是分隔符。Python 思想:

2016-06-24 15:22:04 694

转载 Python中集合(set)类型

python的set和其他语言类似, 是一个无序不重复元素集, 基本功能包括关系测试和消除重复元素. 集合对象还支持union(联合), intersection(交), difference(差)和sysmmetric difference(对称差集)等数学运算.sets 支持 x in set, len(set),和 for x in set。作为一个无序的集合,sets不记录元素位置或者

2016-06-24 15:11:47 425

转载 Tkinter中的mainloop应该如何理解?

很简单。你把鼠标一个按上会变成手型。或者你在知乎回答问题的文本框里输入文字。甚至你看到的电脑屏幕内容。看上去是动态的。其实和动画电影原理差不多。现在你鼠标的移动,键盘的按键。都是实实在在输入。这里我们叫做事件。譬如有鼠标移动事件,单击事件,F5按下的事件。以回答问题 按钮左侧的匿名勾选框为例。你单击一次,就绿色小勾表示选中。再单击就去掉了小勾。现在你这样想。实际上有两幅图(有勾和无勾的)。

2016-06-23 16:54:01 72823 18

转载 canvas 详细使用教程

原文地址:http://www.cnblogs.com/tim-li/archive/2012/08/06/2580252.html原作很强悍导航前言基本知识绘制矩形清除矩形区域圆弧路径绘制线段绘制贝塞尔曲线线性渐变径向渐变(发散)图形变形(平移、旋转、缩放)矩阵变换(图形变形的机制)图形组合给图形绘制阴影绘制图像(图片平铺、裁剪、像素处理[不只图像、包

2016-06-23 16:40:48 5254

原创 Python中的按位运算符

按位运算符是把数字看作二进制来进行计算的。Python中的按位运算法则如下:按位与   ( bitwise and of x and y )  &  举例: 5&3 = 1  解释: 101  11 相同位仅为个位1 ,故结果为 1按位或   ( bitwise or of x and y )  |  举例: 5|3 = 7  解释: 101  11 出现1的位是

2016-06-23 16:06:47 20007 1

原创 python print函数

#!/usr/bin/pythonprint("Hello, World!")a="xiaohua"b=["dengdeng","dengchao"]print('hello:%s world: %s' %(a,b))#print(b)y = 200 * 200x = 10 * 3.25repr((x, y, ('Google', 'Runoob')))s=repr((x, y,

2016-06-23 10:59:15 317

VS2010 C++开发指导教程

2016-05-04

晓媛的鱼,人工鱼,论文+动画

晓媛的鱼,人工鱼,论文+动画人;晓媛的鱼,人工鱼,论文+动画;晓媛的鱼,人工鱼,论文+动画

2012-03-15

java题库系统

java题库系统。有代码,完整,调试过得可运行代码。也可以作为毕业用

2011-09-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除