- 博客(67)
- 资源 (16)
- 收藏
- 关注
RSS订阅转载 LVS三种负载均衡方式（VS/NAT、VS/TUN、VS/DR）和 调度算法介绍
LVSLVS是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。一、LVS主要组成部分 负载调度器(load balancer/ Direc...
2019-07-10 11:41:56
537
转载 集群session共享方案
转博友的比较有用参考文章：使用Spring Session做分布式会话管理，分布式应用session会话管理-基于redis说在前面：由于这篇文章参考了别人的，自己也总结了，所以很不要脸的把这篇文章标为了原创(捂脸)。但是参考的文章都写在最上面了。在Web项目开发中，会话管理是一个很重要的部分，用于存储与用户相关的数据。通常是由符合session规范的容器来负责存储管理，也就是一旦容器关闭，重启会...
2018-04-01 10:24:50
305
原创 CSV数据导入mysql数据库
1. 一个CSV文件2.5G 用excel打开直接死机，通过UltraEdit可以加载到文件里面，但是无法保存和拷贝。2.将文件切分成几个文件，通过CVS拆分工具拆分（）3.通过mysql data load file 命令将文件导入到mysql里面，但是文件编码格式和数据库的编码格式需统一4.通过native 客户端导入
2017-03-03 12:01:22
494
转载 系统吞吐量、TPS（QPS）、用户并发量、性能测试概念和公式
一．系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间 QPS（TPS）：每秒钟request/事务 数量 并发数： 系统同时
2015-06-28 13:10:48
555
转载 linux yum 安装
今天工作中，用yum源安装包时无意遇到的。Loaded plugins: product-id, refresh-packagekit, security, subscription-managerUpdating certificate-based repositories.Unable to read consumer identityExisting lock
2014-04-01 15:11:20
476
转载 hadoop pig
本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。Ap
2014-03-28 16:31:12
766
原创 linux 常用命令集
1、查看端口占用情况的命令：lsof -i2、查看某一端口的占用情况： lsof -i:端口号3、service iptables stop (不推荐) 开放8080端口的解决步骤如下： 1、修改/etc/sysconfig/iptables 文件，增加如下一行： -A RH-Firewall-1-INPUT -m state --stat
2014-03-25 16:00:51
456
转载 做项目被log4j的输出格式化参数搞烦了，索性把API的相关部分大致翻译一下，原文参见 ----转载
http://logging.apache.org/log4j/docs/api/org/apache/log4j/PatternLayout.html 参数说明例子%c列出logger名字空间的全称，如果加上{}表示列出从最内层算起的指定层数的名字空间log4j配置文件参数举例输出显示媒介假设当前logger名字空间是
2014-03-25 15:55:35
532
转载 log4j日志输出性能优化-缓存、异步
1、log4j已成为大型系统必不可少的一部分，log4j可以很方便的帮助我们在程序的任何位置输出所要打印的信息，便于我们对系统在调试阶段和正式运行阶段对问题分析和定位。由于日志级别的不同，对系统的性能影响也是有很大的差距，日志级别越高，性能越高。 2、log4j主要分为error,warn,info,debug四个级别，也是使用最多的四种，日志级别从左至右依次增加。 3、l
2014-03-25 15:51:53
531
转载 hadoop 编译jar包和运行
hadoop 编辑通过编译jar包方法：1.建立存放编译java class类文件 mkdir wordcount_classes 2.使用javac 编译 mapreduce java类 javac -classpath /home/Andy/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d
2013-11-22 11:40:31
2664
1
转载 淘宝HBASE基础介绍
hbase介绍hbase 介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 Fi
2013-11-19 16:33:41
892
转载 不错的数据收集
目录[-]（一）hadoop 相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper（十一）NOSQL（十二）Hadoop 监控与管理（十三）Storm（十四）YARN & Hadoop 2.0附：
2013-11-19 14:07:56
4601
转载 WebRTC现状及实现概要
1 引言1.1 编写目的本文讲述浏览器引入 WebRTC（Web Real-Time Communication） 技术的必要性、WebRTC现状及实现方法。2011 年以前，浏览器之间要实现实时通信需要私有技术，这些技术大部分都是通过插件和客户端来安装使用。对于许多用户来说，插件的下载、安装和更新是一个复杂、繁琐和容易出错的操作。对于开发人员来说，插件的的调试、测试、部署
2013-08-21 09:43:55
662
转载 ETL 工具下载全集 包括 Informatica Datastage Cognos( 持续更新)
随笔- 109 文章- 3 评论- 606 Datastage 8.0BT种子下载：http://files.cnblogs.com/taven/Datastage_8.0.rar Informatica PowerCenter 8.6.0 for Win 32BitBT种子下载：http://files.cnblogs.
2013-08-20 10:49:12
806
转载 HBASE+HADOOP --2
hive-0.7.1hbase-0.90.3 hadoop-0.20.203.0 三个NODE在有了HBASE+HADOOP之后，数据的统计成了问题，MAP REDUCE是我们想用的功能，借助HIVE来连接HBASE一、准备 为了能使HIVE多用户操作，在NAMENODE上建立MYSQL，1、建立MYSQL DATA
2013-08-19 15:02:51
606
转载 linux 自动重启tomcat 脚本
Tomcat作为开源的服务器，性能与稳定性上比起一些商业服务器还是要差一些。将项目部署到Tomcat后隔段时间就会死掉，出现这种问题的主要原因可能是内存数据溢出,因为Tomcat容器在发生大量与数据库交互查询或者操作的时候很容易出现问题。定时重启是一个很好的补救措施，定时重启可以定时的清理内存也降低了Tomcat运行的风险，从而保持tomcat的最佳性能。 一、写一个shell脚本my
2013-08-02 11:37:49
786
转载 sqoop 安装
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20
2013-07-19 17:28:17
486
转载 hbase 与 hive配置
环境： Hadoop1.0.4， Hbase0.94.0, Zookeeper 3.4.3， 这三个组件已经在3台机器master, s1, s2上以集群方式安装并运行。1> 下载hive-0.9.0.tar.gz 并解压到/opt/hadoop/hive-0.9.02> cd /opt/hadoop/hive-0.9.0/lib， 删除已有的hbase-0.92.0.jar
2013-07-12 10:38:01
504
原创 hadoop+hbase+zookeeper启动步骤
1. hadoop 启动./start-all.sh或是hadoop namenode -format./start-dfs.sh./start-yarn.sh jps 查看启动情况2.zookeeper启动./zkServer.sh start3.hbase 启动./start-hbase.sh
2013-07-11 16:57:51
699
转载 CentOS 6.4 安装OpenSSH Server服务(SSH远程)
作者：飘云 发布于：2013-3-14 11:48 Thursday 分类：系统相关安装好了CentOS 6.4，我想让它作为一个服务器，可以让我的Windows 7电脑远程登录。 安装OpenSSH Server首先，我们搜索一下CentOS的软件库里面有没有已经定义好的SSH服务器包：1$ yum search s
2013-07-10 11:37:04
2039
转载 HBASE 表结构设计
1，对于HBase的存储设计，要考虑它的存储结构是：rowkey+columnFamily:columnQualifier+timestamp(version)+value = KeyValue in HBase，一个KeyValue依次按照rowkey，columnkey和timestamp有序。一个rowkey加一个column信息定位了hbase表的一个逻辑的行结构。2，从逻辑存储结
2013-06-27 09:56:32
2574
1
转载 pig 调试
. Pig简介 pig是hadoop项目的一个拓展项目， 用以简化hadoop编程（简化的程度超乎想象啊），并且提供一个更高层次抽象的数据处理能力，同时能够保持hadoop的简单和可靠性。. 安装pig 2.1 下载pig：http://apache.etoak.com/pig/pig-0.11.1/pig安装包2.2 解压下载完成的pig安装包： roo
2013-06-20 15:59:13
1790
转载 pig 部署
Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位JDK version："1.6.0_25-ea"Hadoop software version：hadoop-0.20.205.0.tar.gzHbase version：hbase-0.90.5Pig version：pig-0.9.2.tar.gz http://mi
2013-06-19 22:48:16
872
转载 hadoop 版本问题
最近在研究hadoop時，發現hadoop的版本很混亂。原來的版本都說0.X.X開始，後來發現有1.X.X和2.X.X 這样就不太清楚了。0.20.2版本以前（不含該版本）的配置文件都在default.xml中。0.20.x以後的版本不含有eclipse插件的jar包，由於eclipse的版本不一，所以就需要自己編譯源碼生成對應的插件。0.20.2——0.22.x版本的配置
2013-06-19 14:33:02
496
原创 hive基础学习文档和入门教程
原文：HIVE学习笔记原文地址：HTTP://BLOG.CSDN.NET/HAOJUN186/ARTICLE/DETAILS/7977565目录(?)[-]HIVE结构HIVE架构Hive和Hadoop 关系Hive和普通关系数据库的异同HIVE元数据库DERBYMysqlHIVE的数据存储其它HIVE
2013-06-13 16:21:30
1696
转载 Hadoop MapReduce技巧
MAR 19TH, 2013 | COMMENTS我在使用Hadoop编写MapReduce程序时，遇到了一些问题，通过在Google上查询资料，并结合自己对Hadoop的理解，逐一解决了这些问题。自定义WritableHadoop对MapReduce中Key与Value的类型是有要求的，简单说来，这些类型必须支持Hadoop的序列化。为了提高序列化的性能，Hadoop
2013-06-11 15:46:18
580
转载 hadoop 大数据开发5 --伪分布式hbase配置异常
异常1：2011-08-03 17:52:26,244 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 9800, call getListing(/home/fish/tmp20/mapred/system) from 192.168.2.101:2936: error: org.apache.hadoop.security.
2013-06-05 17:13:04
1100
转载 hbase shell基础和常用命令详解
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库
2013-06-04 17:50:15
524
转载 hadoop 大数据开发4---hadoop 配置文件(转载)
1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到
2013-05-31 14:33:21
1317
转载 hadoop 大数据开发3---HBase 安装步骤
HBase 安装步骤 1.配置 hbase 的环境变量 在/root/hbase/conf 目录下的 hbase-env.sh 中添加 Hbase 需要的环境变量。如下： 下面第四行注意这个值为 false 时，表示启动的是独立的 zookeeper。而配置成 true 则是 hbase自带的 zookeeper。 export JAVA_HOME=/
2013-05-31 13:49:50
648
转载 hadoop 大数据开发2---Zookeeper 安装步骤
Zookeeper安装步骤zookeeper安装和使用zookeeper的安装基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html这个页面上的步骤完成安装，这里主要介绍下部署一个集群的步骤，因为这个官方页面似乎讲得并不是非常详细(Running ReplicatedZookeeper)
2013-05-31 13:46:30
617
原创 hadoop 大数据开发1---配置hadoop分布式
1. 增加用户adduser hadoop 单独的用户来管理hadoop，增加了hadoop用户 2. /etc/hosts修改要把集群里的机器hostname和ip要加入到/etc/hosts中如 127.0.0.1 localhost.localdomain localhost192.168.80.129 hadoop11
2013-05-31 13:42:06
979
转载 解决Linux下大量FIN_WAIT2 &TIME_WAIT 处理办法
解决Linux下大量FIN_WAIT2 &TIME_WAIT 处理办法 Hi everyone,like the topic says, my server has tons of connections in FIN_WAIT2 and TIME_WAIT status and I have no idea whats causing it It's
2013-05-23 11:18:43
3661
原创 mysql 性能1
1. 单数据库连接瓶颈，可以看到很多连接都sleepmysql> show processlist;+-----+-------------+--------------------+-------+---------+-------+----------------------------------+----------| Id | User | Host
2013-05-21 15:04:58
413
转载 Linux下提供top、ps命令查看当前cpu、mem使用情况
Linux下提供top、ps命令查看当前cpu、mem使用情况，简要介绍如下：一、使用ps查看进程的资源占用ps -aux查看进程信息时，第三列就是CPU占用。[root@localhost utx86]# ps -aux | grep my_processWarning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/
2013-03-22 14:03:06
1895
1
转载 转
语法：jstat [generalOption | outputOptions vmid [interval[s|ms] [count]]]选项：1.generalOption-help 帮助-options 打印选项2.outputOptions输出选项-h n 每n个样本，显示header一次-t n 在第一列显示时间戳列，时间戳时从jvm启动开始计
2013-03-22 14:01:55
408
Implementing Cloud Design Patterns for AWS.pdf
2019-06-25
MySQL-python-1.2.3c1.win-amd64-py2.6.exe
2019-05-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人