- 博客(37)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Spark安装
Spark安装进入官方下载地址下载最新版 Spark。我下载的是 spark-1.3.0-bin-hadoop2.4.tgz。在~/workspace目录下解压tar -zxvf spark-1.3.0-bin-hadoop2.4.tgzmv spark-1.3.0-bin-hadoop2.4 spark-1.3.0 #原来的文件名太长了，修改下
2016-03-29 16:31:38
433
转载 socket.io分布式
socket.io是目前较为流行的web实时推送框架，其基于nodejs语言开发，底层用engine.io实现。 借助nodejs语言异步的特性，其获得了不错的性能。但单个实例的socket.io依然承载能力有限，最多只能容纳3000个long-polling方式的客户端进行连接。 将socket.io进行分布式扩展的难点有两处：1. 进行负载均衡时客户端必须保证始终连到一个节点上 如果客户端采用
2016-03-10 16:41:54
8028
转载 jstack,jmap,jstat
JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。 现实企业级Java开发中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足
2016-01-14 10:56:13
848
转载 mongodb索引
一、索引基础： MongoDB的索引几乎与传统的关系型数据库一模一样，这其中也包括一些基本的优化技巧。下面是创建索引的命令： > db.test.ensureIndex({"username":1}) 可以通过下面的名称查看索引是否已经成功建立： > db.test.getIndexes() 删除索引的命令是： > db.test.dro
2016-01-12 16:59:25
330
转载 mongoDB shardKey
译注：本文探讨了如何合理设置MongoDB片键以发挥分片机制的优势，作者为Bugsnag.com的工程师Conrad Irwin。Bugsnag为移动应用开发者提供实时的Bug追踪及检测服务，Bugsnag使用MongoDB存储超过TB级的文档数据。转载请注明来自kevinsj.com原文链接简而言之，使用 {_id: 'hashed'} 或 {projectId: 1, _id: 1
2016-01-12 14:23:39
2330
转载 MongoDB管理命令
MongoDB是一个NoSQL数据库系统：一个数据库可以包含多个集合（Collection），每个集合对应于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定义的，非常灵活，由一组列标识的实体的集合对应于关系数据库表中的行。下面通过熟悉MongoDB的基本管理命令，来了解MongoDB提供的DBMS的基本功能和行为。MongoDB命令帮助系统在安装Mo
2016-01-05 14:17:24
380
原创 jenkins自动化部署脚本
#!/bin/bashkinit [email protected] -k -t $JENKINS_HOME/longke.keytabscp admin/target/ssv-admin.war [email protected]:/data/reposscp api/target/ssv-api.war [email protected]:/data/reposssh ke.lon
2015-07-01 09:20:36
1471
2
转载 ngnix+tomcat实现session共享
最近访客kuang..fungexbzy77piaop..lzy82..eight..sens_..雪见烟寒apig0120taojinqua1450..jsmxf最新评论 457359752：成功了，多谢！！！！！！！！！！qingsto：不错的ke
2015-01-29 00:24:49
632
原创 Flume多个agent到colletor
1、collector配置#agent1表示代理名称a1.sources=source1a1.sinks=sink1a1.channels=c1#配置source1a1.sources.source1.type = avroa1.sources.source1.channels = c1a1.sources.source1.bind = 172.26.50.2
2015-01-13 15:11:17
3068
转载 flume-ng 多节点集群示例
假设：现有两台机子，命名为：agent，collect。agent IP地址为：192.168.150.137，collect为192.168.150.135要求：实现agent到collect的连接，并能向collect发送日志。步骤：两台电脑上分别装上 jdk,flume-ng（不是flume-og），配置好profile。agent的处理 (1
2015-01-12 16:31:37
2797
转载 maven可执行jar包插件
maven有两种生成可执行jar包的插件，能够自动加载依赖包。分别为 maven-assembly-plugin 和appassembler-maven-plugin， appassembler-maven-plugin 的优势是能够自动生成window和linux的启动脚本， maven-assembly-plugin 生成jar包后需要执行 java -jar **.jar命令运行jar包
2014-12-26 18:01:11
481
转载 搭建高可用的MongoDB集群
搭建高可用的MongoDB集群[日期：2014-04-25]来源：CSDN 作者：严澜[字体：大 中 小] MongoDB公司原名10gen，创立于2007年，在2013年收到一笔2.31亿美元的融资后，公司市值评估已增至10亿美元级别，这个高度是知名开源公司Red Hat(创建于1993年)20年的奋斗成果。 高性能、易扩展一直是Mong
2014-12-22 15:27:33
696
转载 redis HA高可用方案Sentinel和shard
1、搭建redis-master、redis-slave以及seninel哨兵监控在最小配置：master、slave各一个节点的情况下，不管是master还是slave down掉一个，“完整的”读/写功能都将受影响，这在生产环境中显然不能接受。幸好redis提供了sentinel（哨兵）机制，通过sentinel模式启动redis后，自动监控master/slave的运行状态，基本
2014-12-10 15:07:22
10154
原创 mysql主从复制和读写分离
一、主从复制1、本机安装mysqlscripts/mysql_install_db --user=mysql --basedir=/data/study/mysql/mysql1 --datadir=/data/study/mysql/mysql1/data 2、配置my.cnfbasedir = /data/study/mysql/mysql1datadir =
2014-12-08 14:50:52
597
转载 JVM整理
串行垃圾回收-XX:+UseSerialGC并行垃圾回收-XX:+UseParallelGC 年轻代并行-XX:+UseParallelOldGC 年老代并行-XX:ParallelGCThreads 垃圾回收线程数并发垃圾回收-XX:+UseConcMarkSweepGC-XX:CMSIn
2014-11-19 11:35:15
386
转载 ab压力测试.
ab是apache自带的一款压力测试工具，会安装在/usr/bin目录下，一般安装完apache后就有了。1、ab使用命令：ab -c 20 -n 1000 http://it.yooxue.com/-c：并发数-n：总请求数 2、ab压力测试完成后的结果分析 3、在测试过程中会出现以下这些错误1）ab并发数不能大于请求数，会提示ab: Cann
2014-11-18 17:16:30
1035
转载 tomcat调优
1、参数介绍属性名 描述 maxThreadsTomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。 acceptCount 指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理。
2014-11-18 15:39:56
573
转载 ReflectASM
ReflectASM 是一个非常小的 Java 类库，通过代码生成来提供高性能的反射处理，自动为 get/set 字段提供访问类，访问类使用字节码操作而不是 Java 的反射技术，因此非常快。
2014-11-10 13:32:46
525
转载 Tomcat的内存溢出(PermGen space)
java.lang.OutofMemoryError: PermGen space.上网查了查，都说是因为“永久保存区域溢出”。PermGen space全称是Permanent Generation Space。这一部分用于存放class和meta信息，class在被load的时候被加入到这一区域。PermGen space默认大小只有4M， 而Garbage Collection不会在主程
2014-11-07 09:42:51
543
转载 ubuntu设置系统时间与网络时间同步
Linux默认情况下使用UTC格式作为标准时间格式，如果在Linux下运行程序，且在程 序中指定了与系统不一样的时区的时候，可能会造成时间错误。如果是Ubuntu的桌面版，则可以直接在图形模式下修改时区信息，但如果是在Server版 呢，则需要通过tzconfig来修改时区信息了。使用方式(如将时区设置成Asia/Chongqing)： sudo tzconfig，如果命令不存在请
2014-10-16 16:15:49
23496
1
转载 ElasticSearch入门
1. 数据库的 database, 就是 index2. 数据库的 table, 就是 tag3. 不要使用browser， 使用curl来进行客户端操作. 否则会出现 java heap ooxx...curl: -X 后面跟 RESTful ： GET, POST ...-d 后面跟数据。 (d = data to send)1. create:
2014-09-02 18:04:41
819
转载 hadoop pig
1.1 编写目的介绍pig，一个不得不说的hadoop的扩展。1.2 什么是pigPig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。1.3 pig的特点1、专注于于大量数据集分析
2014-08-18 15:52:04
1044
转载 MySQL分库分表环境下全局ID生成方案
摘要： 介绍来自flicker和twitter的两种解决分布式环境下全局ID生成方案。目录：1. 数据库自增ID——来自Flicker的解决方案2. 独立的应用程序——来自Twitter的解决方案在大型互联网应用中，随着用户数的增加，为了提高应用的性能，我们经常需要对数据库进行分库分表操作。在单表时代，我们可以完全依赖于数据库的自增ID来唯一标识一个用户或数据对象。但是当我们对数据
2014-08-14 13:52:12
740
原创 zookeeper
概览：http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
2014-08-01 17:54:50
356
原创 hbase配置
2.2.1 修改启动文件hbase-env.shexport JAVA_HOME=/usr/local/java/jdk1.7export HBASE_CLASSPATH=/usr/local/java/hadoop-2.4.0/etc/hadoop
2014-08-01 10:00:05
418
原创 hbase异常记录
1、启动hbaseSTARTUP_MSG: host = java.net.UnknownHostException: ubuntu1: ubunt
2014-08-01 09:40:47
413
转载 <转>hbase基本概念和hbase shell
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数据。表有
2014-07-31 15:10:49
404
转载 (转)hive sql 学习笔记
一、 创建表 在官方的wiki里，example是这样的：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col
2014-07-31 09:13:31
433
转载 hive安装及使用
Hive是Hadoop一个程序接口，Hive让数据分析人员快速上手，Hive使用了类SQL的语法，Hive让JAVA的世界变得简单而轻巧，Hive让Hadoop普及到了程序员以外的人。从Hive开始，让分析师们也能玩转大数据。
2014-07-30 21:25:04
947
转载 linux 常用命令记录
chmod命令有两种格式：符号格式和绝对格式符号格式为: chmod who operator permission filename who字段要使用字符，可以使用字符有： a 所有用户，三个不同级别的权限都可以进行修改 u 系主， 改变系主的权限 g 组，改变同组的权限
2014-07-30 10:18:03
352
转载 hadoop FS 命令（转）
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对HDFS文件系统，scheme是hdfs ，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
2014-07-30 10:09:05
376
原创 rest风格webservice相关记录
Apache CXF 是一个开放源代码框架，提供了用于方便地构建和开发 Web 服务的可靠基础架构。它允许创建高性能和可扩展的服务，您可以将这样的服务部署在 Tomcat 和基于 Spring 的轻量级容器中，以及部署在更高级的服务器上，例如 Jboss、IBM® WebSphere® 或 BEA WebLogic。
2014-07-27 12:30:20
842
转载 ERROR NO.1045
SQLyog连不上MySQL,ERROR NO.1045解决 解决办法： 1、停止服务 2、修改my.ini,找到【mysqld】，在其下加上一行 skip-grant-tables 3、启动mysql服务。 暂时不知道什么原因导致突然不能连接mysql，因为前天还可以用root登录的，在网上找到这个解决办法，以后慢慢研究。
2013-10-17 09:29:13
1329
jsp高级编程
2007-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人