- 博客(51)
- 资源 (1)
- 收藏
- 关注
RSS订阅翻译 亿级大表在线不锁表变更字段
pt-online-schema-change是Percona-toolkit一员，通过改进原生ddl的方式，达到不锁表在线修改表结构的效果。在Percona的官网中，关于pt-osc工具，也特别提到了ALTER表不会出现锁表的特性。
2021-01-18 14:18:42
201
原创 mongodb 表结构导出，索引检查
1 表结构导出var tableNames = db.getCollectionNames();tableNames.forEach(function(item){var table = item ;if(table.indexOf("indexes" == -1)){ var context = db[table].findOne(); print(table + " *************************"); for(var key in c...
2020-08-07 17:56:10
1575
原创 java.io.IOException: invalid constant type: 15
eclipse 项目启动时出现一个异常：java.io.IOException: invalid constant type: 15dubbo 版本 2.8.3升级了javassist jar包版本为3.20.0-GA，重新编译，再次启动项目依然有错打包部署到linux，启动正常在eclipse查看javassist 3.15.jar 已经被排除，并且libraries也...
2020-04-30 15:05:38
311
原创 redis内存分析
生成内存快照dump.rdb 安装 redis-rdb-tools 使用redis-rdb-tools生成内存报告 将报告导入mysql，进行分析，或者使用excel、脚本统计 1、生成dump.rdb,使用redis客户端，执行bgsave命令，生成dump.rdb快照2、安装redis-rdb-tools 源码安装 git c...
2019-07-08 11:23:45
209
转载 Vmware Centos 与 windows 创建共享目录
第一步：Vmvare 设置，安装VM-Tool 工具 注意事项：在建立共享目录之前，虚拟机必须处于关机状态 步骤： VM ->setting -> option->shared folders->always enabled->add第二部：Centos 7 进入到该共享目录 用vmware-hgfs...
2018-12-06 15:21:42
376
原创 Redis使用总结
KEYS KEYS pattern查找所有符合给定模式pattern的key。KEYS*匹配数据库中所有key。KEYSh?llo匹配hello，hallo和hxllo等。KEYSh*llo匹配hllo和heeeeello等。KEYSh[ae]llo匹配hello和hallo，但不匹配hillo。特殊...
2018-12-04 09:15:31
207
原创 基于Spring可扩展Schema提供自定义配置支持
1 Authoring an XML schema to describe your custom element(s).2 Coding a custom NamespaceHandler implementation (this is an easy step, don’t worry).3 Coding one or more BeanDefinitionParser implement...
2018-07-20 16:08:00
154
转载 sshd 重启失败 permission denied
安 全增强型Linux(SELinux),在SELinux中没有root这个概念，安全策略是由管理员来定义的，任何软件都无法取代它,操作系统有两类访问控制：自主访问控制（DAC）和强制访问控制（MAC）。标准Linux安全是一种DAC，SELinux为Linux增加了一个灵活的和可配置的的MACcentos 6.3服务器重启后，sshd 竟然连接不上了，防火墙也没有限制，重启s
2018-05-11 14:15:05
5366
原创 mongoimport 从csv导入数据指定字段类型
参考： https://docs.mongodb.com/manual/reference/program/mongoimport/#example-csv-import-typesMongoDB 3.4 mongodimport 开始支持，如果使用老版本mongo也可以使用最新的mongodimport导入指定字段的类型，防止将数字型的字符串导入成数值类型mongoimport --db use...
2018-03-15 09:11:16
3930
原创 greenplum 分区表
range分区表、list分区表 只实践了range分区，list分区就不写了 1 创建表 CREATE TABLE test_partition_range ( "mount" float8, "endtime" float8, "starttime" float8 ) WITH (a...
2018-03-05 09:39:09
2041
原创 greenplum 大表频繁查询，插入，导致IO，CPU过高
错误What are " VM protect failed to allocate %8024 bytes from system, VM Protect 2012 MB 参考 https://discuss.pivotal.io/hc/en-us/articles/204997207 1 添加SWAPValidate the value of gp_vmem_protect_limit. gp...
2018-03-01 10:08:54
5808
原创 自己动手写shell脚本
在命令行状态下单纯执行 $ cd `dirname $0` 是毫无意义的。因为他返回当前路径的"."。这个命令写在脚本文件里才有作用，他返回这个脚本文件放置的目录，并可以根据这个目录来定位所要运行程序的相对位置（绝对位置除外）。在/home/admin/test/下新建admin.sh内容如下：cd `dirname $0`echo `pwd`然后返回到/home/
2016-12-08 15:24:57
1637
原创 OOM-killer
这两天测试环境的项目经常挂掉，此项目task是使用quartz定时调度spark做数据统计，使用top命令发现一旦触发spark，吃内存特别厉害，所以触发OOM-killer杀死task查看日志/var/log/messages发现" kernel: Out of memory: Kill process 17268 (java) score 296 or sacrifice child"
2016-12-07 10:43:13
305
原创 netty 排除父pom传递依赖
为了方便管理，让父项目的pom.xml，让子项目继承父项目的依赖但是有时会造成jar冲突，例如dubbo中引用低版本的Netty的jar，我的子项目使用了spark，spark使用到高版本的netty的jarparent-pom.xml（引用了dubbo中引用低版本的Netty的jar） sencond-parent-pom.xml
2016-12-05 14:33:41
9268
转载 Memory Analyzer 使用
转载地址http://wensong.iteye.com/blog/1986449MAT是一个eclipse的插件，上手起来比较快。它能够快速的分析dump文件，可以直观的看到各个对象在内存占用的量大小，以及类实例的数量，对象之间的引用关系，找出对象的GC Roots相关的信息，此外还能生成内存泄露报表，疑似泄露大对象的报表等等。安装MAT可以选择eclip
2016-11-30 15:37:14
1388
原创 Netty学习总结
java缺乏高性能、高负载的网络服务器LINUX网络I/O模型阻塞I/O模型非阻塞I/O模型I/O复用模型 (select/poll顺序扫描fd，进程受阻于select调用)信号驱动I/O模型(SIGIO信号)异步I/OJava NIO 核心类库多路复用器Selector就是基于epoll的多路复用技术实现select 最大的缺陷就是单个进程打开的FD有
2016-11-29 16:24:43
464
原创 mysql动态添加字段存储过程
USE `db`;DROP PROCEDURE IF EXISTS schema_change; DELIMITER //CREATE PROCEDURE schema_change() BEGIN DECLARE CurrentDatabase VARCHAR(100);SELECT DATABASE() INTO CurrentDatabase;IF NOT EXI
2016-11-25 09:33:55
2091
4
原创 spring data mongodb 提供的MongoTemplate 模板，进行Aggregation操作实践
使用spring data mongodb 提供的MongoTemplate 模板，进行Aggregation操作实践public class FlowSizeAggregateTest{public static void main(String[] args) throws Exception{ApplicationContext context = new C
2016-11-21 15:29:59
9771
1
原创 spark+mongodb + quartz
由于业务数据量大，使用普通查询统计已不能满足需求，所以使用spark+mongodb进行聚合统计，两种方案1使用quartz调度spark，定时进行业务数据统计2使用crontab调度spark，定时进行业务数据统计 为了便于管理最终使用方案1 quartz调度代码这里就不展示了，只写spark+mongodb调用1 引入maven依赖 o
2016-11-21 11:36:38
3860
4
原创 dubbo-monitor部署
简易控制中心monitor Simple Monitor挂掉不会影响到Consumer和Provider之间的调用，所以用于生产环境不会有风险。 配置好了之后可以结合admin管理后台使用，可以清晰的看到服务的访问记录、成功次数、失败次数等.....Simple Monitor采用磁盘存储统计信息，请注意安装机器的磁盘限制，如果要集群，建议用mount共
2016-11-21 10:28:24
604
原创 mongodb 执行脚本
执行脚本创建表,建立索引var mvnoCodeArray=new Array("12312323");var yearPreArray = new Array("2016_10","2016_11","2016_12","2017_1");createIndexes(mvnoCodeArray,yearPreArray);function createIn
2016-10-13 19:13:00
2583
原创 kettle实践
./kitchen.sh /norep /file /usr/local/job/ssh/spark.kjb ps -ef|grep kitchen.sh可用linux定时任务管理kettle的job//后台启动./kitchen.sh /norep /file /usr/local/job/ssh/spark.kjb & //集群windos做master
2016-08-17 16:28:44
2156
原创 linux私钥登录
机器A mkdir sshchmod 700 sshssh-keygen -t rsa/usr/local/job/ssh/id_rsachmod 600 id_rsa机器B将公钥scp到目标机器目标机mkdir sshcat id_rsa.pub >> ssh/authorized_keyschmod 700 ssh远程调用ssh
2016-08-05 16:28:06
491
原创 spark实践
1 遇到的坑1、maven 未引入hadoop-client,结果报错误，找不到 Could not locate executable null\bin\winutils.exe in the Hadoop binaries. org.apache.hadoophadoop-client1.2.1
2016-07-28 09:50:39
3759
原创 启动dubbo\shell脚本实践
#!/bin/bashcd `dirname $0`BIN_DIR=`pwd`cd ..DEPLOY_DIR=`pwd`CONF_DIR=$DEPLOY_DIR/confSERVER_NAME=`echo ${DEPLOY_DIR}`if [ -z "$SERVER_NAME" ]; then SERVER_NAME=`hostname`f
2016-07-25 18:00:55
3318
转载 常用的shell命令汇总，夯实Linux基础
转载地址 ： http://www.yunweipai.com/archives/8554.html一、硬件篇1、cpu相关lscpu #查看CPU的统计信息cat /proc/cpuinfo #查看CPU详细信息，如每个CPU的型号等2、内存相关free -m #概要查看内存情况，这里的
2016-07-25 11:53:30
268
转载 Hprof
转载地址：http://geek.csdn.net/news/detail/90509一、开发者的自测利器-Hprof命令1. 示例演示例子程序：/** * PROJECT_NAME: test * DATE: 16/7/22 * CREATE BY: chao.cheng **/public class HProfTest
2016-07-22 15:27:54
4032
原创 SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Class path contains multiple SLF4J bindings.今天在开发时遇到此错误，经过排查发现原来是 引用junit和spring test版本不匹配引起的解决方案：查看spring test 的pom文件，发现引用 junit junit 4.11 compil
2016-04-25 17:37:18
582
转载 spring 事务解惑
解惑 spring 嵌套事务 在所有使用 spring 的应用中, 声明式事务管理可能是使用率最高的功能了, 但是, 从我观察到的情况看, 绝大多数人并不能深刻理解事务声明中不同事务传播属性配置的的含义, 让我们来看一下 TransactionDefinition 接口中的定义 Java代码 收藏代码[java] view plain copy
2016-04-22 17:40:58
281
原创 Maven 使用总结
mvn install -Dmaven.test.skip=truemvn archetype:create ：创建 Maven 项目mvn compile ：编译源代码mvn test-compile ：编译测试代码mvn test ： 运行应用程序中的单元测试mvn site ： 生成项目相关信息的网站mvn clean ：清除目标目录中的生成结果mvn p
2016-04-21 19:20:19
228
转载 使用assembly将maven项目pom.xml中的jar包打包
方法一：将pom.xml引入的jar包打到zip文件夹中 1、pom.xml的配置1234567891011121314151617181920212223242
2016-04-21 19:07:58
685
转载 ORACLE数据库事务隔离
转载地址：http://www.jb51.net/article/30899.htm事务隔离级别：一个事务对数据库的修改与并行的另一个事务的隔离程度两个并发事务同时访问数据库表相同的行时，可能存在以下三个问题：1、幻想读：事务T1读取一条指定where条件的语句，返回结果集。此时事务T2插入一行新记录，恰好满足T1的where条件。然后T1使用相同的条件再次查询，结果集中可
2016-04-21 11:29:43
314
原创 mysql存储过程
dbForge Studio for MySQL 调试存储过程地址：http://www.liangchan.net/liangchan/4715.html遍历游标时注意游标中数据命名不能和自定义变量命名相同。
2016-04-20 15:17:56
303
转载 Java开发中的23种设计模式详解(转)
设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真
2016-04-16 11:36:16
324
转载 Spring 声明式事务使用
Especially when defining transactional proxies, you may end up with many similar proxy definitions. The use of parent and child bean definitions, along with inner bean definitions, can result in much
2016-04-15 14:22:43
263
转载 redis encache memcache 区别
ehcache直接在jvm虚拟机中缓存，速度快，效率高；但是缓存共享麻烦，集群分布式应用不方便。redis是通过socket访问到缓存服务，效率比ecache低，比数据库要快很多，处理集群和分布式缓存方便，有成熟的方案。如果是单个应用或者对缓存访问要求很高的应用，用ehcache。如果是大型系统，存在缓存共享、分布式部署、缓存内容很大的，建议用redis。ehcache也有
2016-04-15 09:50:25
765
转载 《编写高质量代码：改善Java程序的151个建议》
转载地址 http://blessht.iteye.com/blog/2088035警惕自增陷阱i++表示先赋值后自增，而++i表示先自增后赋值。下面的代码返回结果为0，因为lastAdd++有返回值，而返回值是自增前的值（在自增前变量的原始值会存在一个内存空间，当自增结束后就会将内存空间的值返回）。Java代码 public static vo
2016-03-29 17:56:01
419
转载 转 spring 常用工具类
文件资源操作：org.springframework.core.io.Resource接口，是为了统一各种类型的资源而定义的1.访问文件资源org.springframework.core.io.ClassPathResource 类路径进行访问org.springframework.core.io.FileSystemResource 文件系统的绝对路径进行访问
2016-03-26 15:25:08
264
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人