- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 关于MySQL数据导出导入方法
关于MySQL数据导出导入方法工具mysql mysqldump应用举例导出 导出全库备份到本地的目录 mysqldump -uUSER−pUSER -pPASSWD -h127.0.0.1 -P3306 –routines –default-character-set=utf8 –lock-all-tables –add-drop-database -A > db.all.sql导出指定库到
2016-03-15 09:24:38
437
转载 MySQL数据导出导入的方法
工具mysqlmysqldump应用举例导出导出全库备份到本地的目录mysqldump -u$USER -p$PASSWD -h127.0.0.1 -P3306 --routines --default-character-set=utf8 --lock-all-tables --add-drop-database -A > db.all.sql
2016-03-15 09:24:24
601
原创 java操作Hbase--增删查
先了解下Hbase的一些术语：RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加Version Number：类型为Long，默认
2015-12-17 16:27:46
500
原创 BasicDataSource\DruidDataSource连接池使用
最近使用这类连接池发现有问题，当链接一个数据库如果数据库端异常或重启，就会出现提示链接数据库异常的信息。貌似是这个连接池一直是拿着原来的链接去访问数据库的。 name="driverClassName" value="XXXXXX" /> 这就是我之前的一些配置，简单配置以上属性，就可以访问数
2015-11-27 14:18:18
5233
原创 java对elasticsearch操作
一般情况，java要想操作一个东东，肯定是要建立个实例，然后调用他的API进行，操作。对于elasticsearch（ES）来说，同样的，下面来记录下过程：ES是通过一个叫做客户端Client的东西，来操作APi的1、那么首先就是要建立客户端 //设置es节点的属性 Settings settings = ImmutableSettings.settingsBuilder()
2015-11-17 18:34:45
653
转载 ThreadPoolExecutor实现原理
ThreadPoolExecutor实现原理 线程池还具有提高系统性能的优点，因为创建线程和清除线程的开销比较大。 有两种不同类型的线程池：一是固定线程数量的线程池；二是可变数量的线程池。 对于固定数量的线程池，可以使用Executors的静态方法 newFixedThreadPool 来创建 ExecutorService；或者利用 newSingleT
2015-11-16 16:09:19
543
转载 Tomcat启动报Error listenerStart错误
Tomcat启动报Error listenerStart错误今天启动Tomcat启动不了，报以下错： org.apache.catalina.core.StandardContext startInternal SEVERE: Error listenerStart org.apache.catalina.core.StandardContext start
2015-11-03 12:36:41
461
原创 Spark学习笔记之-Spark 命令及程序入口
Spark有几种不同的提交任务的脚本，可参考以下这个文章，写的简洁明了http://blog.csdn.net/lovehuangjiaju/article/details/48768371实际上可以看出spark各种脚本，spark-shell、spark-sql实现方式都是通过调用spark-submit脚本来实现的，而spark-submit又是通过 spark-class脚
2015-10-21 09:39:16
2497
原创 Cassandra之jdbc-cassandra使用笔记
最近要弄java程序访问cassandra进行读取数据，上网搜索之。。。之前有过jdbc-mysql的使用，有这样的com.mysql.jdbc.Driver包，想必cassandra也应该有吧。网上的少数几篇文章有简明的讲解，可参考这位仁兄写的也不错jdbc链接cassandra我这边主要记录下具体的过程我用的是org.apache.cassandra.cql.jdbc.
2015-10-16 10:03:56
5148
原创 Spark学习笔记之-Spark-Standalone下driver和executor分配
看了看spark-standalone的资源分配过程，还是记录一下吧，久了回顾一下。Standalone模式下存在的角色。Client：客户端进程，负责提交作业到Master。Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor。Worker：Standalone
2015-09-17 18:16:20
7270
原创 Spark学习笔记之-Spark-Streaming
spark-streaming源码分析最近也在看spark-streaming的流程，稍稍整理了下，记录一下。1、首先来看入口，如果要使用spark-streaming，首先要实例化StreamingContext如ssc，入口点是从ssc.start()开始的。实例化的同时，也初始化了一些变量/对象，val graph，val pr
2015-09-15 16:47:42
664
转载 spark-streaming源码分析
spark-streaming源码分析最近也在看spark-streaming的流程，发现了一个比较不错的分析流程，记录一下。streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参
2015-09-15 11:08:59
640
原创 Spark学习笔记之-Spark Standalone（环境搭建）
Spark standalone分为master和worker，具体启动方法可用手动启动或脚本启动集群。官方参考手册：http://spark.apache.org/docs/1.4.0/spark-standalone.html1、手动启动可以参考 ： http://www.th7.cn/Program/java/201309/148408.shtml2、启动脚本方式：
2015-09-11 11:10:00
1499
转载 Spark学习笔记之-Spark常用概念
本文参考于http://www.aboutyun.com/thread-14833-1-1.htmlSpark中一些常用术语定义：Application： Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor
2015-09-09 11:05:33
392
原创 Spark学习笔记之-Spark-cassandra-connector阅读
最近使用Spark将处理数据存储到cassandra遇到些问题，于是乎大体看了下spark-cassandra-connector的源码这是该项目的主页：https://github.com/datastax/spark-cassandra-connector ，上面的document有一些例子的用法。使用时加入依赖 com.datastax.spa
2015-09-09 09:58:40
2976
原创 Spark学习笔记之-Spark on yarn（动态资源调度）
对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行 的服务（比如Thrift Server），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源张，这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减 Executor个数，从而实现动态分配资源，使整个
2015-09-01 17:38:20
4636
原创 Spark学习笔记之-Spark on yarn（External Shuffle Service）
Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle 数据，给其他Executor提供shuffle数据。 当Executor进程任务过重，导致GC而不能为其 他Executor提供shuffle数据时，会影响任务运行。 这里实际上是利用External Shuffle Service 来提升性能，External s
2015-09-01 17:36:42
8465
原创 Spark学习笔记之-Spark远程调试
Spark远程调试 本例子介绍简单介绍spark一种远程调试方法，使用的IDE是IntelliJ IDEA。1、了解jvm一些参数属性-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888这里对上面的几个参数进行说
2015-09-01 09:52:37
3567
1
转载 yarn日志配置（补充修改）
注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。1. 权限相关配置参数这里的权限由三部分组成，分别是：（1）管理员和普通用户如何区分 （2）服务级别的权限，比如哪些用户可以向集群提交ResourceManager提交应用程序，（3）队列级别的权限，比如哪些用户可以向队列A提交作业等。
2015-08-17 15:56:49
7989
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人