- 博客(48)
- 收藏
- 关注
RSS订阅
原创 SparkCore相关参考链接
Spark核心工具类Utils: https://blog.csdn.net/beliefer/article/details/77449771
2019-07-16 21:52:09
140
原创 编译spark源码时注意事项
先解压源码 cd 源码目录方式一./dev/change-scala-version.sh 2.11（修改默认scala的版本为指定需要的版本）export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=512M"./build/mvn -Pyarn -Phadoop-2.6 -Phive -Phive-...
2019-03-18 14:09:32
160
原创 linux安装mysql详细完全步骤，耐心点准没错。
linux 安装mysql5.6版本 步骤1.卸载老版本MySQLfind / -name mysqlrm -rf 上边查找到的路径，多个路径用空格隔开 #或者下边一条命令即可 find / -name mysql|xargs rm -rf2.解压文件tar -zxvf mysql-5.6.31-linux-glibc2.5-x86_64.tar.gz3.删除安装包，重命名解压后的文件...
2019-03-17 21:21:12
241
原创 ES
elasticsearch的store属性跟_source字段https://blog.csdn.net/jingkyks/article/details/41785887?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFrom
2020-05-10 16:20:45
225
原创 CDH
https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_60_packaging.html#cdh_600_packaging
2020-03-08 19:47:04
271
原创 Flink详解
通过源码看Flink核心的执行流程https://github.com/bethunebtj/flink_tutorial.git
2020-01-01 16:40:12
586
原创 大数存储格式与压缩格式
大数据存取的选择：行存储还是列存储？https://www.infoq.cn/article/bigdata-store-chooseHadoop 压缩实现分析https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-compression-analysis/...
2019-10-28 21:30:15
347
原创 Flume
把数据sink到Kafka的那么它地城就就是一个kafka的(producer)生产者，如果是sink都HDFS那么它底层有有个hdfs的client俩帮你完成写写操作。
2019-10-17 15:50:02
87
原创 zookeeper
5分钟让你了解 ZooKeeper 的功能和原理https://blog.csdn.net/WeiJiFeng_/article/details/79775738#3.4
2019-10-04 12:01:28
128
原创 Hbase
Hbase调优http://itindex.net/detail/49632-hbase-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98https://www.cnblogs.com/chenghaohao/p/8059756.html
2019-10-03 11:23:46
325
原创 hadoop相关疑点问题
块大小的设置问题https://blog.csdn.net/jzero_2008/article/details/80574101
2019-08-19 15:29:02
322
原创 IDEA+JavaWeb+Servlet+state+load-on-startup+status code其次url与uri的区别
https://blog.csdn.net/qq_35164169/article/details/76146655https://www.cnblogs.com/Mcorleon/p/7728037.html
2019-08-07 17:08:03
125
原创 jdbc操作数据库相关知识点
自动提交和手动提交去呗https://zhidao.baidu.com/question/141286945.html批处理https://blog.csdn.net/woshiwxw765/article/details/7619638MyBatis详解https://blog.csdn.net/luanlouis/article/details/40422941#commentBox...
2019-08-05 13:07:01
76
原创 cpu,core,逻辑core NIO,netty,EPOLL，socke，多线程，利用反射案例，原子操作，内存模型，IO, UUID，java序列化， 线程安全与不安全
EPOLLhttp://ifeve.com/overview/NIOhttps://blog.csdn.net/daaikuaichuan/article/details/83862311
2019-07-29 16:44:28
297
原创 java正则表达式，及集合底层原理，泛型，多种字符类型比较，编码，log4j，Context（上下文）的理解
https://www.runoob.com/java/java-regular-expressions.html
2019-07-29 16:44:08
327
转载 idea添加scala插件，以及Gradle的问题解决
Gradlehttps://blog.csdn.net/chenhaifeng2016/article/details/78654469https://blog.csdn.net/u013795543/article/details/94328859Scalahttps://blog.csdn.net/wl555wl/article/details/53736857
2019-07-20 22:45:04
394
原创 redis安装
对于linux前置要求:yum -y install cppyum -y install binutilsyum -y install glibcyum -y install glibc-kernheadersyum -y install glibc-commonyum -y install glibc-develyum -y install gccyum -y install m...
2019-07-13 07:36:42
72
原创 javaSE中部分关键字功能
transient（修饰符）的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自动序列化。 然而在实际开发过程中，我们常常会遇到这样的问题，这个类的有些属性需要序列化，而其他属性不需要被序列化，打...
2019-07-10 19:31:34
101
转载 buffer与cache
https://blog.csdn.net/hao707822882/article/details/40581515https://blog.csdn.net/shujuelin/article/details/84100842
2019-07-07 10:35:56
101
原创 java运行详解以及堆栈, classpath，JVM
https://blog.csdn.net/cynhafa/article/details/82425456https://blog.csdn.net/u013241673/article/details/78574770https://blog.csdn.net/terstdfhuc/article/details/86526047https://blog.csdn.net/hewenji...
2019-07-07 10:34:32
179
原创 （sparkCore）json解析存储
现在pox.xml添加play框架的依赖< dependency>< groupId>com.fasterxml.jackson.module< /groupId>< artifactId>jackson-module-scala_2.11< /artifactId>< version>2.7.5< /versi...
2019-05-21 02:34:03
228
原创 Hbase安装
1。解压，tar -zxvf hbase-x.y.z-cdh5.7.0.tar.gz -C ~/app2。加入到系统环境变量，sudo vim /etc/profileexport HBASE_HOME=~/app/hbase-x.y.z-cdh5.7.0export PATH=$ HABSE_HOME/bin:$ PATH3.修改配置文件cd $HBASE_HOME/conf...
2019-04-27 21:50:09
72
原创 mvn安装
tar -zxvf apache-maven-x.y.z-bin.tar.gzvim /etc/profiles 添加export MAVEN_HOME=/…/…/apache-maven-x.y.zexport PATH=MAVENHOME/bin:MAVEN_HOME/bin:MAVENHOME/bin:PATHmvn -v (测试版本) mvn help:system（生成....
2019-04-19 21:28:56
179
转载 core dump
什么是core文件http://blog.sina.com.cn/s/blog_8b08096f0102v01z.html段错误 (core dumped)http://blog.sina.com.cn/s/blog_8b08096f0102v01z.htmlhttps://www.cnblogs.com/cnwcl/p/9804847.html
2019-04-10 13:10:01
73
原创 kafka的安装配置
tar -xzf kafka_2.12-2.2.0.tgz解压后添加到系统的环境变量中去cd kafka_2.12-2.2.0/configvim service.properties修改配置参数
2019-04-09 14:36:48
73
原创 VNC轻松远程Linux桌面
https://jingyan.baidu.com/article/6c67b1d6f1bac92786bb1e6d.html
2019-04-09 11:58:36
169
原创 Zookeeper的安装
1.解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz2.sudo vim /etc/profile把zk添加到系统的环境变量中去eg: export ZK_HOME=/home/hadoop/app/zookeeper-3.4.5-cdh5.7.0export PATH=＄ZK_HOME/bin:$PATH3. cd zookeeper-3.4....
2019-04-08 22:39:42
80
转载 windows10远程连接centos图像化桌面
https://blog.csdn.net/xuexi_39/article/details/83011851注意：如果Centos版本为7.0以下时xrdp的启动方式：service xrdp start
2019-04-07 14:46:31
629
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人