- 博客(50)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 一些常用来划水的网站，主要涉及大数据、Python、团队博客等
大数据：https://www.iteblog.com/大数据：http://lxw1234.com/大数据：https://0x0fff.com/莫烦Python：https://morvanzhou.github.io/大数据：https://www.cnblogs.com/jcchoiling/大数据：https://blog.csdn.net/qq_21383435/articl...
2019-01-17 16:01:57
2068
转载 Hbase 技术细节笔记
Hbase 技术细节笔记（上） https://cloud.tencent.com/developer/article/1006043Hbase 技术细节笔记（下） https://cloud.tencent.com/developer/article/1006044
2019-01-17 15:58:52
290
转载 websocket 与Socket.IO介绍
https://www.cnblogs.com/mazg/p/5467960.html WebSocket协议是一种双向通信协议，它建立在TCP之上，同http一样通过TCP来传输数据，是html5标准新增加的一种通信协议 node.js提供了高效的服务端运行环境，但是由于浏览器端对HTML5的支持不一，为了兼容所有浏览器，提供卓越的实时的用户体验，并且为程序员提供客户端与服务端一致...
2019-01-07 15:06:33
789
转载 一共81个，开源大数据处理工具汇总
http://www.cnblogs.com/AloneSword/p/4874112.htmlhttp://www.cnblogs.com/AloneSword/p/4874114.html 查询引擎 一、Phoenix 二、Stinger 三、Presto 四、Shark ...
2018-12-26 10:48:42
588
转载 127.0.0.1和0.0.0.0地址的区别
https://blog.csdn.net/u012814696/article/details/55098249
2018-12-25 17:42:41
252
转载 Spark SQL 函数全集
from https://blog.csdn.net/liam08/article/details/79663018 其他：https://blog.csdn.net/inte_sleeper/article/details/7196114 <hive explode lateral view语句>
2018-12-18 11:26:17
555
转载 spark-shell 参数
Usage: ./bin/spark-shell [options]Options: --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program loca...
2018-12-06 19:15:15
1338
转载 分布式系统中的CAP理论与BASE理论
1、CAP理论： Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性） 分布式系统中的三个特性： 一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本） 可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请...
2018-12-05 15:17:43
450
转载 [MYSQL]Rank() over()的用法
from : https://www.cnblogs.com/mycoding/archive/2010/05/29/1747065.html 创建一个test表，并插入6条数据。CREATE TABLE test( a INT, b INT, c CHAR)INSERT INTO test VALUES(1,3,'E')INSERT INTO test VALUES(...
2018-11-28 16:56:30
23168
2
转载 HIVE 小结
https://blog.csdn.net/u013850277/article/category/6816431 Hive系列https://my.oschina.net/leejun2005/blog/98490 Hive 中内部表与外部表的区别与创建方法https://blog.csdn.net/qq_36743482/article/details/78418343 Hi...
2018-11-21 17:29:22
237
转载 总结：Hive，Hive on Spark和SparkSQL区别 - MrLevo520的博客 - CSDN博客
https://blog.csdn.net/MrLevo520/article/details/76696073
2018-11-20 16:22:03
903
转载 [温故知新]Kerberos原理
温故知新？？哈哈，其实认证授权我一直没有正面测过，所以谈不上“温故知新”，只是为了以后“常温”而转载了这篇文章。写的通俗易懂：====================分割线====================原文地址：http://www.cnblogs.com/felixzh/p/9855029.html 前些日子为了搞清楚Kerberos原理，把MIT的Kerberos经典...
2018-11-09 15:45:37
364
转载 什么是 AOP 和 OOP，IOC 和 DI 有什么不同?
答：1）面向对象编程（Object Oriented Programming，OOP，面向对象程序设计）是一种计算机编程架构。AOP 是 OOP 的延续，是 Aspect Oriented Programming 的缩写，意思是面向方面编程。 将通用需求功能从不相关类之中分离出来；同时，能够使得很多类共享一个行为，一旦行为发生变化，不必修改很多类，只要修改这个行为就可以。AOP 就是这种实现分...
2018-11-07 15:21:16
595
转载 9-Lock显式锁
https://www.jianshu.com/p/1b4c2e960c30 sychronized 互斥锁LOCK<---ReentrantLock 可重入锁ReadWriteLock<----ReentrantReadWriteLock 读写锁 公平锁
2018-11-01 19:47:35
142
转载 Kafka之sync、async以及oneway
参：https://blog.csdn.net/u013256816/article/details/54896952对于sync的发送方式： producer.type=sync request.required.acks=1对于async的发送方式： producer.type=async request.required.acks=1 queue.buffering.max...
2018-10-27 11:53:52
739
转载 如何选择Kafka的分区数和消费者个数
https://blog.csdn.net/OiteBody/article/details/80595971 分区多的优点分区不是越多越好如何确定分区数量呢？一条消息如何知道要被发送到哪个分区？Consumer个数与分区数有什么关系？Consumer消费Partition的分配策略 partition.assignment.strategy ...
2018-10-16 15:27:07
1484
转载 kafka-topics.sh --describe结果解释
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicat...
2018-10-11 16:19:21
11095
转载 spark内存管理
Execution：在执行shuffle、join、sort和aggregation时，用于缓存中间数据。通过spark.shuffle.memoryFraction进行配置，默认为0.2。Storage：主要用于缓存数据块以提高性能，同时也用于连续不断地广播或发送大的任务结果。通过`spark.storage.memoryFraction进行配置，默认为0.6。Other：这部分内存用于存储...
2018-10-11 14:55:36
129
1
转载 Spark Streaming 反压（Back Pressure）机制介绍
在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长；越来越多的数据被接收，但是数据的处理速度没有跟上，导致系统开始出现数据堆积，可能进一...
2018-09-21 14:33:47
461
转载 Linux 查看网络带宽是千兆还是万兆
https://blog.csdn.net/Post_Yuan/article/details/54378994[trafodion@n12 ~]$ sudo ethtool eth1Settings for eth1: Supported ports: [ FIBRE ] Supported link modes: 10000baseT/Full ...
2018-09-07 16:24:49
2433
1
转载 StringBuilder性能实践
https://blog.csdn.net/qq_31780525/article/details/77606379StringBuilder在高性能场景下的正确用法1. 初始长度好重要，值得说四次。2. Liferay的StringBundler类3. 但，还是浪费了一倍的char[]4. 重用StringBuilder5. ＋ 与 StringBuilder6. S...
2018-09-06 10:42:39
174
转载 高性能的序列化与反序列化：kryo的简单使用 KryoUtils
https://blog.csdn.net/eguid_1/article/details/79316403
2018-09-04 20:35:22
1133
转载 Spark On Yarn 详细配置流程
https://blog.csdn.net/qq_23330633/article/details/52216155
2018-09-04 15:20:02
619
转载 Fastjson 与各种JSON库的性能比较
https://www.w3cschool.cn/fastjson/fastjson-stagingresults.html create ser deser total size +dfljava-built-in 62 5608 29649 3525...
2018-08-30 10:11:10
2352
转载 JAVA Arraylist动态扩容详解
https://www.cnblogs.com/kuoAT/p/6771653.html 适ATArraylist动态扩容详解ArrayList 概述ArrayList是基于数组实现的，是一个动态数组，其容量能自动增长。ArrayList不是线程安全的，只能用在单线程环境下。实现了Serializable接口，因此它支持序列化，能够通过序列化传输；实现了RandomAc...
2018-08-25 16:56:59
257
转载 hashmap和hash算法研究
https://my.oschina.net/zhenglingfei/blog/403146 resize只有在hashmap中元素的大小达到临界值的时候才会进行，而临界值和loadFactor 参数有关，只有数量达到loadFactor *table.length才会重新分配table，元素也将重新映射，这是非常耗性能的操作，所以最好一开始能确定元素的大概范围 HashMap...
2018-08-25 16:33:01
193
转载 wireshark抓包图解 TCP三次握手/四次挥手详解
https://blog.csdn.net/hq354974212/article/details/76460614
2018-08-25 14:54:24
337
转载 同一端口是否可以绑定到多个IP上（关于Socket编程中地址与端口绑定那些事）
转自：https://blog.csdn.net/fm0517/article/details/51854048【结论汇总】 1. 同一个Socket只可以将1个端口绑定到1个地址上。 2. 即使不同的Socket也不能重复绑定相同的地址和端口。 3. 不同的Socket可以将不同的端口绑定到相同的IP地址上。 4. 不同的Socket可以将相同的端口绑定到不同的IP地址上。...
2018-06-28 14:28:39
3097
1
转载 数据库查询连接(JOIN)用法
参考：https://blog.csdn.net/qq1332479771/article/details/62104624主要涉及： 不用连接的查询 INNER JOIN LEFT JOIN RIGHT JOIN FULL JOIN UNION
2018-06-14 22:42:58
216
转载 Java线程堆栈分析
https://blog.csdn.net/weiweicao0429/article/details/53185999http://www.cnblogs.com/zhengyun_ustc/archive/2013/01/06/dumpanalysis.html
2018-06-08 17:15:32
226
1
转载 算法-动态规划 Dynamic Programming--从菜鸟到老鸟
A * "1+1+1+1+1+1+1+1 =？" *A : "上面等式的值是多少"B : *计算* "8!"A *在上面等式的左边写上 "1+" *A : "此时等式的值为多少"B : *quickly* "9!"A : "你怎么这么快就知道答案了"A : "只要在8的基础上加1就行了"A : "所以你不用重新计算因为你
2018-05-21 17:31:07
238
转载 java进程性能分析
http://blog.csdn.net/weiweicao0429/article/details/53185999 Java问题定位之Java线程堆栈分析http://blog.csdn.net/rachel_luo/article/details/8920596性能分析之-- JAVA Thread Dump 分析综述http://blog.csdn.net/weiweicao0429/ar...
2018-03-19 19:40:53
531
6
转载 jmap、jstack、jps无法连接jvm解决办法
一、背景在对线上服务器的java应用dump操作时发现，以下报错，不能dump。jps也获取不到java进程的pid。# jmap -dump:file=/data/dump/jvm_en.hprof 2017620176: Unable to open socket file: target process not responding or HotSpot VM not loadedThe -...
2018-03-19 19:19:06
804
1
转载 Tomcat性能优化
1、JVM微调通过jstat -gccapacity查看Tomcat内存：tomcat@server$ jstat -gccapacity `ps -ef|grep Bootstrap|grep -v grep|gawk '{print $2}'` NGCMN NGCMX NGC S0C S1C EC OGCMN OGCMX ...
2018-03-07 22:40:30
212
4
转载 c1/c2 compiler thread eats a lot of cpu
https://www.cnblogs.com/Anker/p/6079580.htmlhttp://blog.csdn.net/zz709196484/article/details/54867625
2018-02-13 11:56:12
3060
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人