- 博客(172)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flume接收kafka source落地本地
flume接收kafka source落地本地，然后上传hdfs，避免flume直接上传hdfsmaven工程pom.xml<version.flume>1.7.0</version.flume><depende...
2018-08-01 00:00:00
1011
原创 Spark中的checkpoint作用与用法
checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面 计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果...
2018-07-02 11:30:00
159
原创 mysql limit offset
SQL中LIMIT和OFFSET的用法中哪种效率高些？ 比如：SQL1 = "SELECT * FROM user LIMIT 0,20" SQL2 = "SELECT * FROM user OFFSET 0 LIMIT 20" 这两种写法效率上有差异吗？请考虑偏移量大与小的情况下。还是...
2018-06-29 10:46:00
372
原创 Hive 支持多表数据插入
Hive支持多表插入，可以在同一个查询中使用多个insert子句，这样的好处是我们只需要扫描一遍源表就可以生成多个不相交的输出！ from test1 insert overwrite table test2 partition (age) s...
2018-06-29 00:00:00
6020
原创 mybatis--缓存（一级和二级缓存）
1.缓存 查询数据时将查询结果存放到内存（缓存区）中。 每次查询数据时，先判断缓存区中是否存在数据， 如果存在，就从缓存区中获取数据 如果不存在，就从数据库中获取数据，将数据存放到缓存区中，给下次访问使用 ...
2018-06-29 00:00:00
145
原创 lease机制
lease，即租约，是个强大的东西。 lease用于缓存 先看缓存的lease。假设每个client都去server取数据，server可能成为性能瓶颈。然后就有了缓存，client每看看自己有没有相应的缓存，没有才去找server要。但是….有...
2018-06-15 00:00:00
320
原创 java join
Thread类中的join方法的主要作用就是同步，它可以使得线程之间的并行执行变为串行执行public class JoinTest { public static void main(String [] args) throws Inte...
2018-06-13 00:00:00
86
原创 binaryTree遍历
前序遍历的输出结果：ABDECF中序遍历的输出结果：DBEAFC后序遍历的输出顺序：DEBFCAhttps://www.cnblogs.com/turnips/p/5096578.html前序遍历的规则：（1）访问根节点（2）前序遍历左...
2018-06-11 00:00:00
283
原创 hadoop求推荐好友-2度关系
推荐好友a -> b,c,db -> a,c,e-------------a-b ab_cda-c ac_bda-d ad_bcb-a ba_ceb-c bc_aeb-e ...
2018-05-16 00:00:00
467
原创 docker网络
http://udn.yyuap.com/article-11989.html入门学习https://www.jianshu.com/u/8221a3172369 ...
2018-05-11 00:00:00
93
原创 mac实战mesos
如果程序一直deploy说明一定有问题mac安装brew install mesosbrew upgrade mesos启动zookeeper启动masterHOST_IP=100.80.128.98sudo /usr/local/C...
2018-05-10 00:00:00
297
原创 lambda Kappa iota比较
https://blog.csdn.net/oDaiLiDong/article/details/80035658 整体思路是设定标准数据模型，通过边缘计算技术把所有的计算过程分散在数据产生、计算和查询过程当中，以统一的数据模型贯穿始终，从而...
2018-05-08 00:00:00
1063
原创 elk
Elasticsearch 5.4已经不支持删除一个type了 https://blog.csdn.net/leafage_m/article/details/74011357 1、删除索引，重建 2、_delete_by_query删除type下所...
2018-05-08 00:00:00
134
原创 SQL求相互关注的人数和关注了4的总关注数
求互相关注的人数？ select count(1) from tst t1 inner join tst t2 on t1.uid = t2.uuid and t1.uuid = t2.uid; 求关注了4的总关注数？ select count...
2018-05-08 00:00:00
1859
原创 mesos vs yarn
从使用上来看，mesos比hadoop更适合长服务 实战参考 https://blog.csdn.net/zhufuyi/article/details/72782350?locationNum=6&fps=1 ...
2018-05-07 00:00:00
471
原创 图形化&&数据预处理
掌握python机器学习-读书笔记3 （图形化&&数据预处理)https://my.oschina.net/sizhe/blog/1587431Machine Learning:如何选择机器学习算法https://my.osch...
2018-04-12 00:00:00
180
原创 乐观锁和悲观锁
1、悲观锁，前提是，一定会有并发抢占资源，强行独占资源，在整个数据处理过程中，将数据处于锁定状态。2、乐观锁，前提是，不会发生并发抢占资源，只有在提交操作的时候检查是否违反数据完整性。只能防止脏读后数据的提交，不能解决脏读。乐观锁（ Optimi...
2018-04-02 00:00:00
64
原创 不要使用kill -9 杀死进程，可以先使用kill -15
http://yqbjtu.blog.163.com/blog/static/529426201411042224375/在使用kill -9前，你应该先使用kill -15，给目标进程一个清理善后工作的机会。(进程也许无法捕捉或直接忽略SIGKI...
2017-06-27 00:00:00
1650
原创 三大NoSQL数据库HBase、Cassandra和MongoDB大比拼
http://www.sohu.com/a/109760616_465914
2017-06-11 00:00:00
838
原创 三大NoSQL数据库HBase、Cassandra和MongoDB大比拼
http://www.sohu.com/a/109760616_465914
2017-06-07 00:00:00
352
原创 百度坐标（BD09）、国测局坐标（火星坐标，GCJ02）、和WGS84坐标系互转
http://cnodejs.org/topic/564c0a27e4766d487f6fe38d
2017-06-06 00:00:00
550
原创 hadoop_classpath
for f in $HBASE_HOME/lib/*.jar; doHADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$fdone
2017-05-18 00:00:00
1501
原创 庖丁解牛
吾生也有涯，而知也无涯 。以有涯随无涯，殆已！已而为知者，殆而已矣！为善无近名，为恶无近刑。缘督以为经，可以保身，可以全生，可以养亲，可以尽年。 庖丁为文惠君解牛，手之所触，肩之所倚，足之所履，膝之所踦yǐ，砉huā然向然，奏刀騞huō然，...
2017-04-26 00:00:00
160
原创 git回退
git loggit reset --hard c5c24f3daa652f610aa5f53eb0b43125520ff14dgit push -f
2017-04-11 00:00:00
84
原创 路径数目 & 最小路径和 c++
#include <iostream>#include <vector>#include <limits>using namespace std;/*思路：对于某一点dp[i][j]的路径数目，是该点正...
2017-04-09 00:00:00
585
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人