我是刘刘啊-CSDN博客

转载 HiveQL中如何排查数据倾斜问题

原文链接https://blog.csdn.net/u012151684/article/details/77074356如果某个key下记录数远超其他key，在join或group的时候可能会导致某个reduce任务特别慢。本文分析下join的场景。本例子SQL如下：查询每个appid打开的次数，需要排除掉作弊的imei。说明：表cheat_imei，7500万条，无...

2019-07-20 15:34:36 357

转载负数的二进制表示方法

今天在看base64编码转换时，既然对负数的二进制表示有些遗忘，在网上找了一下资料，贴出来已备在此遗忘：假设有一个 int 类型的数，值为5，那么，我们知道它在计算机中表示为：00000000 00000000 00000000 000001015转换成二制是101，不过int类型的数占用4字节（32位），所以前面填了一堆0。现在想知道，-5在计算机中如何表示？　在计...

2019-07-05 17:01:28 718

原创详解Java多线程与高并发(七)__ThreadLocal

线程局部变量是局限于线程内部的变量，属于线程自身所有，不在多个线程间共享。Java提供了ThreadLocal类来支持线程局部变量，是一种实现线程安全的方式。ThreadLocal将值和线程绑定，避免了多线程情况下的数据同步问题，杜绝了线程之间的干扰。底层实现：如何理解ThreadLocal：可以用Java中的Map来帮助我们理解。当前线程Thread.getCurre...

2019-06-17 20:03:08 316

原创详解Java多线程与高并发(六)__ReentrantLock

ReentranLock重入锁类，实现自Lock接口推荐ReentrantLock，使用相对效率比synchronize高，因为量级较轻使用重入锁，必须必须必须手工释放锁标记。一般都是在finally代码块中定义释放锁标记的unlock方法。上代码lock到unlock，相当于就是synchronize方法的开始到结束public class Test_01 { ...

2019-06-15 18:01:05 280

原创详解Java多线程与高并发(五)__CountDownLatch

门闩 - CountDownLatch* 可以和锁混合使用，或替代锁的功能。* 避免锁的效率低下问题。理解：门闩上挂了多把锁，在门闩未完全开放之前(门闩上还有锁)等待。当门闩完全开放后执行。代码演示如下：public class Test_15 { CountDownLatch latch = new CountDownLatch(5); //...

2019-06-15 16:48:57 260

原创详解Java多线程与高并发(四)__Atomicxxx

AtomicXxx* 同步类型* 原子操作类型。 Atomicxxx中的每个方法都是原子操作。可以保证线程安全。效果同加synchronize，保证了原子性。如AtomicInteger代码演示如下：public class Test_11 { AtomicInteger count = new AtomicInteger(0); ...

2019-06-15 16:42:47 736

原创详解Java多线程与高并发(三)__volatile关键字

volatile关键字含义：volatile的可见性作用：通知OS操作系统底层，在CPU计算过程中，都要检查内存中数据的有效性。保证最新的内存数据被使用。原理：如下图所示，程序启动时将磁盘中的字节码文件读到内存中，形成对应的对象和类对象，然后会将对象中的一些变量读到CPU的缓存中作为临时数据。CPU计算时在不中断，清空缓存的情况下，默认使用的时缓存中数据...

2019-06-15 16:13:24 158

原创详解Java多线程与高并发(二)__锁的底层实现

锁的底层实现：由Java 虚拟机中的同步(Synchronization)基于进入和退出管程(Monitor)对象实现。同步方法并不是由 monitor enter 和 monitor exit 指令来实现同步的，而是由方法调用指令读取运行时常量池中方法的 ACC_SYNCHRONIZED 标志来隐式实现的。对象内存简图：如上图所示，先介绍几个概念：对象存在jv...

2019-06-15 15:57:09 313

原创详解Java多线程与高并发(一)__synchronized关键字

synchronized在JDK1.5版本开始，尝试优化。到JDK1.7版本后，优化效率已经非常好了。在绝对效率上，不比reentrantLock差多少。为什么要使用synchronize关键字？答：这涉及到了多线程的线程同步问题当多个线程访问同一个数据时，容易出现线程安全问题。需要让线程同步，保证数据安全，即当两个或两个以上线程访问同一资源时，需要某种方式来确保资源在某一时刻只...

2019-06-15 15:22:48 305

原创推荐系统实践：基于物品的协同过滤算法原理及实现(含改进算法)

基于物品的协同过滤算法(ItemCF)给用户推荐那些和他们之前喜欢的物品相似的物品。比如：该算法会因为你购买过《数据挖掘导论》而给你推荐《机器学习》。不过ItemCF算法不利用物品的内容属性计算物品之间的相似度，它主要通过分析用户的行为记录计算物品之间的相似度。该算法认为，物品A和物品B具有很大相似度的原因是因为喜欢物品A的用户大都也喜欢物品B。基于物品的协同过滤算...

2018-09-12 10:27:50 31104 10

原创推荐系统实践：基于用户的协同过滤算法原理及实现(含改进算法)

总体思路：1.利用余弦相似度对两两用户计算相似度 1.1 建立物品-用户倒排表左半部分为训练数据格式，ABCD等是用户，abc等是对应用户喜欢的物品右半部分物品-用户倒排表，如对于物品a，喜欢它的有用户A和B 1.2 建立用户相似度矩阵利用物品-用户倒排表，构建用户相似度矩阵，其中的值，如 ma...

2018-09-07 17:22:47 18020 14

原创 Tensorflow实战：LSTM原理及实现（详解）

LSTM规避了标准RNN中梯度爆炸和梯度消失的问题，所以会显得更好用，学习速度更快下图是最基本的LSTM单元连接起来的样子上图为一层LSTM单元连接起来的样子，在工业上，LSTM是可以像一个很大的方阵的，其中除了输入层和输出层分别对应着Xt和ht的值以外，中间的部分都是一层层的LSTM单元，拓扑结构如下：LSTM内部结构LSTM看上去就是这样一种效果，一个一个首尾相接...

2018-09-03 16:45:07 99476 20

原创 Tensorflow实战：Word2Vec_Skip_Gram原理及实现（多注释）

Word2Vec也称Word Embeddings，中文的叫法为“词向量”或“词嵌入”，是一种非常高效的，可以从原始语料中学习字词空间向量的预测模型。在Word2Vec出现之前，通常将字词转为One-Hot Encoder ，一个词对应一个向量（一个向量中只有一个1，其余皆为0），通常要将一篇文章中每一个词都转成一个向量，而整篇文章则变为一个稀疏矩阵。这样的方法...

2018-09-03 15:23:52 1141

原创 Tensorflow实战：ResNet原理及实现（多注释）

参考《Tensorflow实战》黄文坚，对Inception_V3进行了实现与改进，增加了自己的理解，欢迎提问！！残差神经单元：假定某段神经网络的输入是x，期望输出是H(x)，如果我们直接将输入x传到输出作为初始结果，那么我们需要学习的目标就是F(x) = H(x) - x，这就是一个残差神经单元，相当于将学习目标改变了，不再是学习一个完整的输出H(x)，只是输...

2018-09-03 13:58:27 13139 6

原创 Tensorflow实战：Inception_V3原理及实现（多注释）

参考《Tensorflow实战》黄文坚，对Inception_V3进行了实现，增加了自己的理解，欢迎提问！！ Inception_V3中使用了称为Inception model的结构，Inception model本身如同大网络中的小网络，其结构可以反复堆叠一起形成大大网络。 Inception_V1结构如下图所示：人脑神经元的连接...

2018-09-03 10:46:33 9644 2

原创 Tensorflow实战：VGGNet16原理及实现（多注释）

参考《Tensorflow实战》黄文坚，并添加了自己的理解。欢迎提问！！下图为VGG结构：下表为VGGNet各级别网络结构图：下图为本文代码组织结构图： ...

2018-09-01 13:11:56 3833 1

m0_37917271的博客