sinat_33405061的博客

原创 技术细节栈

1.JVM 进程占用大小一般约等于： heap + perm + thread stack + nio directbuffer？2.LSM-Tree的由来及发展过程3.数据库模型&以及DB-enginee中关于大数据模型的分类4.vetrica...

原创 面试todo2

时间管理好难啊!!!todo:1.把知乎上的面试问题，一道一道，都在csdn上记录下来（三种准备的方向都要记录）

原创 日报20190313

日报20190313targetsml Java多线程 this HDFS源码 Spring的AOP和IOC Druidhave donehdfs没怎么看 Druid数据结构：1.内存王道 2.时间戳为key。 关于1，他把近期数据全存realtime节点的内存里，查起来肯定快呦，同时又提供了一系列将内存数据落地到磁盘的方法（第一次落地的时候直接把近期数据放到堆外内存，第...

原创 日报20190312

日报20190312targetsml Java多线程 this HDFS源码 Spring的AOP和IOC Druidhave donehdfs没怎么看 ZK概述，CAS概述 方法区跟老年代是什么关系？什么跟JVM规范有关的（jvm规范，continue） 大数据数据处理架构可以分为三种：1.spark那种mmp 2.ES那种倒排索引 3.Druid、Kylin那种...

原创 面试todo

1.关于算法找到了一篇好文章1.1https://blog.csdn.net/v_JULY_v/article/details/6279498这个学会应该就差不多了1.2 讲es与mysql对比https://blog.csdn.net/u011635492/article/details/810231582.关于Java的各种特性2.1Java程序员面试笔试宝典-何...

原创 zookeeper

zk这个我觉得我需要多看两遍https://mp.weixin.qq.com/s?__biz=MzIxMjE5MTE1Nw==&mid=2653193977&idx=1&sn=12319f8cb81f55a40ac461bd0ad9d74e&chksm=8c99f423bbee7d35056ce7ec1b321f33aad15c309de6eba0086cb31...

原创 随笔-CAS

1.名称Campare and swap(switch)2.作用保证单个变量操作的原子性3.对比synchronized关键字3.1 synchronized是悲观锁；当并发量很少的时候效率很低；当并发量很高的时候效率不错3.2 CAS是乐观锁；当并发量很少的时候效率不错；当并发量很高的时候就会因为大量的自旋操作而占用cpu4.CAS具体操作首先该操作有三个操作数：...

转载 大数据三大分析模式

MPP架构的系统（Presto/Impala/SparkSQL/Drill等）有很好的数据量和灵活性支持，但是对响应时间是没有保证的。当数据量和计算复杂度增加后，响应时间会变慢，从秒级到分钟级，甚至小时级都有可能。搜索引擎架构的系统（Elasticsearch等）相对比MPP系统，在入库时将数据转换为倒排索引，采用Scatter-Gather计算模型，牺牲了灵活性换取很好的性能，在搜...

原创 随笔20190311

1.Bloom Filter 算法今天看Druid的实现原理，看到里面关于Bloom Filter算法的部分，记录下来，很有用的~~Bloom-Filter算法的核心思想就是利用多个不同的Hash函数来解决“冲突”。 计算某元素x是否在一个集合中，首先能想到的方法就是将所有的已知元素保存起来构成一个集合R，然后用元素x跟这些R中的元素一一比较来判断是否存在于集合R中；我们可...

原创 日报20190311

日报20190311targetsml Java多线程 this HDFS源码 Spring的AOP和IOC Druidhave donenn dn基本关系图 知乎上收藏的文章，那个关于面试的，讲得蛮不错的（continue） 方法区跟老年代是什么关系？什么跟JVM规范有关的（jvm规范，continue） TODO多层神经网络（deep learning）...

原创 随笔

1.randomAccess接口这个接口只是一个标识，用来表示实现了此接口的方法都可以高效得通过get（i）方法访问,如果是这样的话，在Collection的BinarySearch方法中，就会使用for循环进行二分查找;否则就会使用iterator进行迭代。因为不能高效随机访问的get（i）方法虽然开放了get方法供你使用，但底层使用的还是遍历，展示一下LinkedList类里面的get方法...

原创 日报20190308

日报20190308targetsml Java多线程 this HDFS源码 Spring的AOP和IOChave donehdfs源码rpc整体框架 知乎上收藏的文章，那个关于面试的，讲得蛮不错的 方法区跟老年代是什么关系？什么跟JVM规范有关的 TODO多层神经网络（deep learning） jvm内存模型 Java锁的最后一章 老马说编程公众号...

原创 日报20190307

日报20190307ps 昨天忘记写了...targetsml Java多线程 this HDFS源码 Spring的AOP和IOChave donehdfs源码看得我头大...动态代理看完了，剩下rpc那部分，还有nn与dn交互blocks那部分 多线程最近没怎么看 昨天一嗨就忘记看了TODO多层神经网络（deep learning） hdfs的动态代理Dy...

原创 日报20190305

日报20190305targetsml Java多线程 this HDFS源码 Spring的AOP和IOChave doneml这两天没看 多线程最近没怎么看 日报的习惯已经慢慢养成咯，后面要不要改成晚上写？ hdfs源码：昨天戴总带着看了点write的内容，感觉没有书上写得好TODO多层神经网络（deep learning） hdfs的读写源码。还有心跳源码...

原创 日报20190304

日报20190304ps 一不小心跳了这么多天...targetsml Java多线程 this HDFS源码 Spring的AOP和IOChave done多层神经网络看了一点 多线程最近没怎么看 日报的习惯已经慢慢养成咯，后面要不要改成晚上写？ hdfs源码：尝试读一下hdfs源码剖析里面的内容TODO多层神经网络（deep learning） hdfs...

原创 日报20190227

日报20190227targetsml Java多线程 this HDFS源码have donenothing thread.setDeamon(true);设置后台线程，后台线程在所有其他线程运行结束后，会自动结束。 这是我的第5？6？篇日报 hdfs的format源码&read源码；continueTODO多层神经网络（deep learning） h...

原创 Index

ml{file:///E:/%E5%AD%A6%E4%B9%A0/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/Getting%20Started%20With%20MachineLearning%20(all%20in%20one)_V0.94.pdf 机器学习文档（跟NG吴的讲的其实差不多）http://www.holehouse.org/mlclass...

原创 日报20190226

日报20190226targetsml Java多线程 this HDFS源码have donesingle layer neural network java thread states:new running waiting timed-waiting blocked termined(dead) 这是我的第四篇日报 hdfs的format源码&read源码...

原创 日报20190225

日报20190221targetsml Java多线程 this HDFS源码have donelogistic regression nothing 这是我的第三篇日报 hdfs的format源码TODO神经网络or review Java锁的最后一章感悟(讲道理感悟这个词语没找到合适的单词翻译)爱以永恒音乐《起风了》：中性美movie《战斗天...

原创 日报20190222

日报20190221targetsml Java多线程 thishave done机器学习课程lesson 2 nothing 这是我的第二篇日报 tips 对loss function求偏导是使用的一种梯度下降的方法，希望找到loss function的最大最小值，这个值最小时，塞塔值最精确。但其实也不是约精确越好，求出来的函数还需要保证一点平滑性。（这可能就涉及到之后的...

原创 日报20190221

日报20190221targetsml Java多线程 thishave done机器学习课程lesson 1 多线程中内存同步变量 这是我的第一篇日报TODOml lesson2 Java锁的最后一章 把日报格式整理一下感悟(讲道理感悟这个词语没找到合适的单词翻译)“发展策略远比产品本身重要”，那是不是技术方向比技术实力更重要？ 努力耕耘，慢慢都会收获的~...

原创 知识点index

1、讲“加载-连接-初始化”的https://blog.csdn.net/github_37315869/article/details/82917128

原创 Hive

原创 Java内存分析工具

1.命令nohup  jstat -gc 7756 60000 >> Aresslave234.memlog &2.输出结果S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT 531456...

转载 Zookeeper的功能以及工作原理

1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么？1)文件系统2)通知机制3.Zookeeper文件系统每个子...

转载 关于GPL协议的理解（开源与商用、免费与收费的理解）

编者：请特别注意看暗红色粗体标注的那几句话，总结下来有下面几点：如果你用了我的 GPL软件，那么你的软件也必须要开源，否则就不能使用我的软件，你是否把你的软件商用和我没关系 Oracle 卖的不是软件的版权，而是技术服务 MySQL作为一个开源数据库，几乎所有的用户都只是通过自己的程序去操作这个数据库，不涉及到改动源码的问题，根本不用去考虑是否要遵循 GPL的问题。 只有在你修改MySQL源码...

转载 Kafka tips

TIPS1:在Kafka早期版本，对于分区和副本的状态的管理依赖于zookeeper的Watcher和队列：每一个broker都会在zookeeper注册Watcher，所以zookeeper就会出现大量的Watcher, 如果宕机的broker上的partition很多比较多，会造成多个Watcher触发，造成集群内大规模调整；每一个replica都要去再次zookeeper上注册监视器，当...

原创 tips

类的初始化过程Student s = new Student();在内存中做了哪些事情?1. 加载 Student.class 文件进入内存2. 在栈内存为 s 开辟空间3. 在堆内存为学生对象开辟空间4. 对学生对象的成员变量进行默认初始化5. 对学生对象的成员变量进行显示初始化6. 通过构造方法对学生对象的成员变量赋值7. 学生对象初始化完毕，把对象地址赋值给 s 变量...

原创 劳资的Java也算是入了门了

1.集合1.1Listpublic interface Collection<E> extends Iterable<E> {}这就意味着所有的实现集合类的接口都要可以迭代遍历~（tm废话）boolean add(E e);该方法也就意味着Collection与Map无缘了（因为Map都是put方法呀..）Collection下的主要子接口有List和S...