StudyWell_Lin-CSDN博客

原创关于CAS交换算法的理解

闲来无事，特意看了几页java并发编程的艺术，感触很多，发现大神写的文章解惑了之前许多问题，憋说话，直接进入主题！一、基础知识（必备）参考文章：https://blog.csdn.net/weixin_43618070/article/details/89206134?utm_source=po_vip1.0计算机存储体系在多CPU的计算机中，每个CPU都对应自己的寄存器。现代处理器，一般将cache分为2~3级，L1, L2, L3。L1一般为CPU专有，不在多个CPU中共享。L2 cache一

2020-07-12 09:08:10 348

原创对数数学知识回忆（log）

纯粹个人兴趣，所以想回顾一下数学知识，下面是log的知识点在数学中，对数是对求幂的逆运算，正如除法是乘法的倒数，反之亦然。这意味着一个数字的对数是必须产生另一个固定数字（基数）的指数。在简单的情况下，乘数中的对数计数因子。更一般来说，乘幂允许将任何正实数提高到任何实际功率，总是产生正的结果，因此可以对于b不等于1的任何两个正实数b和x计算对数。如果a的x次方等于N（a>0，且a不等于1），那么数x叫做以a为底N的对数（logarithm），记作x=logaN。其中，a叫做对数的底数，N叫做真数

2020-06-27 15:18:15 14875

原创 CDH5.12.1版本安装Spark2

cdh每次安装软件我都不熟悉，这次写一篇博客吧流程：1、先下载spark2对应的spark on yarn的jar包，地址如下：http://archive.cloudera.com/spark2/csd/我下载的是SPARK2_ON_YARN-2.1.0.cloudera1.jar这个补充说明：这里有如何放置SPARK2_ON_YARN-2.1.0.cloudera1.jar这个包的说明https://docs.cloudera.com/documentation/spark2/2-1-x

2020-06-20 14:24:27 522 1

原创 cdh客户端部署出现 Deploy Client Configuration 失败问题

我在安装hbase时候，出现Deploy Client Configuration 失败问题，如下图OK，我们遇到这种问题，一下子看不清问题，需要我们找到日志去分析，从报错信息中我们大概知道日志位于如下：/opt/module/cm/cm-5.12.1/run/cloudera-scm-agent/process/ccdeploy_hbase-conf_etchbaseconf.cloudera.hbase_8842867847292529550然后日志中发现有下面一句关键问题：/var/li

2020-05-23 19:22:53 1219

转载 CDH目录结构

本文转载自：https://blog.csdn.net/didi7696/article/details/103462528CDH目录结构meihuiziaaaaaa 2019-12-09 18:15:41 103 收藏 1展开一、总结目的因为CDH集群的配置、日志、jar包以及安装文件的目录非常多，而且分散，每次绕进去就有种绕不出来的感觉。所以，下决心总结一下，防止自己后面采坑。二、关键目录1.开启应用目录：默认可以直接敲命令行/opt/cloudera/parcels/CDH/b

2020-05-23 17:28:20 487

原创 Spark源码之withScope方法的理解

最近在学习spark时候老是遇到withScope函数的运用，看的我也是一脸懵逼，花了好长的时间也是终于弄懂了，憋说话，看屏幕，直接上代码：而我们经常见得调用就是如下格式的：def sortByKey(ascending: Boolean = true, numPartitions: Int = self.partitions.length) : RDD[(K, V)] = sel...

2020-05-05 18:21:03 1207 5

原创 spark on yarn 执行遇到的一个问题

最近在学习spark，遇到了一个问题，也花费了一天时间去解决，问题如下：Exception in thread “main” java.lang.RuntimeException: Error in configuring objectat org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)a...

2020-04-25 22:44:34 953

原创 scala本地环境配置

最近在学习spark，需要用到scala环境，包括在idea上也要安装scala的插件。下面进去正题：1：Windows上安装scala环境这个就比较简单了，直接去官网下载就行了，我选的是2.13的版本，地址如下：https://www.scala-lang.org/download/直接选,msi文件下载就行了下载完就直接双击安装进行了，然后要配置环境变量 $SCALA_HOME...

2020-04-25 22:12:20 369

原创 C3P0的XML配置文件是由哪个类加载的

C3P0的XML配置文件是由哪个类加载的前几天在看JDBC连接时候，用到了C3P0连接池进行连接，想起XML的名字必须叫c3p0-config.xml就很好奇，然后又觉得既然是xml文件，肯定是有加载xml文件的类。于是我的强迫症就发作了，所以我就一直debug源码，一直找，一直找功夫不负有心人，让哥哥我终于找到了，下面直接上代码：首先是由ComboPooledDataSource类...

2020-02-06 11:53:53 607

weixin_41538547的博客