记录点滴人生-CSDN博客

转载程序员专属笑话，累的时候看看放松一下以便继续努力

2一个女人让他的程序员丈夫去商店买东西：你去附近的商店买些面包，如果有鸡蛋的话，买6个回来，这个丈夫买了6个面包回来，他的妻子大吃一惊：你为什么买了6个面包？！程序员丈夫回答：因为他们有鸡蛋。3“咚咚咚”“谁？”过了很久……“Java” 4.为什么程序员总是分不清万圣节和圣诞节？因为 Oct 31 == Dec 25。这是懂八进制和十进制的人5.十个顶尖软件工程

2014-01-13 21:57:50 2745

原创站得高才能看的远

想想自己工作也已经1年了，搞这个博客也2个多月了，一直也从来没有过什么关于规划方面的文章，今天心血来潮就小写一下。想想当时刚毕业，人生一个分叉口，有两个普通的工作摆在我面前，我下定决心毅然选择了程序员这个职业，可能每个人进入这行动机和原因各不相同，但最终都进入并选择了这行~ 对于大学，我不得不说我荒度了，也许和绝大多数的人一样，大学中失去了方向，没有了督促和鞭

2014-01-01 23:00:36 1297

原创记录一次因内存不足而导致hiveserver2和namenode进程宕机的排查

如果你发现运行了一段时间的进程突然不见了，那可能是内核嫉妒生恨把它给干掉了查询内存溢出被杀掉的进程可以直接通过系统日志来查 grep “Out of memory” /var/log/messages也可以通过专门的命令查找 dmesg -T | grep “Out of memory”

2023-11-22 09:53:56 753

原创 Rejected connection from xx.xx.xx.xx, address already has the configured maximum of 10 connections

Rejected connection from xx.xx.xx.xx, address already has the configured maximum of 10 connections.问题描述解决方法问题描述Spark Streaming 启动读取Kafka时一直在报错，信息如下：19/02/20 12:04:45 ERROR JobScheduler: Error runn...

2019-02-20 12:30:13 1434

原创记一次hive写入orc文件失败

报错信息为map端的orc写入相关错误，现设置如下参数解决：set hive.exec.orc.default.compress.size=8192;set mapreduce.map.memory.mb=2048;set hive.exec.orc.default.buffer.size=16384;set hive.exec.orc.skip.corrupt.data=true;

2018-03-01 12:32:44 4100

转载 IntelliJ IDEA 常用设置讲解

本篇内容为大家提供的是IntelliJ IDEA 使用教程中的IntelliJ IDEA 常用设置讲解，IntelliJ IDEA是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、创新的GUI设计等方面的功能可以说是超常的。。感兴趣的同学可以参考学习下，具体内容

2018-01-26 10:40:35 644

转载透明大内存页Hugepage支持

在linux2.6.38之前，处理大容量内存工作集的高性能关键计算应用是运行在libhugetlbfs之上，必须依赖于hugetlbfs，。透明Hugepage支持是一种替代手段，它使用大内存页，并且虚拟内存页的大小可以动态变化，没有hugetlbfs的缺点。目前只适用于匿名内存映射，但未来可以扩展到tmpfs的papecache层。大内存页的优点：巨大的页面可以通

2017-11-09 19:43:08 2299

原创 kafka 高吞吐量性能揭秘

kafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同时，还提供了超一流的读写性能。本文将针对Kafka性能方面进行简单分析，首先简单介绍一下Kafka的架构和涉及到的名词：1. Topic：用于划分Message的逻辑概念，一个Topic可以分布在多个Br

2017-08-10 17:05:43 1401

转载相对熵（KL散度）

今天开始来讲相对熵，我们知道信息熵反应了一个系统的有序化程度，一个系统越是有序，那么它的信息熵就越低，反之就越高。下面是熵的定义如果一个随机变量的可能取值为，对应的概率为，则随机变量的熵定义为有了信息熵的定义，接下来开始学习相对熵。 Contents 1. 相对熵的认

2017-07-24 18:30:00 1120

转载 hbase性能调优

hbase性能调优一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越

2017-07-18 14:58:06 536

转载 CentOS yum升级GCC到4.8

wget http://people.centos.org/tru/devtools-2/devtools-2.repomv devtools-2.repo /etc/yum.repos.dyum install devtoolset-2-gcc devtoolset-2-binutils devtoolset-2-gcc-c++三个安装包会被装在 /opt/rh/devtools

2017-06-29 20:30:53 620

转载 CentOS 升级 gcc 和 g++ 的方法

CentOS 系统自带的 gcc 或者 g++ 的版本是：g++ (GCC) 4.4.6. GCC 版本太旧，导致了很多使用上的不便，如：无法使用g++ -std=c++11 命令来编译 C++11、无法使用Vim的很多插件（YouCompleteMe等）。因此，有必要对它进行升级。对 GCC 升级无法直接使用：yum update gcc以下是升级的详细过程。

2017-06-29 17:50:26 4397 1

原创 linux 挂接USB

背景最近需要在服务器上挂载USB拷贝一些数据，所以需要有挂载的需求，以下是记录本次调研的过程。过程首先，运行mount命令mount -t vfat /dev/sdc5 /mnt/usbhd1报以下错误 mount: wrong fs type, bad option, bad superblock on /dev/sdc5：/mnt/usbhd1 missing code

2017-05-09 15:16:32 675

转载 HBase在线系统性能优化

一、手工进行Major Compaction实时系统最好关闭HBase的自动Major Compaction，HBase在进行Major Compaction时会合并所有的存储文件，整个Region都不可用。HBase默认大约每天执行一次Compaction，最好把自动Compaction禁用，采用crontab在闲时触发执行。修改HBase配置： hbase.hre

2017-05-04 15:49:16 2484

转载 tcp socket文件句柄泄漏

今天发现有台redis机器上出现socket个数告警，这是很奇怪的现象。因为一台redis服务器上就部署了几个redis实例，打开的端口应该是有限。1、netstat显示的tcp连接数正常netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'TIME_WAIT

2017-04-06 14:29:51 10606

转载 Linux Sed命令详解+如何替换换行符"\n"(很多面试问道)

SedSed是一个强大的文本处理工具可以采用正则匹配，对文本进行插入删除修改等操作Sed处理的时候，一次处理一行，每一次把当前处理的存放在临时缓冲区，处理完后输出缓冲区内容到屏幕，然后把下一行读入缓冲区，如此重复，直到结尾。1、命令格式和参数sed [-nefr] [动作] 文件参数：-n 安静模式，在sed处理的时候，所有来自STDIN的数据都会被输出到终端，

2017-03-22 11:36:10 2867

转载 Cloudera CDH新增节点到集群参考步骤

1、新加机器环境配置首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和Python。2、上传cloudera-manager文件到/opt目录，修改agent配置文件：vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini

2017-03-21 12:24:03 4278

转载解决Linux服务器 FIN_WAIT2 连接过多的问题

原文 http://professor.blog.51cto.com/996189/1725386主题 Linux在HTTP应用中，存在一个问题，SERVER由于某种原因关闭连接，如KEEPALIVE的超时，这样，作为主动关闭的SERVER一方就会进入 FIN_WAIT2状态，但TCP/IP协议栈有个问题，FIN_WAIT2状态是没有超时的（不象TIME_WAIT状态），

2017-03-20 14:56:27 15565

转载【Linux】Linux中Swap与Memory内存简单介绍

背景介绍对于Linux来说，其在服务器市场的使用已经占据了绝对的霸主地位，不可动摇。Linux的各种设计思想和使用也被传承(当然不乏各种黑Linux，而且黑的漂亮)。Linux的很多独特的设计，对性能也产生了巨大的提升，也为其他应用软件和系统提供了参考。这篇文章介绍一下Linux中swap与memory。对于memory没什么可说的就是机器的物理内存，读写速度低于cpu一个量级，但

2017-02-24 11:18:34 565

转载【转】备份Kylin的元数据

http://blog.csdn.net/jiangshouzhuang/article/details/51290239 Kylin组织它所有的元数据(包括cube descriptions and instances, projects, inverted index description and instances,jobs, tables and dictionaries

2017-02-23 17:40:21 1050

转载 elasticsearch的store属性跟_source字段

众所周知_source字段存储的是索引的原始内容，那store属性的设置是为何呢？es为什么要把store的默认取值设置为no？设置为yes是否是重复的存储呢？　　我们将一个field的值写入es中，要么是想在这个field上执行search操作（不知道具体的id），要么执行retrieve操作（根据id来检索）。但是，如果不显式的将该field的store属性设置为yes，同时_source字段e

2016-12-23 11:02:07 1019

原创 Hbase 导入导出

导入> hbase org.apache.hadoop.hbase.mapreduce.Driver import ${tableName} ${Location}对于目录位置，支持集群和本地集群 hdfs://master:8020/user/hbase/backup本地文件 file:///home/hbase/backup导出> hbase org.apache.hadoop.hb

2016-11-30 20:40:33 689

转载事实表与维度表的区别与关系

事实表每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性纬度表的主键，而维度表包含事实记录的特性。事实数据表不应该包含描述性的信息，也

2016-11-21 20:24:43 16151

原创 Spark-yarn环境配置

一、spark-env.sh1.配置hadoop的配置文件 export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop二、spark-defaults.conf1.配置spark依赖的文件并上传到hdfs中 spark.yarn.jar=hdfs:///user/spark/jars/spark-assembly-1.6.0-hadoop2.4.0.jar

2016-11-19 17:10:14 2520

转载 Java CAS 和ABA问题

独占锁：是一种悲观锁，synchronized就是一种独占锁，会导致其它所有需要锁的线程挂起，等待持有锁的线程释放锁。乐观锁：每次不加锁，假设没有冲突去完成某项操作，如果因为冲突失败就重试，直到成功为止。一、CAS 操作乐观锁用到的机制就是CAS，Compare and Swap。CAS有3个操作数，内存值V，旧的预期值A，要修改的新值B。当且仅当预期值A和内存值V

2016-11-14 09:46:45 294

转载 JAVA CAS原理深度分析

看了一堆文章，终于把Java CAS的原理深入分析清楚了。感谢GOOGLE强大的搜索，借此挖苦下百度，依靠百度什么都学习不到！参考文档：http://www.blogjava.net/xylz/archive/2010/07/04/325206.htmlhttp://blog.hesey.net/2011/09/resolve-aba-by-atomicstampedrefe

2016-11-12 17:08:32 306

转载一分钟教你知道乐观锁和悲观锁的区别

悲观锁(Pessimistic Lock), 顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁。乐观锁(Optimistic Lock), 顾名思义，就是很乐观，每次去拿数据的时候都认为别人不会修改，所以不会上锁

2016-11-12 16:14:38 302

转载单例模式、双检测锁定DCL、volatile（转）

单例模式最要关心的则是对象创建的次数以及何时被创建。 Singleton模式可以是很简单的，它的全部只需要一个类就可以完成（看看这章可怜的UML图）。但是如果在“对象创建的次数以及何时被创建”这两点上较真起来，Singleton模式可以相当的复杂，比头五种模式加起来还复杂，譬如涉及到DCL双锁检测（double checked locking）的讨论、涉及到多个类加载器（ClassLoad

2016-11-03 11:07:21 274

原创关于volatile的一些问题

Q：什么是可见性？ A：可见性是一个线程改变值得时候如果不用volatile对其他线程是不可见的Q：volatile可以保证线程安全么？ A：不安全，volatile只能保证可见性，不能保证原子性Q：volatile线程不安全的原因？ A：在线程操作一个volatile修饰的参数时每次读取都会把这个数据从主空间复制到工作空间，假如两个线程完全同时操作了这个对象，这时候他们两个会同时复制这个对

2016-11-03 10:08:47 712

转载 Hive取非Group by字段数据的方法

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。执行以下hive ql语句：123456SELECT sid, class_id FROM table2 GROUP BY sid ;会报错：

2016-10-21 21:28:33 6213

转载 CDH集群调优：内存、Vcores和DRF

原文地址：http://blog.selfup.cn/1631.html?utm_source=tuicool&utm_medium=referral吐槽最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资

2016-10-09 16:35:48 2284

转载 java.util.concurrent并发包诸类概览

也可以任意时刻调用方法动态增减；每一个party都有unarrived和arrived两种状态，可以通过调用arriveXXX方法使得它从unarrived变成arrived；每一个线程到达barrier后会等待（调用arriveAndAwaitAdvance方法），一旦所有party都到达（即arrived的party数量等于registered的数量），就会触发advance操作，同时

2016-08-08 18:02:33 634

转载 Ajax跨域请求COOKIE无法带上的解决办法

原生ajax请求方式：var xhr = new XMLHttpRequest(); xhr.open("POST", "http://xxxx.com/demo/b/index.php", true); xhr.withCredentials = true; //支持跨域发送cookiesxhr.send();jquery的ajax的post方法请求： $.aj

2016-08-02 15:40:27 2024

转载【算法】堆，最大堆（大顶堆）及最小堆（小顶堆）的实现

此坑待埋。点击打开漫谈经典排序算法:一、从简单选择排序到堆排序的深度解析链接白话经典算法系列之七堆与堆排序二叉排序树与二叉堆堆排序（注：这篇文章说明了如何从一个数组构建一个最大堆，推荐看）最大堆的插入/删除/调整/排序操作(图解+程序)（JAVA）

2016-07-22 11:12:58 9864

转载 Kafka入门经典教程

问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是

2016-07-19 11:58:18 466

原创 centos安装mail命令以及mutt命令过程及问题总结

转载请注明出处，博客地址：http://write.blog.csdn.net/wodatoucai 谢谢！！1.安装sendmail：yum install -y sendmaill2.安装mail：yum install -y mail3.安装mutt：yum install -y mutt4.启动sendmail：/etc/init.d/sendmail start5.查

2016-07-05 18:46:27 12534

转载数据结构中常见的树（BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B+树、B*树）

BST树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； 2.所有结点存储一个关键字； 3.非叶子结点的左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；如： BST树的搜索，从根结点开始，如果查询的关键字与

2016-06-30 12:12:32 470

转载 spark createDirectStream保存kafka offset(JAVA实现)

问题描述最近使用Spark streaming处理kafka的数据，业务数据量比较大，就使用了kafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，并且没有receiver，是spark的task直接对接kakfa topic partition，能保证消息恰好一次语意，但是此种方式因为没有经过z

2016-06-28 15:18:40 1001

转载 Kafka深度解析

原创文章，转载请务必将下面这段话置于文章开头处。　　本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/01/02/Kafka深度解析

2016-06-20 18:23:56 526

转载 Scala 强大的集合数据操作示例

Scala是数据挖掘算法领域最有力的编程语言之一，语言本身是面向函数，这也符合了数据挖掘算法的常用场景：在原始数据集上应用一系列的变换，语言本身也对集合操作提供了众多强大的函数，本文将以List类型为例子，介绍常见的集合变换操作。一、常用操作符（操作符其实也是函数）++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个列表

2016-05-31 11:43:43 1040