- 博客(24)
- 收藏
- 关注
RSS订阅原创 工具类打jar包
以最简单的Hello world项目为例，开始分步讲解。1.新建Hello world项目1.1 打开idea，菜单File->new->project1.2 左侧选择java，右侧什么都不选，单击next1.3 打对勾“Create project from template”，选择“Java Hello World”，单击next1.4 项目名和项...
2019-08-22 16:29:55
1966
1
转载 数据仓库设计流程
数据仓库(一)之需求篇:https://blog.csdn.net/mark_wu2000/article/details/82630852数据仓库(二)之维度建模篇:https://blog.csdn.net/mark_wu2000/article/details/82668787数据仓库(三)之架构篇:https://blog.csdn.net/mark_wu2000/art...
2019-08-20 20:22:30
606
原创 hive优化
1.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化...
2019-08-13 16:19:58
169
原创 hive优化
分区表/桶表应用，skew，map-join //见hive的基本语法行列转换hive 优化hive 优化思想Explain 的使用经典案例(distinct count)数据倾斜的原因操作：关键词 情形 后果1、Join 其中一个表较小，但是key 集中分发到某一个或几个Reduce 上的数据远高于平均值 ；2、大表与大表，但是分桶的判断字段0 值或空值过多这些空值都由一...
2019-08-13 15:40:14
121
原创 hive优化
1、limit限制调整一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。有一个配置属性可以开启，避免这种情况---对数据源进行抽样hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能hive.limit.row.max.size --- 设置最小的采样容量hive.limit.optimize.limit.fi...
2019-08-13 11:43:14
204
原创 hive优化
hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等替代品。今天不谈其它，就来说说关于hive，个人的一点心得。一. 表连接优化1. 将大表放后头Hive假定查询中最后的一个表是大表。它会将其它表缓存起来，然后扫描最后那个表。因此通常需要将小表放前面，或者标记哪张表是大表：/*streamtable(table_name)...
2019-08-13 10:29:12
186
转载 Shell脚本学习之expect命令
一、概述 我们通过Shell可以实现简单的控制流功能，如：循环、判断等。但是对于需要交互的场合则必须通过人工来干预，有时候我们可能会需要实现和交互程序如telnet服务器等进行交互的功能。而expect就使用来实现这种功能的工具。 expect是一个免费的编程工具语言，用来实现自动和交互式任务进行通信，而无需人的干预。expect是不断发展的，随着时间的流逝，其功...
2018-08-13 11:38:22
509
转载 IDEA调试JDK源码的详细过程
前言IntelliJ IDEA版本：2017.3.2 JDK版本：1.8操作过程JDK的安装以及IntelliJ IDEA配置JDK的操作这里就不讨论了，不知道可以网上查一下jdk的安装包里自带的有源码，就在jdk安装的根目录下。 一般来说IDEA配置好JDK以后就jdk的源码也就自动配置好了 如果没有的话 点击菜单File –> Project Structure...
2018-08-10 10:08:41
3061
转载 配置防火墙，开启80端口、3306端口 & iptables 使用详解
1：配置防火墙，开启80端口、3306端口 vi /etc/sysconfig/iptables-A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT（允许80端口通过防火墙）-A INPUT -m state –state NEW -m tcp -p tcp –dport 3306 -j ACCEPT（允许330...
2018-08-01 12:01:23
981
转载 ERROR 1044 (42000): Access denied for user ''@'localhost' to database 'mysql'
在使用mysql表时，提示：ERROR 1044 (42000): Access denied for user ''@'localhost' todatabase 'mysql'！因为在mysql数据库的user表里，存在用户名为空的账户即匿名账户，导致登录的时候是虽然用的是root，但实际是匿名登录的，通过错误提示里的''@'localhost'可以看出来，于是解决办法如下（推荐使用方法...
2018-08-01 11:36:32
917
转载 linux系统下MySQL表名区分大小写问题
问题如下：比如上图中的PERSON表，查询SQL语句中如果表名是小写，就会报错说person表不存在。因为Linux环境下的MySQL数据库的表名默认是区分大小写的，可以查看Linux上的MySQL的配置文件/etc/my.cnf:[root@VM_219_131_centos tomcat7]# cat /etc/my.cnf [mysqld]datadir=/var...
2018-08-01 10:25:57
352
转载 centos6 安装 jenkins
2016-08-31 09:34:10一、Jenkins简介 Jenkins 是一个开源项目，提供了一种易于使用的持续集成系统，使开发者从繁杂的集成中解脱出来，专注于更为重要的业务逻辑实现上。同时 Jenkins 能实施监控集成中存在的错误，提供详细的日志文件和提醒功能，还能用图表的形式形象地展示项目构建的趋势和稳定性。Jenkins可以做到持续编译和发布软件项目，这使得开发...
2018-07-27 08:52:37
509
转载 CentOS 6 下搭建SVN服务器
一，介绍SVN SVN是Subversion的简称，是一个开放源代码的版本控制系统，相较于RCS、CVS，它采用了分支管理系统，它的设计目标就是取代CVS。互联网上很多版本控制服务已从CVS迁移到Subversion。说得简单一点SVN就是用于多个人共同开发同一个项目，共用资源的目的。 ----百度百科二，安装SV官网下载： http://subversion.apache.or...
2018-07-25 14:14:32
678
原创 nginx重启 平滑重启
进入 ngiinx sbin目录下./nginx -c /usr/local/nginx/conf/nginx.conf -c参数指定了要加载的nginx配置文件路径停止操作停止操作是通过向nginx进程发送信号来进行的步骤1：查询nginx主进程号ps -ef | grep nginx在进程列表里 面找master进程，它的编号就是主进程号了。步骤2：发送信号...
2018-07-22 14:40:14
13311
1
转载 centos jdk安装
1、源码包准备：首先到官网下载jdk-8u66-linux-x64.tar.gz，http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、解压源码包通过终端在/usr/local目录下新建java文件夹，命令行：sudo mkdir /usr/local/java...
2018-07-21 17:47:32
128
原创 gulp启动web项目报错 没有权限
gulp启动web项目报错 没有权限解决: cd webproject;chmod -R 777 * 给项目下所有文件授权internal/child_process.js:323 throw errnoException(err, 'spawn'); ^Error: spawn EACCES at _errnoException (util.js:10...
2018-07-21 17:32:21
1180
转载 在CentOS 环境，安装Node.js
在CentOS 6.5 64bit环境下，安装Node.js： 一、下载源码及解压 wget http://nodejs.org/dist/v8.9.4/node-v8.9.4-linux-x64.tar.gz tar zxvf node-v8.9.4-linux-x64.tar.gz 二、移动解压后的文件夹到指定处并重命名 mv node-v8...
2018-07-21 17:07:54
191
转载 Centos6 Nginx安装
Centos6 Nginx安装1.下载nginx 方法一 wget http://nginx.org/download/nginx-1.11.6.tar.gz 方法二 http://nginx.org/en/download.html在Nginx官网手动下载2.解压nginx的gz包 tar -zxvf nginx-1.11.6.tar.gz 这里我选择安...
2018-07-20 21:01:03
268
转载 Linux Supervisor的安装与使用入门(转载)
Linux Supervisor的安装与使用入门 在linux或者unix操作系统中，守护进程（Daemon）是一种运行在后台的特殊进程，它独立于控制终端并且周期性的执行某种任务或等待处理某些发生的事件。由于在linux中，每个系统与用户进行交流的界面称为终端，每一个从此终端开始运行的进程都会依附于这个终端，这个终端被称为这些进程的控制终端，当控制终端被关闭的时候，相应的进程都会自...
2018-07-20 20:19:04
788
转载 centos redhat安装yum
安装CentOS版本的yum（转载）安装CentOS版本的yum下载源：http://mirrors.163.com/centos/6/os/i386/Packages/ 材料准备： python-iniparse-0.3.1-2.1.el6.noarch.rpm python-urlgrabber-3.9.1-11.el6.noarch.rpm...
2018-07-20 16:22:24
477
转载 插入排序
排序算法总结之插入排序一，插入排序介绍 插入排序是基于比较的排序。所谓的基于比较，就是通过比较数组中的元素，看谁大谁小，根据结果来调整元素的位置。因此，对于这类排序，就有两种基本的操作：①比较操作； ②交换操作其中，对于交换操作，可以优化成移动操作，即不直接进行两个元素的交换，还是用一个枢轴元素(tmp)将当前元素先保存起来，然后执行移动操作，待确定了最终位置后，再将当前元素放入合适的位置。（下面...
2018-04-25 18:38:15
197
原创 Java JVM 运行机制及基本原理
JVM的基础概念JVM的中文名称叫Java虚拟机，它是由软件技术模拟出计算机运行的一个虚拟的计算机。JVM也充当着一个翻译官的角色，我们编写出的Java程序，是不能够被操作系统所直接识别的，这时候JVM的作用就体现出来了，它负责把我们的程序翻译给系统“听”，告诉它我们的程序需要做什么操作。我们都知道Java的程序需要经过编译后，产生.Class文件，JVM才能识别并运行它，JVM针对每个操作系统开...
2018-03-01 09:43:21
159
转载 定时任务集群
Spring+quartz集群配置，Spring定时任务集群，quartz定时任务集群一、问题描述Spring自带的Task虽然能很好使用定时任务，只需要做些简单的配置就可以了。不过如果部署在多台服务器上的时候，这样定时任务会在每台服务器都会执行，造成重复执行。 二、解决方案Spring+quartz 集群可以解决多服务器部署定时器重复执行的问题。 1、下载quar
2018-01-05 23:09:07
1090
转载 spring配置
1.前言公司老项目的后台，均是基于spring框架搭建，其中还用到了log4j.jar等开源架包。在新项目中，则是spring和hibernate框架均有使用，利用了hibernate框架，来实现持久化，简化sql操作等。Hibernate配置文件可以有两种格式，一种是 hibernate.properties，另一种是 hibernate.cfg.xml。后者稍微方便一些，当增加hbm映射文
2017-11-02 16:48:06
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人