- 博客(20)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 leetcode 341.Flatten Nested List Iterator
Given a nested list of integers, implement an iterator to flatten it.Each element is either an integer, or a list – whose elements may also be integers or other lists.Example 1:Input: [[1,1],2,[1,1...
2018-11-18 11:26:59
284
原创 关于日志那些事
关于日志那些事对于现在的应用程序来说，日志的重要性是不言而喻的。很难想象没有任何日志记录功能的应用程序运行在生产环境中。日志所能提供的功能是多种多样的，包括记录程序运行时产生的错误信息、状态信息、调试信息和执行时间信息等。在生产环境中，日志是查找问题来源的重要依据。本文从日志的定义、作用、分类、级别等角度介绍日志。什么是日志日志是用来保存系统发生的事件信息和各种对象执行的操作信息的管理对象...
2018-11-18 11:22:08
648
原创 IDEA中使用Spark SQL 连接Hive
IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的，Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序，在IDEA中连接Hive有些需要注意的地方，这里记录一下，折腾了一下午。1. 复制hive-site.xml将Spar
2018-04-15 19:39:38
23558
9
转载 Spark On YARN内存和CPU分配
转自：http://blog.csdn.NET/fansy1990软件版本：CDH：5.7.2，JDK：1.7；问题描述：在使用Spark On YARN时（无论是Client模式或者是Cluster模式，当然下面会有这种模式的对比区别），可以添加诸如：[plain] view plain copy print?–executor-memory 8G –executor-cores 5 –num-e
2017-11-29 19:00:49
808
原创 windows Hadoop开发环境搭建及远程提交
这篇文章将介绍如何搭建hadoop的开发环境，并且详细描述如何通过intellij idea开发hadoop的map-reduce程序以及远程提交。 前提：安装hadoop,下载winutils,并解压放在$Hadoop_HOME/bin目录下方法一：maven项目1、intellij idea创建maven项目这里就不多说了，先创建一个maven项目。 2、配置pom.xml文件，补全pom.
2017-11-29 13:35:23
3922
转载 Spark SQL读取hive数据时报找不到mysql驱动
Exception：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BoneCP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver
2017-11-29 11:25:35
1054
转载 Hadoop核心之HDFS 架构设计
来自：http://blog.csdn.net/suifeng3051/article/details/48548341 概述：HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容
2017-11-29 11:15:29
302
转载 Selenium之Web页面滚动条滚操作
//移动到元素element对象的“顶端”与当前窗口的“顶部”对齐 ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView();", element); ((JavascriptExecutor) driver).executeScript("arguments[0].scrollIntoView(t
2017-11-29 10:55:51
10324
转载 Ganglia在CentOS7_x86_64上的yum安装与配置
0 前记：yum安装Ganglia比起make install 安装Ganglia方式要简单很多，因为yum方式安装不用自己去下载编译安装各依赖包。 下面我介绍Ganglia在CentOS7_x86_64上的一个最简单的yum安装与配置的例子，只有1个Hadoop集群： Hadoop cluster：Hadoop集群，1个name node，20个data node（使用HadoopNameNo
2017-11-28 22:32:33
739
原创 hive 运行中断
在每台服务器上执行：ntpdate asia.pool.ntp.org 同步所有的服务器的时间不能联网时的时间同步hive java heap space
2017-11-28 22:11:36
1915
原创 Windows源码编译Hadoop 2.8.0
相关依赖1.JDK 1.7+ 2.maven 3.0+ 3.findbugs 4.zlib headers 1.2.7+ (如果要编译得到native code) 5.cmake 2.6+ 6.protocbuffer 2.5.0 7.windows SDK or Visual Studio 2010 SP1(如果是vs2010，最好升级为sp1，否则那个cvtres.exe会疯掉)
2017-08-01 22:52:50
3745
1
原创 hadoop源码编译
Hadoop源码编译： 系统：CentOS 7 源码：hadoop-2.7.31.安装Java要求jdk 1.7+以上版本，下载系统对应版本，这里我们使用jdk1.8。最好卸载之前系统自带的OpenJDK,这里使用rpm安装rpm -ivh jdk-8u131-linux-x64.rpm2.安装mavenyum install -y maven3、安装protobuf和findbugs hadoop
2017-07-12 14:50:17
267
原创 yum本地源配置
当我们需要部署系统，但是可能出现不能连外网或者网速较慢的情况，这时我们就需要搭建一个本地yum仓库了。建立本地仓库通常有两种方式： 1.可以通过 yum install –downloadonly 的方式从外网机器上下载相关的rpm安装包，然后建立一个本地仓库。 2.挂载CentOS光盘作为本地源。一、创建自定义本地源1、在一台联网的机器上使用yum下载安装依赖yum install -y --
2017-07-10 21:22:05
420
原创 CentOS安装JDK
CentOS安装JDK 1.卸载OpenJDK 2.下载JDK 3.安装JDK下载JDK从官网上下载对应系统版本的JDK,下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 我们的系统是CentOS 7 ,这里可以选择rpm包卸载OpenJDK、旧版本JDK查
2017-07-07 14:11:32
230
原创 CentOS用户添加sudo权限
CentOS用户添加sudo权限将用户添加到sudoer列表即可CentOS 默认情况下，Linux没有将当前用户列入到sudoer列表中，这时如果你使用sudo来执行某些命令的话，就会提示你该用户不再sudoer列表中。这时，我们就需要手工加入了。步骤1.切换到root用户：$su,输入root用户密码，切换到root用户 2.编辑sudo的配置文件：visudo 3.输入/root,找到##
2017-07-07 13:17:50
3232
原创 Ubuntu 16.04 安装之后常见环境配置
Ubuntu 16.04 安装之后常见环境配置安装Ubuntu后，搭建常用的开发环境：安装git和vpncoracle java搜狗输入法vimsublime text 3chromepycharmIntellijIDEA安装脚本sudo apt-get install vpnc git #安装vpn和gitsudo apt-get remove unity-webapps-co
2016-07-21 18:38:31
835
原创 VS2013编译ffmpeg
VS2013编译ffmpeg由于毕设需要开始学习ffmpeg，因为要修改源码所以这里只能是源码编译。如果要直接使用ffmpeg网上有现成的SDK。源码编译，当然搭环境的是第一步。在Windows平台上比较麻烦，需要的东西比较多。MingwyasmSDLffmpeg具体步骤1.安装mingw,下载地址：http://www.mingw.org/；下载完成后安装，安装完成后点运行，标记上以下几
2016-04-02 17:26:33
760
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人