- 博客(25)
- 收藏
- 关注
RSS订阅翻译 java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: The connection proper
sqoop问题： java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: The connection propersqoop import --connect "jdbc:mysql://localhost/employees?zeroDateTimeBehavior=CONVE...
2018-08-01 17:48:19
3466
转载 Hive高级查询(group by )
group by按照某些字段的值进行分组，有相同值放到一起。 样例select col1 [,col2] ,count(1),sel_expr（聚合操作）from tablewhere condition -->Map端执行group by col1 [,col2] -->Reduce端执行[having] -->...
2018-07-15 16:58:05
638
原创 Hive遇到的问题（详细总结）
问题1：hive配置完成以后执行：schematool --dbType mysql --initSchema 出现：[hadoop@mini0 bin]$ ./schematool --dbType mysql --initSchemaMetastore connection URL: jdbc:mysql://mini1:3306/metastore?createDa...
2018-07-12 22:05:24
1924
原创 Hive安装配置
环境介绍：hadoop-2.9.1、hive-1.2.0节点规划： mini0 hadoop hive(server) metastore mini1 hadoop mysql mini2 hadoop hive(client)参考网站： Hive安装配置指北（含Hive Metastore详解）：https...
2018-07-12 21:10:06
719
转载 java.lang.NoSuchMethodError: org.apache.kafka.common.network.NetworkSend
Storm集成kafka时（IDEA环境下），出现了这个问题，提示如下：7630 [Thread-16-spout-executor[3 3]] INFO o.a.s.k.PartitionManager - Read partition information from: /test-topic/04680174-656f-41ad-ad6f-2976d28b2d24/partitio...
2018-07-02 16:02:49
5705
原创 Exception in thread "main" java.lang.NoClassDefFoundError: scala/ScalaObject
今天运行Maven创建的kafka的Producer和Consumer时（IDEA环境下），出现了这个问题，提示如下：“C:\Program Files\Java\jdk1.8.0_171\bin\java” … Exception in thread “main” java.lang.NoClassDefFoundError: scala/ScalaObject at java....
2018-06-28 15:29:54
3234
原创 MapReduce本地模式
本地模式方便debug，推荐使用做以下配置是可以在本地正常调试运行，出现问题的话可能是环境配置的问题：1、替换本地hadoop根目录下的bin/、lib/，（解压默认是linux运行环境），替换后如下图 2、配置环境变量，指定本地hadoop根目录、bin目录： 3、在程序中添加一下代码，更多配置，请查找.xml文件 // 本地模式：local ； 提交到yarn上就改为：y
2017-11-27 11:02:24
677
原创 hadoop问题合集&&解决方法
常出现的问题问题一： Error: java.lang.ArrayIndexOutOfBoundsException: 1 出现错误提示的截图如下， 错误原因大概是数组超限的原因，我就去查看所用到的文件 原来是文本最后多出一个空行 解决方法： 更改并检查文本，重新上传，重新执行一遍即可解决
2017-11-25 10:22:03
284
转载 如何在官网下载Spring各个版本的jar包？
转自：http://blog.csdn.net/yuexianchang/article/details/53583327谢谢原创1:浏览器输入官网地址：http://spring.io/projects 2:点击如图树叶页面按钮。 3:点击如图小猫图片按钮。 4:查找downloading spring artifacts 链接点击。 5:查找Manually do
2017-11-18 09:41:14
391
原创 win7下的cmd基本操作
使用声明：本人学习大数据方向，偶尔会用到win下的命令行，以下命令均是实践总结的命令，不知道时候符合语法，自己学习使用，请谨慎参考，以免误导大家；大神请绕道一、Win7下cmd命令——文件夹相关 1、进入D盘根目录：D:\ 2、查看当前目录：dir 3、进入目录：cd 目录名；返回上级目录cd ..
2017-11-14 12:32:03
5870
原创 VM虚拟机克隆
虚拟机克隆 （假设已经安装好centos7 64位，命名为”master”，克隆后的虚拟机命令为slave1、slave2……）step1：虚拟机关闭状态下，选择要克隆的系统”右击“step2:step3:step4:step5: 这里根据需要选择，建议选择创建完整克隆step6:step7:
2017-10-21 13:07:05
476
原创 python相关的博客以及网站（记录学习的点点滴滴，回顾时清清楚楚）
1、你是如何自学 Python 的？ https://www.zhihu.com/question/20702054 2、centos7 安装python3.6： http://www.jianshu.com/p/b38f893b0bca
2017-09-07 17:11:19
356
原创 好用的软件工具（总有一款适合你，更新中。。。）
TeamViewer（穿透内网远程控制软件 ）网址：http://rj.baidu.com/soft/detail/18099.html?ald未完待续。。
2017-07-23 18:27:48
552
转载 Linux入门学习之vi/vim编辑器
一、我们为什么要学习vim编辑器？Linux的命令行界面下面有非常多的文本编辑器。比如经常听说的就有Emacs、pico、nano、joe与vim等。vim可以看做是vi的高级版。我们为什么一定要学习vim呢？有以下几个原因：(1)所有的Unix like系统都会内置vi文本编辑器，其他的文本编辑器则不一定会存在。(2)很多软件的编辑接口都会主动调用vi。(3)
2017-07-22 17:23:43
321
原创 Linux编译器GCC
1. GCC简介1.1 Gcc特点Gcc（GNU C Compiler）是GNU推出的功能强大、性能优越的多平台编译器，是GNU的代表作之一。Gcc可以在多种硬体平台上编译 出可执行程序，其执行效率与一般的编译器相比平均效率要高20%~30%。1.2 Gcc基本用法Gcc最基本的用法是∶gcc [options] filenames options：编译器所需要的编译选项 filenames:
2017-07-18 14:30:53
519
原创 Root密码破解
破解Root密码破解步骤：step1. 系统启动时进入grub选项菜单 进入下面的grub界面： step2. 在grub选项菜单按e进入编辑模式step3 .编辑kernel那行 添加 /init 1光标移动到kernel开头的那一行， 按下键盘上的“e”键出现下面的界面， 输入：（空格）init 1（回车） step4. 按b重启输入“b”，重新启动进入Linux命令界面，
2017-07-17 16:29:17
542
原创 Sudo用户管理
1.权力分配（权利下放，有点类似于公司管理，把部分权利下放给某个人）-sudo Sudo是Unix/Linux平台上的一个非常有用的工具，它允许系统管理员分配给普通用户一些合理的“权力”，让他们执行一些只有超级用户或其他特许用户才能完成的任务（主要体现为命令），比如：运行一些像mount，halt，su之类的命令，或者编辑一些系统配置文件，像/etc/mtab， /etc/samba/smb.
2017-07-17 15:19:35
352
原创 TFTP与NFS服务器配置
1. 前面介绍的Linux和windows之间的通讯途径已经够多了，为什么还要介绍tftp和NFS?答：交叉开发：嵌入式系统开发多采用交叉开发模式，其中产生嵌入式软件的平台称为宿主机，通常为PC电脑，运行嵌入式软件的平台称为目标机。宿主机一般通过网络，USB，TAG等方式将软件下载到目标机。网络下载：TFTP、MFS注意：开始下面操作之前需要先关闭防火墙：/etc/init.d/iptables s
2017-07-17 13:39:01
440
原创 Windows与Linux文件共享
1、前提1.1 从windows能够Ping通Linux 1.2 关闭Linux防火墙 运行命令：/etc/init.d/iptables stop（start为打开）2、登录方法2.1 方法一：使用WinSCP工具 工具链接：http://pan.baidu.com/s/1sloFahR 密码：91we打开工具，见下图，填写完之后点击“Login”按钮第一次打开会出现下图警告，直接点击”yes
2017-07-17 10:32:53
339
原创 远程登录Linux
1. 登录任务Windows主机>>>>>远程登录>>>>>Linux主机2. 登录前提(1) 从Windows能够ping通Linux (2) 关闭Linux防火墙，运行命令：/etc/init.d/iptables stop（start是开启防火墙）（下面两种方法都需要关闭防火墙）3. 登录方法3.1. 方法一：使用Putty工具（命令行界面）链接： http://pan.baidu.com
2017-07-14 21:06:55
468
原创 Linux网络配置（虚拟机版）
Linux网络设置（虚拟机版）1.Vmware网络设置 2.Linux网络设置一、Vmware网络设置VMWare提供了三种网络工模式供用户选择，它们分别是： (1)bridged(桥接模式) (2)NAT(网络地址转换模式) (3)host-only(主机模式)1.bridged(桥接模式) 2.host-only(主机模式) 3.NAT(网络地址转换模式) 要根据网络环境选
2017-07-14 18:06:59
405
原创 Linux命令详解
第一组：用户管理类命令1.添加用户 格式：useradd [选项] 用户名* * * * * * * * 范例：useradd david -添加名字为david的用户，当用户创建成功后，会在/home/ 目录下生成与用户名同名的目录. 2.删除用户 格式：userdel [选项] 用户名 范例：userdel –r david -删除名字david为 的用户 ,“-r”选项会使/hom
2017-07-14 16:20:29
330
翻译 vimtutor中文版1.7
================================================================================ 欢 迎 阅 读 《 V I M 教 程 》 —— 版本 1.7 = Vim 是一个具有很多命令的功能非常强大的编辑器。限于篇幅，在本教程当中 就不详细介绍了。本教程的设计
2017-07-14 14:25:27
939
原创 入门Linux，第一个Hello world程序
入门Linux，第一个Hello world程序提示： step1：在开始第一步之前，需要亲先学习vim编辑器的使用，推荐教程vimtutor，在命令行中输入：vimtutor（回车）即可打开。 step2：当然Linux系统上需要先安装gcc编译器，在Linux系统网络状态良好的情况下，centos系统在命令行输入：#yum install gcc（回车），系统
2017-07-12 16:21:35
702
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-05-12 16:53:57
791
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人