- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅
转载 hive的常用交互命令 -hivevar 参数传递
Hive -hivevar 参数传递命令行模式，或者说目录模式，可以使用hive 执行命令。选项说明：-e : 执行短命令-f : 执行文件（适合脚本封装） -S : 安静模式，不显示MR的运行过程-hivevar : 传参数 ，专门提供给用户自定义变量。-hiveconf : 传参数，包括了hive-site.xml中配置的hive全局变量。例子1：hive -e 查询命令...
2019-01-09 20:05:34
7543
转载 hive的日期函数详解
hive的日期函数这里转载一下Hive的日期函数的使用，写的相当完整。日期函数UNIX时间戳转日期函数:from_unixtime语法:from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive&g...
2019-01-08 19:48:10
252
1
原创 hadoop集群配置时间服务器的详细步骤
(这里写自定义目录标题)欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设...
2018-12-07 20:40:58
770
原创 MapReduce清洗数据乱码问题
/*This class stores text using standard UTF8 encoding.*/public class Text extends BinaryComparable implements WritableComparable<BinaryComparable> { private static ThreadLocal<CharsetEncoder&am
2018-11-28 21:57:19
1199
原创 使用VMware安装CentOS 6.5 mini版报错/etc/rc5.d/s99local:line 25:eject:command not found
使用VMware安装CentOS 6.5 mini版报错/etc/rc5.d/s99local:line 25:eject:command not found解决方案：删除此虚拟机，重新安装，安装的时候选择“稍后安装操作系统”，先不设置ISO文件。其余基本默认，一路下一步；虚拟机创建后再选择镜像文件的路径，开始安装操作系统。详细的安装教程可以参考此处：使用VMware安装虚拟机Ce...
2018-11-26 20:55:20
4625
2
原创 pandas中dataframe的基本入门
1、生成dataframedata={'id'：[1,2,3,4,5],'name':['aaa','bbb','ccc','ccc','eee']}df=pd.DataFrame(data)frame = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['aa', 'bb', 'cc', 'dd'])df=pd.read_sql(" ",con...
2019-06-11 10:53:35
286
原创 python中dataframe对列的相关操作
df1=pd.DataFrame({'id':[1,2,3,4],'name':['aa','bb','cc','dd'],'class':[1,1,2,2]})一、获取dataframe中所有列名称df.columnsIndex类型Index([‘id’, ‘name’, ‘class’], dtype=‘object’)df.columns.valuesarray...
2019-05-17 18:45:57
1520
原创 python中dataframe更改列名称
更改列名称有两种方式：df1=pd.DataFrame({'id':[1,2,3,4],'name':['aa','bb','cc','dd'],'class':[1,1,2,2]}) id name class0 1 aa 1 1 2 bb 1 2 3 cc 2 3 4 dd 2方法一：使用r...
2019-05-17 17:31:39
58087
转载 数据仓库之拉链表（二）使用拉链表更新数据
第一章记录了拉链表的概念，通过例子对拉链表有直观的具体的理解数据仓库之拉链表（一）概念理解接下来记录历史拉链表的更新方法：转载地址：http://lxw1234.com/archives/2015/08/473.htm前提假设：数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据；如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史；订单状态包括三个...
2019-04-23 11:47:12
3857
转载 数据仓库之拉链表（一） 概念理解
拉链表是针对数据仓库设计中表存储数据的方式而定义的，就是记录历史数据的每个状态，记录一个事物从开始，一直到当前状态的所有变化的信息；拉链表通常是对账户信息的历史变动进行处理保留的结果转载地址：http://lxw1234.com/archives/2015/04/20.htm使用场景：数据量比较大;表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;需要查看某...
2019-04-22 17:37:10
12777
1
转载 数据仓库的层级结构
数据仓库的层级结构转载地址：https://blog.csdn.net/gla10/article/details/73525708一般常规的数据仓库层级结构可分为：ods、dw(默认为汇总数据层，也可在细分为dwd(明细)与dw(汇总)两层)、dm共三层；ods层：称为接口层或近源数据层，表结构与源系统表结构高度相似，通常ods层主要做字段的筛选，枚举值转换，编码统一，异常&缺失...
2019-04-22 13:43:59
5449
原创 CentOS6.5安装MongoDB的步骤
安装的mongodb版本是3.4，尽量安装时候用root用户操作，避免权限限制问题步骤如下：（在root用户下操作的）1、配置mongo的yum源vi /etc/yum.repos.d/mongodb-org-3.4.repo文件添加如下内容：[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb....
2019-01-23 20:23:46
572
原创 elasticsearch集群搭建时遇到的问题以及解决方法
问题描述：[2018-12-27T19:44:02,723][INFO ][o.e.d.z.ZenDiscovery ] [node-03] failed to send join request to master [{node-02}{eX1tYZ-ISzq-DLrUaAQBQA}{jnmYHtQGRU2R-U1nAcZ6dg}{192.168.229.129}{192.168.22...
2019-01-23 19:46:53
1379
原创 sqoop连接不上mysql数据库的问题和解决方法
18/12/17 13:20:26 ERROR manager.CatalogQueryManager: Failed to list databasesjava.sql.SQLException: Access denied for user ‘root’@‘hadoop01’ (using password: YES)at com.mysql.jdbc.SQLError.createSQL...
2019-01-23 15:49:46
9967
2
转载 Linux服务器jps报process information unavailable
在Linux下执行 jps 是快速查看Java程序进程的命令，一般情况下hadoop，hbase，storm等进程都是通过jps查看，有些时候因为进程没有被正常结束，比如资源占用过大时挂掉或者没有结束进程就直接重启计算机，会导致原有进程变为-- process information unavailable这样的空值，有时候不用管它，一段时间后会自动消失，如果一直不消失的情况下，可以使用如下方法清...
2019-01-23 14:15:25
132
转载 网页背景动态线条 鼠标吸附动态线条效果的实现
经常在浏览网页的时候看到有鼠标能够吸附动态线条的动画效果，如下所示觉得很酷炫，百度了一下（记录下来，以后就可以使用了），效果是用一段js代码实现的，如下所示<script>!function(){function n(n,e,t){return n.getAttribute(e)||t}function e(n){return document.getElements...
2018-12-15 21:31:07
3385
8
原创 hbase用java客户端连接不上服务端的问题汇总及解决方法
问题一：异常信息：Exception in thread “main” java.io.IOException: java.lang.reflect.InvocationTargetExceptionat org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)...
2018-12-07 21:30:56
2536
原创 kafka用java编写消费者 消费不到数据
这是报的异常：Caused by: java.nio.channels.UnresolvedAddressExceptionat sun.nio.ch.Net.checkAddress(Net.java:101)at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622)at org.apache.kafka.com...
2018-12-07 21:12:05
3842
转载 Spark-Streaming 和Kafka连接的两种方式
概述Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 Spark Streaming 官方提供了两种方式读取Kafka数据：一是Receiver-base...
2018-12-06 22:49:22
871
转载 Java按行进行文件的读取或写入
/*** 一行一行读取文件，适合字符读取，若读取中文字符时会出现乱码** 流的关闭顺序：先打开的后关，后打开的先关，* 否则有可能出现java.io.IOException: Stream closed异常** @throws IOException*/@Testpublic void readFile01() throws IOException {FileRea...
2018-12-06 22:28:50
1874
原创 用IDEA集成Git进行版本控制时遇到的问题及解决方法
问题描述：but initial push failed: Authentication failed for ‘https://gitee.com/aaa.git/’ Authentication failed for 'https://gitee.com原因：用IDEA提交代码到码云时报如上错误，原因是用户名和密码输入错误(尽量用注册的邮箱登录，因为我用的用户名登陆所以报错了)解决方法...
2018-12-05 22:47:31
837
原创 查看字符编码 在线编码转换网站汇总
由于编程中理解代码和内部原理的需要，收藏了一些能够转换和查看字符常见编码的网站，方便以后使用，免得用的时候找不到查看字符的GBK编码值http://www.mytju.com/classcode/tools/encode_gb2312.asp查看字符的UTF-8编码值http://www.mytju.com/classcode/tools/encode_utf8.asp中文和UTF-8互...
2018-12-05 22:34:43
2786
1
原创 使用VMware虚拟机安装CentOS 6.5 minimal版教程
使用VMware虚拟机安装CentOS 6.5迷你版教程安装CentOS6.5 mini版材料：迷你版的镜像文件iso，vmware步骤：一、创建虚拟机1、打开VMware—>文件—>新建虚拟机，默认选择，直接下一步2、选择“稍后安装操作系统”，点击下一步。（这里因为是迷你版，所以选择稍后安装，否则后边会报错；如果是普通版本，有镜像文件，默认选择安装程序光盘映像文件即可。...
2018-11-26 20:52:30
1605
1
实现鼠标动态吸附线条的js代码
2018-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人