墨砚-CSDN博客

原创 Hudi基础 -- Spark SQL DDL

Hudi基础Spark SQL DDL

2023-02-09 23:29:34 576 1

第一章数据仓库、商业智能及维度建模初步数据仓库岗位的定位：管理组织中的数据并将其用于业务用户的决策制定过程中。DW/BI首先应该考虑的问题是业务需求，DW/BI系统必须以业务用户的需求来驱动。所以在工作过程中，数仓开发人员一定要深入到业务中去，深入调研了解业务的目标、数据用户的诉求1.1 数据获取与数据分析的区别信息的两个作用：a. 操作型记录的保存b.分析决策的制定即操作系统系统保存数据，DW/BI系统使用数据。DW/BI系统与操作型系统的对比：DW/BI系统操作型

2021-03-31 01:01:18 258

原创 Hive优化之Mapjoin

一、场景MapJoin是Hive的一种优化操作，其适用于小表JOIN大表的场景，由于表的JOIN操作是在Map端且在内存进行的，所以其并不需要启动Reduce任务也就不需要经过shuffle阶段，从而能在一定程度上节省资源提高JOIN效率。二、使用2.1 Hive v0.7 之前通过在查询语句中增加一个标记进行触发：SELECT /*+ MAPJOIN(smalltable)*/ sma...

2019-11-28 21:14:46 993

原创 centos下yum升级内核

1、下载ELRepo的GPG密钥: rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org2、安装ELRepo到CentOS 6.6中(ELRepo是Linux的第三方软件仓库) rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm3、安装长

2015-10-24 21:14:57 640

原创 Linux下安装docker

1、lsb_release -a : 查看操作系统的信息2、uname -a : 查看操作系统的内核信息如果内核版本过低，我们要升级内核，Docker的推荐版本是3.83、从ELRepo软件仓库下载安装3.10版本的内核 rpm –import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org rpm -Uvh http:/

2015-10-24 21:11:17 839

原创 git diff和git log中文乱码

好吧！大阅兵结束了，我的git不知道怎么突然冒出这么多问题！！！问题：使用git diff和git log命令时中文全是乱码，乱码如下：解决方案： echo $LANG; 输出结果为空执行export LANG=”zh_CN.UTF-8”命令，问题解决。

2015-09-09 23:48:46 13521 2

原创 error: insufficient permission for adding an object to repository database .git/objects

在使用git fetch bigdata拉取远程仓库的最新代码到本地的时候，git报错： error: insufficient permission for adding an object to repository database .git/objects解决方案:（ .git是隐藏文件，在本地git仓库下通过ls -la可以看到）进入 .g

2015-09-09 23:40:34 801

原创 mac上session的存储位置

在mac上配置了php开发环境：nginx+php，一直想找到session的存储位置，后来发现在php.ini配置文件中可以看到：打开php.ini文件，找到session.save_path=”“配置项，就可以看到session的存储位置。

2015-08-29 17:59:48 2591

原创 ThinkPHP缓存文件写入失败！:./Runtime/Cache/..

最近在学习ThinkPHP框架，从网上down了一个项目，在本地配置这个项目时，出现了一个问题，无法写入/Runtime/Cache缓存，这个问题是权限问题，首先要看看在自己的项目/Application/下有没有Runtime这个文件夹，如果没有，就自己在/Application/建好Runtime文件夹，然后设置Runtime文件夹下及其下面的子文件夹的权限，方法：在终端进入Runtime文件夹

2015-07-22 23:21:15 21312

原创 Mysql数据库中不能插入中文

在使用Mysql数据库的过程中，遇到一个问题，向一个数据表中插入数据时，由于其中一个字段的值是中文，数据库报错，无法插入。从网上找了很多方法都不太好用，最后发现一个简单可行的方法：在建表语句中指定字符编码格式。如果不指定，mysql默认的编码方式是latin1，通过（show create table 表名）可以看到，ENGINE=InnoDB AUTO_INCREMENT=3 DEFAUL

2015-07-22 22:58:38 9109 1

原创 thinkPHP 由生成模式变为开发模式

在使用ThinkPHP开发的过程中，如果要使用自己的项目中的config.php文件中的配置信息，而不是使用ThinkPHP的conversion.php中自带的配置信息，就要将ThinkPHP的生成模式调整为调试模式，方法为在入口文件index.php中添加：define("APP_DEBUG",true);

2015-06-10 17:35:54 766

原创 Apache your port 80 is not actually used

最近学习PHP，使用的环境是wampserver，但是安装完成后，Apache服务器一直无法启动，测试80端口，显示： your port 80 is not actually used这句话的意思是你的电脑的80端口实际上没有使用，在网上看到各种解决办法，最终经过测试，找到一个比较简单的方法就是把你的wampserver安装在C盘下，当然，这不是最好的方法，因为有些小伙伴对安装在C盘这种行为是难

2015-06-10 17:20:37 10780 1

原创 Notice: Constant CSS_URL already defined in C:\wamp\www\PHP\shop\index.php

最近在学习ThinkPHP，为了方便对网页中使用到的图片和css样式好管理，我在入口文件里声明了路径常量，这样后期维护时只需要维护一个常量即可，但是，当我在浏览器里调试时，出现了如下问题：这些是 PHP 的提示而非报错，PHP 本身不需要事先声明变量即可直接使用，但是对未声明变量会有提示。解决办法： 1.在入口文件里加上 error_reporting(_ALL & ~E

2015-06-09 14:45:55 3051

原创 CMCC无Internet访问

CMCC无Internet访问上篇博客是阻止浏览器打不开网页时自动跳转到114网址导航的方法，但是，后来我再学校使用宿舍的CMCC网络的时候，我发现我的电脑再也链接不上CMCC了，各种检测驱动，重装驱动，问题都解决不了，就差重装系统了。。。后来听宿舍一哥们说可能是DNS服务器设置的问题，我忽然想到前几天调试程序的时候，为了阻止浏览器打不开网页时自动跳转到114网址导航页面，配置了DNS服务器。我马上

2015-06-09 14:02:25 2603

原创去除114网址导航

去除114导航前段时间在本地调试一个web程序，由于虚拟主机没有配置好，在本地访问系统的时候无法加载，但是浏览器总是自动跳转到114导航页面上去，在网上找了好多方法，最后终于找到了解决办法：打开网络和共享中心（控制面板\网络和 Internet\网络和共享中心），配置一下DNS服务器就可以了。然后双击Internet 协议版本4，选择“使用下面的DNS服务器地址”，在DNS服务器地址里填写的内容如

2015-06-09 13:39:32 1979

转载将Sublime Text 2搭建成一个好用的IDE

将Sublime Text 2搭建成一个好用的IDE　　　　　　　　　　　　　　　　　　将Sublime Text 2搭建成一个好用的IDE　　说起编辑器，可能大部分人要推荐的是Vim和Emacs，本人用过Vim，功能确实强大，但是不是很习惯，之前一直有朋友推荐SUblime Text 2这款编辑器，然后这段时间就试了一下，就深深地喜欢上这款编辑器了，对于类似的编辑器，我用

2015-06-07 12:51:14 647

原创 2015年的春天——我在北京

2014年12月28日17:30，我交上最后一份考卷，可能也是我这辈子的最后一份考卷，然后淡然的走出考场，考研结束了。我知道，我要告别校园生活了。 2015年3月15日8:16，开往北京的G184很准时的开动了，载着一个年轻人的希望和对前方的些许恐惧。这是我第一次坐高铁，也是我第一次去帝都，一个在耳边听说过无数次，在心里向往过很多次而又陌生的城市。列车在铁轨上飞驰了四个多小时

2015-05-09 03:31:46 1363 4

原创将SQL查出的数据导入一个文件

由于业务需要，有时我们需要将使用sql语句查询出来的结果导入到一个文本文件中，下面是hive中从业务数据库将查询到的一份数据导入到一个文本文件的方法：insert overwrite local directory '/home/hadoop/txt'select name, sex, age from studentswhere 条件 ;

2015-05-08 08:46:44 1044

原创 linux下scp使用秘钥

今天我从hadoop上同步一个文件到本地，使用到scp的一个参数-i来加载秘钥，但是执行时出现了错误：@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@

2015-05-07 10:12:41 3469

原创 cp和scp

1、cp命令名称：cp 使用权限：所有使用者使用方式： cp [options] source dest cp [options] source... directory 说明：将一个档案拷贝至另一档案，或将数个档案拷贝至另一目录。 options取值范围： -a 尽可能将档案状态、权限等资料都照原状予以复制。 -r 若 s

2015-04-30 08:45:47 859

转载我的个人知识管理工具一览及相关经验技巧

文章出处：http://blog.csdn.net/lanxuezaipiao/article/details/17847283在这个信息大爆炸的时代，相信每个人每天都接收很多信息，有用的无用的一大堆。信息和知识不能混为一谈，有用的信息才能转化为知识，有些知识可能会影响你的一生，因此如何保存和管理知识，是个人知识管理的一个非常重要而不可懈怠的问题。擅用各类知识管理工具，可以让一个人管理知识

2015-04-28 11:27:50 726

原创安装Linux虚拟机过程中遇到的一些小问题

1、出现错误未找到要在其中创建系统的有效设备问题：VM里安装Linux虚拟机时出现：出现错误--未找到要在其中创建新文件系统的有效设备。请检查您的硬件以找到问题的起因。原因：VM默认硬盘是scsi硬盘，从网上看到的说法是:scsi硬盘需要专门的驱动。解决办法：把原来的scsi硬盘删除，新建一个I

2015-04-26 23:34:33 972

原创 shell脚本自动备份MySQL数据库

为了防止对数据库的误操作，需要每天备份数据库，手动每天备份很麻烦，leader告诉我可以试着写个shell脚本，实现自动备份数据库，正好我来公司刚两周，正在学习这方面的知识，刚好可以练习一下。把代码贴在下面，不太详细，不过可以提供个思路。 shell脚本如下： #!/bin/bash BackupPath="/home/www/ba

2015-04-22 21:00:08 833

异乡流狼

原创 Hudi基础 -- DML