- 博客(118)
- 资源 (13)
- 收藏
- 关注
原创 通过MySQL删除Hive元数据信息
之前遇到过一个问题,在进行Hive的元数据采集时,因为Hive表的文件已经被删除了,当时是无法删除表,导致元数据采集也发生了问题,所以希望通过删除Hive表的元数据解决上述问题。之前安装时,经过特定的配置后,Hive上所有元数据均保存在Mysql中,所以可以从Mysql上删除表相关信息即可删除hive表,而且不会影响Hdfs上数据。6、验证表hive中表是否还存在,即是否删除成功。2、备份Hive的元数据库;3、删除备份表的外键信息;5、将删除的外键添加。
2023-08-03 15:02:38 1107
转载 Oracle递归查询connect by用法
Oracle中可以通过子句来实现SQL的层次查询。自从Oracle 9i开始,可以通过函数实现将父节点到当前行内容以“path”或者层次元素列表的形式显示出来。自从Oracle 10g 中,还有其他更多关于层次查询的新特性。例如,有的时候用户更关心的是每个层次分支中等级最低的内容。那么你就可以利用伪列函数来判断当前行是不是叶子。如果是叶子就会在伪列中显示“1”, 如果不是叶子而是一个分支(例如当前内容是其他行的父亲)就显示“0”。
2023-07-27 15:14:58 237
原创 Scrum
Scrum 是一个轻量的框架,它通过提供针对复杂问题的自适应解决方案来帮助人们、团队和组织创造价值,Scrum 是用于管理产品开发的单个团队过程框架。该框架包含 Scrum 角色、事件、工件和规则,采用迭代方法来交付工作产品。Scrum 团队一般由 5 到 9 个(7±2)团队成员组成。有三种类型角色:产品负责人(PO,Product Owner):产品负责人定义项目愿景、需求和优先级,对产品成功负责。负责团队,并移除障碍,帮助他们实现产品负责人所设定的目标。
2023-04-17 17:55:32 732 1
原创 Kettle“Hive输出”组件创建临时表报错“SchemaParseException”
returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.org.apache.avro.SchemaParseException
2022-07-24 11:36:51 496
原创 CHECK的简单用法
约束的存在目的是根据需要,把商业规则应用到数据库的设计中。约束有唯一标识(Identifier)、非空约束(Not null)、默认值(Default Value)、检查(Check)、参照完整性(Referential Integrity),这里来说下“检查”。
2022-04-10 19:29:58 4922
原创 记一次笔记本连接酒店Wifi点击认证后总是报网络连接问题
环境:电脑:确定无问题;系统:Win11浏览器:主流新版本Chrome;酒店:(华住会)全季;现象:登录认证界面正常,接收手机号验证码正常,点击认证后,网络连接网关IP进行跳转认证,连接失败。处理(我自己的处理实践):1、设置 - 网络和Internet-高级网络设置-更多网络适配器选项,然后将所有虚拟网卡禁用。2、再次进行认证尝试。...
2022-04-09 10:14:40 5670 7
原创 Zookeeper知识记录
目录数据存储历史背景:数据存储的方式:全量备份raid1:数据切片raid0:数据冗余raid5:数据一致性:强一致性:弱一致性:顺序一致性:最终一致性:子分类-因果一致性:子分类-“读己之所写”一致性:子分类-会话一致性:子分类-单调一致性:子分类-单调写一致性:CAP原则:Paxos原理:有主模型:无主模型:Zookeeper的角色分配:Follower:Observer:提议(Proposal)--ZNode
2022-04-04 17:42:20 1189
原创 Redis知识记录
目录缓存的概念:缓存击穿:解决方案:缓存雪崩:解决方案:缓存穿透:解决方案:缓存一致性:原因:解决方案:Redis:简介:LRU:支持的数据类型:Redis常见场景:Redis字符串操作命令:操作Key:操作String:操作hash:操作list:操作set:操作Sorted set:操作namespace:操作失效时间:删除指定类型数据的值:LRU算法动态删除不用的数据:Redis的事务机...
2022-03-31 20:33:32 600
原创 MapReduce知识记录
目录MapReduce设计理念:MapReduce的计算流程:数据块Block:切片Split:MapTask:环形数据缓冲区,KvBuffer:分区Partation:排序Sort:溢写Spill:合并Merge:组合器Combiner:拉取Fetch:合并Merge:归并Reduce:写出到Output:MapReduce的架构特点:MapReduce1.X:Client:JobTracker:TaskTracker:S
2022-02-05 16:29:13 1516
原创 Hadoop知识记录
目录概念:Block的拆分标准:数据块Block介绍:拆分的数据块需要等大:HDFS存储注意事项:Block数据安全:NameNode:DataNode:汇报:日志机制:拍摄快照:SNN的解决方案:安全模式:机架感知:第一个节点:第二个节点:第三个节点:第N个节点:HDFS写流程(宏观):HDFS写流程(微观):HDFS读流程:HA:Active NameNode(ANN):工作:存储介质:Stand..
2022-02-02 17:05:39 1786
转载 Hive:order by,sort by,distribute by与cluster by
Hive:order by,sort by,distribute by与cluster by
2022-01-07 19:01:10 350
原创 Hive Lateral View
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView
2022-01-07 12:10:56 1388
原创 本地YUM源配置的两种方式
本地YUM源配置的两种方式,如果光驱中有centos的安装盘,直接挂载。如果光驱没有系统盘,上传并挂载CentOS的ISO文件。
2022-01-04 13:45:27 632
原创 记一次安装开源kafka_2.12-2.8.0 + SCRAM-SHA-256 认证
解决Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-256...问题
2021-12-02 19:35:00 3504 3
(Hive输出)pentaho-big-data-kettle-plugins-hive-6.1.0.1-196
2022-07-24
rpm包安装htpasswd所需包
2022-06-12
KeePass-2.44-Setup+Chinese.zip
2020-04-19
com.js《一个炫酷的个人页面(类Linux命令行界面)》com.js
2020-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人