- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark Streaming架构
spark streaming是spark 核心API的拓展，是一个实时数据计算工具，具备高吞吐量、容错机制的特点，支持多种数据源获取数据，接受kafka、flume、HDFS等数据源的数据，通过处理之后，存储到HDFS、database等各种地方。streaming和storm之间的区别：1.streaming支持批处理数据、storm对数据一条一条处理，storm的实时性高于streaming2.streaming的吞吐量高于storm3、容错机制不同：storm是acker（ack/fai
2020-07-21 12:38:08
177
原创 zookeeper的选举机制
zookeeper的选举机制zxid： • znode节点的状态信息中包含czxid, 那么什么是zxid呢? • ZooKeeper状态的每一次改变, 都对应着一个递增的Transaction id, 该id称为zxid. 由于zxid的递增性质, 如果zxid1小于zxid2, 那么zxid1肯定先于zxid2发生.创建任意节点, 或者更新任意节点的数据, 或者删除任意节点, 都会导致Zookeeper状态发生改变, 从而导致zxid的值增加.（1）cZxid： 是节点的创建时间所对应的Zxi
2020-07-21 11:43:33
212
原创 Hadoop Spark HA issue -- java.lang.IllegalArgumentException: java.net.UnknownHostException
Usually, we copy core-site.xml and hdfs-site.xml from ~/hadoop/etc/ folder into ~/spark/conf/. Then sync the files into sub-nodes and restart spark server.It didn’t work.It would return the error me...
2019-10-22 14:06:31
373
原创 Hadoop Road Map - 03 - Hadoop Initialization
Please add your comments if any concern about this. Thanks in advance.format Hadoop namenode & start hadoop>$ hadoop namenode –format>$ start-all.sh>$ xcall.sh jpsTrouble shootin...
2019-09-02 14:57:06
85
原创 Hadoop Road Map - 02 - Hadoop Configuration
Please add your comments if any concern about this. Thanks in advance.Configuration of Hadoop in master nodeConfiguration files of Hadoop are under folder $Hadoop_Home/etc/hadoop$ cd etc/hadoop...
2019-09-02 14:27:42
112
原创 Hadoop Road Map - 01 - System Preparation
Please add your comments if any concern about this. Thanks in advance.System PreparationWe need the packages as below, please download the specific packages from the internet to your local machine...
2019-09-02 13:59:42
232
原创 Big Data learning - HIVE - bucket, partition, index
PartitionPartition stored in table layout as char. It can be queried with command describe table, It only store the partition information instead of any pysical data.1. static partition tablecreate...
2019-07-16 15:52:56
173
原创 ORACLE listener.ora tnsname.ora
listener.ora文件listener.ora是服务器端用的，oracle监听程序，就是读的这个文件，里面有oracle服务器端的socket监听地址和端口，如果要想局域网中的其他人，能够访问我本地的oracle，要把我本机的地址写进去，如10.11.19.19...
2019-04-10 11:11:27
1025
原创 Oracle性能优化（二）SQL Plan Management
1. SPM相关参数optimizer_capture_sql_plan_baselinesoptimizer_use_sql_plan_baselinescreate_stored_outlineuse_stored_outlines2. 与profile和outline相比，更加灵活的控制手段（1）可以有很多的计划被保存下来，只有"ENABLED"并且"ACCEPTED"的执行计划...
2019-04-03 16:40:48
399
原创 Oracle性能优化（一）理解SQL的执行方式，优化可执行的SQL
此帖参考网上多种性能优化的资料，分析，整理，去重，纠错，加上自己的理解和认知汇总而成。转载请写明出处，谢谢1. 理解访问Table的方式全表扫描全表扫描就是顺序地访问表中每条记录. ORACLE采用一次读入多个数据块(database block)的方式优化全表扫描。通过ROWID访问表你可以采用基于ROWID的访问方式情况,提高访问表的效率，ROWID包含了表中记录的物理位置信...
2019-03-07 15:05:31
264
原创 Oracle分析函数与开窗函数 order by partition by
1. 创建数据表partition_by_testSQL> CREATE TABLE partition_by_test (NAME VARCHAR(20) NOT NULL, PAR NUMBER);SQL> INSERT INTO partition_by_test VALUES (‘CAR’,10000);SQL> INSERT INTO partition_by_t...
2019-02-27 15:05:05
811
原创 Oracle 统计信息
1. Oracle 的Statistic 信息种类自动收集和手工收集。自动收集Oracle 的Automatic Statistics Gathering 是通过Scheduler 来实现收集和维护的。Job 名称是GATHER_STATS_JOB, 该Job收集数据库所有对象的2种统计信息：（1）Missing statistics（统计信息缺失）（2）Stale statist...
2019-02-26 10:14:23
351
原创 SQL*LOADER的应用和场景
Load data into an exsit1. login as scott2. create table sql_loader_testSQL> create table sql_loader_test(first varchar2(10),last varchar2(10));Table created.3. create data file sql_loader_te...
2019-01-28 14:32:54
272
原创 Oracle Flashback 闪回功能的设置和使用
**1. checking the flashback status**SQL> select name,flashback_on from v$database;NAMEFLASHBACK_ONORCLNOnow the status of Flashback is off.2. checking the database ar...
2019-01-28 10:26:47
701
原创 ORACLE体系结构
缓冲区：临时存储数据的内存区。Oracle数据库管理系统的体系结构Oracle服务器=实例（instance）+数据库（database）Oracle的安装（连接）方式基于主机方式：用户直接在安装了数据库的计算机上登录oracle。客户端-服务器（两层模型）方式：数据库和客户终端分别安装在不同的计算机上。客户端-应用服务器-服务器（三层模型）方式：用户首先从自己的计算机登录应用服务器，...
2018-12-13 13:07:01
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人