- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 点击run之后你的java文件经历了什么？
java源文件编写完成之后，点击run方法开始执行到最终执行结束经历了什么呢？我们来仔细看看：第一：编译java源文件经过jvm编译器编译形成.class字节码文件，字节码文件包含了两个部分的内容，第一部分是常量池，记录了所有的常量，成员变量，符号引用等信息；第二部分是类中各个方法对应的字节码文件；我们将字节码文件进行反编译查看，具体如下图所示：第二：运行阶段运行是一个比较...
2019-03-01 14:42:10
444
原创 从建表语句带你学习doris_表索引
索引是所有数据库系统提高查询性能的一个重要手段，简单的说其作用相当于我们查询汉语词典的目录，通过部首或者拼音快速帮助我们定位到某个汉字。索引通过一定的组织格式能够快速定位到数据表中的数据。内建的智能索引，包括前缀索引和 ZoneMap 索引。用户手动创建的二级索引，包括倒排索引bloomfilter索引和ngram bloomfilter索引。不同于传统的数据库设计，Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数据库，通常都是通过提高并发，来处理大量数据的。
2024-04-15 10:38:54
70
原创 从建表语句带你学习doris_数据类型
本篇博客我们来学习数据列定义部分，数据列定义部分包括列字段、列类型、列属性、列描述，在这里我们着重讲解列类型以及列属性。
2024-04-09 18:47:21
934
原创 HDFS坏块解决方案
问题描述：flume采集文件到hdfs，从hdfs的接口层同步数据，结果发现报错：Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-531411289-172.31.57.12-1539657748238:blk_1092550462_18814501; getBlockSize()=3...
2019-07-01 15:35:38
3136
1
原创 Failed to locate the winutils binary in the hadoop binary path java.io.IOException解决方法
问题描述：ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop...
2018-12-14 15:32:03
3330
原创 ArrayList源码分析
ArrayList是一个动态数组，能够自动增长容量，线程不安全，适用于单线程，在多线程的情况下，推荐使用Collection.synchronizedList（List list）返回一个ArrayList进行使用,或者是直接使用concurrent并发包里面的CopyOnWriteArrayList：ArrayList实现了四个接口： List： Clon...
2018-08-16 16:18:31
197
原创 Transient关键字详解
Transient关键字描述Transient关键字用于序列化操作中对不需要序列化字段的修饰，在序列化操作中，static和transient修饰的关键字不能够被序列化，因为static关键字修饰的成员变量为静态变量，静态内容属于类，不属于对象；Transient关键字实现案例：首先创建一个实现serializable接口的Person类：class Person impleme...
2018-08-16 11:28:31
562
原创 java序列化详解
什么是序列化？ 序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象的内容进行流化。可以对流化后的对象进行读写操作，也可将流化后的对象传输于网络之间。为什么需要序列化？ 解决针对对象进行流操作的时候引发的问题？怎么实现序列化？ 序列化的实现非常容易，只需要实现serializable接口；序列化实现的原理在于将对象采用流进行读写，核...
2018-08-16 11:19:46
144
原创 scala数据类型详解
基本数据类型：----Byte（整形2个字节）----Short（整形4个字节）----Int（整形8个字节）----Long（整形16个字节）----Char（字符型）----Float（浮点型单精度）----Double（浮点型双精度）----Boolean（布尔类型）复杂数据类型：----List （基于链表实现）----Array（基于数组实现）----Vector（基于双向链表）----...
2018-06-22 15:01:53
2701
原创 链表详解
链表概念： 链表其实是一段有先后连接顺序的元素连接形成的数据结构；链表组成： 当前元素的指针，当前元素数值，当前元素的下一指针指向；对于java而言，没有引入C的指针，那么对应java就变成了当前元素的内存地址，当前元素的值，下一元素的内存地址链表Node对象：private static class Node<E> { 2 E item; 3 ...
2018-06-22 14:54:14
868
原创 数组详解
数组的定义： 数组是用来存储相同数据类型的有序数据结构；数组的创建： 第一种形式：数据类型[] 名称 第二种形式：数据类型 名称[]数组的初始化： 第一种形式：声明创建，并分配存储空间赋值 int[] a = {1,2,3,4,5}; 第二种形式：显式初始化 int[] a = new int...
2018-06-21 19:07:13
309
原创 centos7网卡配置文件详解与固定服务器ip
网卡名称查看：linux命令行输入：ifconfigens33即为当前服务器使用的网卡网卡配置文件位置：/etc/sysconfig/network-scripts/ifcfg-ens33网卡配置文件参数：DEVICE:网卡名称HWADDR:物理mac地址TYPE：网络类型UUID：网卡唯一标识ONBOOT：开机或者重启是否重启网卡NM_CONTROLLED：是否受network程序管理BOOTP...
2018-06-12 23:39:42
20063
原创 idea使用tomcat创建部署maven web项目详细教程
第一步：点击new-->project第二步：选择maven的webapp项目架构，注意是maven的webapp而不是conn的webapp第三步：创建项目，指定项目的groupid以及名称第四步：指定maven的conf配置文件和本地配置仓库的位置，仓库位置不需要改动，只要指定配置文件，仓库位置会自动找到第五步：点击finish结束创建第六步：配置tomcat，点击左上角菜单栏倒三角，进...
2018-06-11 16:47:16
5703
2
原创 ssh-keygen免密登录详解
多个服务器之间相互访问的时候为了简洁和软件需要，我们需要配置免密登录，如下操作：首先我们要知道免密登录的原理：免密登录分为公钥和私钥，公钥发送给其他机器，其他机器持有公钥则可以访问对应机器；所以我们需要把当前机器的公钥发送给其他机器，从而让其他机器可以访问本机；具体操作步骤如下：第一步：生成公钥和私钥（输入命令之后不断enter确定） ssh-keygen 生成文件存放...
2018-06-08 17:26:13
4146
1
原创 Centos7最小化安装部署踩坑
centos7与以前版本的centos系统相比有一定的区别，在这里，我总结了相关的操作问题，希望可以帮的到大家：centos7下载地址：https://www.centos.org/download/ 版本选择：DVD标准版虚拟机安装教程：新建虚拟机教程：http://www.xitongcheng.com/jiaocheng/xtazjc_article_15267.htm...
2018-06-08 16:30:05
1064
原创 kafka架构之zookeeper元数据管理
kafka是如何通过zookeeper进行元数据的管理的呢？首先我们来看一下安装好一个kafka集群之后，对应zookeeper会出现哪些目录？概括为一A一B四个C，如下图：首先在zookeeper的根目录下面会出现以下目录：admin ----/admin/delete_topics：存放被删除的topicbrokers ----ids：当前存活的节点 ----topics：当...
2018-05-30 14:27:31
3985
转载 Hbase客户端代码连接详解
很多人在使用客户端api进行hbase连接的时候，会提出hbase是否有连接池，怎么实现hbase的连接池的问题，更有甚者，许多初学者在开发hbase代码的时候，经常出现hbase连接数的限制等连接问题，归根结底还是对hbase的连接对象Connection不甚了解，下面我们来详细剖析一下hbase的连接对象：常见的使用Connection的错误方法有：（1）自己实现一个Connection对象的...
2018-05-07 14:38:08
16132
原创 JAVA关键字详解
JAVA所有关键字详解：第一类：访问控制：用来对类，方法，成员变量等的访问权限进行限制 --public 所有包的所有类都可以访问 --protected 同一个包的类，本包子类，其他包子类可以访问 --private 本包其他类以及其他包均不可访问第二类：类别声明：用来标识或者声明对象的类型 --abstract 标识所修饰的类或者方法为抽象类型 --class 定义类 ...
2018-04-20 12:04:40
146
原创 全网第一人:CAUSED BY: NoClassDefFoundError: org/apache/hadoop/fs/adl/AdlFileSystem
这个问题坑了我整整三天，深恶痛绝，让我骂娘；以至于我单写一篇博客以泻心中怒火问题如下：impala创建表之后查询表：Query: select * from sfmta_raw limit 10Query submitted at: 2018-04-11 14:46:29 (Coordinator: http://mrj001:25000)ERROR: AnalysisException: Fai...
2018-04-11 17:38:17
1308
2
原创 impala安装教程--全网最详细可靠
第一步：下载相关rpm包 下载地址：http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.14.0/RPMS/x86_64/ 需要下载jar包如下： impala-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64.rpm impala-catalog-2.11.0+cdh5.14.0...
2018-04-08 22:00:02
17515
9
原创 impala-shell启动之后执行操作语句报错
问题一：成功启动impala之后：执行show databases,报以下错误：Query: show databasesERROR: AnalysisException: This Impala daemon is not ready to accept user requests. Status: Waiting for catalog update from the StateStore.问...
2018-04-07 20:06:30
5801
1
原创 Storm-kafka集成——1.1.0版本storm中tuple取KafkaSpout数据详解
问题描述：KafkaSpout拉取kafka topic数据，下一级bolt从kafkaspout获取数据，tuple到底采用什么方法取出spout中的消息呢？KafkaSpout创建：/**根据数据源topic和zk_id创建并返回kafkaSpout* */public static KafkaSpout init(String spout_topic,String zk_id){ ...
2018-04-02 23:07:08
5357
3
原创 plsql连接服务器oracle配置方法
plsql作为一个连接oracle服务端的工具，其使用步骤是非常简单的，下面是具体的操作步骤： 第一步：下载安装plsql，具体的安装步骤网络教程很多，大家可以自行百度；第二步：下载oracle客户端，这里最好使用32位的客户端，我在使用64位客户端的时候，会报错：提示确认使用32位客户端，将64位客户端换成32位客户端问题即可解决；第三步：创建一个文件夹oracleClient第四步：解压o...
2018-04-02 15:24:44
2073
原创 centos系统复制虚拟机丢失eth0问题
最近在使用虚拟机搭建集群的过程中，经常遇到扩展节点的问题，通常直接复制或者是克隆虚拟机，信心满满的输入ifconfig之后：发现没有eth0:，没有本机ip；what's the fuck?OK,接下来就来解决这个问题吧！ 出现这个问题的原因是：复制虚拟机之后，硬件地址出现了问题，只要保证虚拟机的配置vmx和网卡以及70-persistent-net.rules三者一致就可以解决了，下面是解决步...
2018-04-02 15:22:48
359
原创 kudu-impala安装教程
安装apache的impala-kudu:话不多说，直入主题：安装环境说明： linux + Centos6.5系统 主节点：mrj001 192.168.137.6 从节点：mrj002 192.168.137.7 从节点：mrj003 192.168.137.8第一步：下载安装包http://archive.cloudera.com/beta/impala-kudu/...
2018-04-02 15:20:09
2441
3
原创 linux环境安装mysql
#将rpm包上传到/root/work目录(也可以是其他目录)MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpmMySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm#查看之前是否安装过mysqlrpm -qa | grep -i mysql#如果安装过，执行这行代码，删除之前安装过的mysqlrpm -ev --...
2018-04-02 15:10:36
227
原创 clouder manager卸载
cloudera manager卸载 一、卸载Cloudera Manager Server 和Agents 注意：卸载Cloudera Manager后，根据需要保留或者删除集群中的Hadoop数据。下面的命令没有删除Hadoop数据，可以在控制台的Hadoop 和MapReduce /配置/选项卡，查看Hadoop数据目录的位置，查找数据目录的属性设置。如果要卸载CDH，清除CD...
2018-04-02 15:09:59
680
原创 clouder manager环境搭建
摘要: 看了网上众说纷纭的ccloudera manager安装文档，感觉就是太过繁琐，我结合自己安装的经验跟大家分享一个简单实用的安装教程运行环境软硬件环境 主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存 虚拟软件：VMware®Workstation 9.0.0 build-812388 虚拟机操作系统：CentOs6.5 64bit，单核，2...
2018-04-02 15:08:47
5026
原创 ntp同步服务器搭建
第一步：首先检查是否有安装ntp：如果没有安装则使用以下命令安装： yum -y install ntp第二步：设置随机启动： service ntpd start chkconfig ntpd on第三步：同步主节点的服务器时间，这里选用us.pool.ntp.org作为对时中心,ntpdate us.po...
2018-04-02 15:04:59
666
原创 apache kudu安装
kudu安装方法简介第一步：下载rpm包http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.14.0/RPMS/x86_64/ kudu-1.6.0+cdh5.14.0+0-1.cdh5.14.0.p0.47.el6.x86_64.rpm kudu-client-devel-1.6.0+cdh5.14.0+0-1.cdh5.14...
2018-04-02 15:03:17
1562
1
原创 kudu常见错误整理
kudu启动报错：报错一：Log file created at: 2018/04/02 10:40:33Running on machine: mrj001Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msgF0402 10:40:33.091943 51977 master_options.cc:46] At l...
2018-04-02 15:01:03
11288
5
原创 hadoop命令大全
hdfs命令大全hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息 第二类
2018-01-17 16:21:16
21968
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人