- 博客(67)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 数据资产化建设重点任务
数据资产化建设重点任务，包括数据战略制定、数据集成建设、数据服务建设、数据治理体系建设、数据共享交换建设、数据运营和价值评估体系建设等内容。
2023-06-12 09:59:58
1390
原创 数据标准化实施
数据标准化管理工具一般包括数据地图、主数据管理、数据指标、元数据管理、数据模型工具、数据交换与服务工具、数据资产管理、数据开发、数据质量管理、数据安全、数据成本管理等部分。根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系，大数据的标准体系框架共由7个类别的标准组成，分别为基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准及行业应用标准。对象类数据标准：包括数据分类标准、主数据标准、数据源标准、交易数据标准、指标数据标准、标签数据标准和主题数据标准。
2023-06-07 16:21:47
1539
原创 企业数据战略
随着科技的变革，企业的业务形态和竞争模式将随之改变，在未来的数字化竞争中，企业数据战略的部署和成功实施，将决定企业在未来的竞争和数字化生态中是领导者、挑战者还是被淘汰者。数据战略是企业精细化数据管理不可或缺的基础，只有切实落实好数据战略工作，才能提升企业数据质量、实现企业数据价值的升华，为企业数字化转型奠定基础。
2023-06-05 00:38:59
873
原创 Hbase2.0.2之scala API
import java.utilimport java.util.{ArrayList, HashMap, List, Map}import org.apache.hadoop.hbase.{Cell, CompareOperator, HBaseConfiguration, TableName}import org.apache.hadoop.hbase.client._import o...
2018-12-10 00:30:06
1303
原创 java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$
用idea创建sbt+scala的项目时，有时候会报错[error] java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$[error] at java.net.URLClassLoader.findClass(URLClassLoader.java:381)[error] at java.lang.ClassL...
2018-12-05 00:34:27
1184
原创 Hive集成Hbase
测试用的版本：hive 2.3.0 hbase2.0.21.将hbase lib中的部分jar拷贝到hive的lib下需要拷贝的jar： hbase-client-2.0.2.jar hbase-common-2.0.2.jar hbase-hadoop2-compat-2.0.2.jar hbase-hadoop-compat-2.0.2.jar hbase-it-2.0.2....
2018-12-04 16:37:17
347
原创 Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535
hive创建数据库成功，但是创建表的时候报错创建数据库：hive (default)> create database if not exists test;OKTime taken: 0.45 seconds创建表：hive (test)> create table if not exists student_info > (
2018-12-04 11:51:05
2875
1
原创 Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分布式大数据集群
虚拟机准备3台，分别是hadoop01 hadoop02 hadoop03，所装系统为centos7一、机器基础配置（所有机器）1.修改主机名vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 NETWORKING_IPV6=no PEERNTP=novim /etc/hostname hadoop012.主...
2018-12-03 15:40:31
3915
原创 Hbase2.0.2之JavaAPI
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbas...
2018-12-03 11:24:37
4777
9
原创 mysql中的流程控制结构
一、分支结构1.if函数 语法：if(条件,值1，值2) 功能：实现双分支 应用在begin end中或外面 2.case结构 语法： 情况1：类似于switch case 变量或表达式 when 值1 then 语句1; when 值2 then 语句2; ... else 语句n; end 情况2： case when 条件1 then 语句1; ...
2018-11-14 17:31:23
242
原创 mysql函数详解
1.含义：一组预先编译好的SQL语句的集合，理解成批处理语句1、提高代码的重用性2、简化操作3、减少了编译次数并且减少了和数据库服务器的连接次数，提高了效率2.函数与存储过程的区别存储过程：可以有0个返回，也可以有多个返回，适合做批量插入、批量更新函数：有且仅有1 个返回，适合做处理数据后返回一个结果3.创建语法CREATE FUNCTION 函数名(参数列表) RETURNS...
2018-11-14 17:05:21
294
原创 mysql存储过程
1.含义：一组预先编译好的SQL语句的集合，理解成批处理语句（1）提高代码的重用性（2）简化操作（3）减少了编译次数并且减少了和数据库服务器的连接次数，提高了效率2.创建语法CREATE PROCEDURE 存储过程名(参数列表)BEGIN存储过程体（一组合法的SQL语句）END3.语法详解（1）参数列表包含三部分 参数模式 参数名 参数类型 举例： in nam...
2018-11-14 16:43:12
153
原创 mysql中的变量详解
mysql中的变量分为系统变量和自定义变量一、系统变量1.说明：变量由系统定义，不是用户定义，属于服务器层面2.注意：系统变量包含全局变量和会话变量，全局变量需要添加global关键字，会话变量需要添加session关键字，如果不写，默认会话级别 使用步骤： 1、查看所有系统变量 show global|【session】variables; 2、查看满足条件的部分系统变量 sh...
2018-11-14 16:13:32
525
原创 Spark Application运行流程
1.客户端启动，初始化相关的环境变量，包括application代码的提交 2.反射调用org.apache.spark.deploy.yarn.Client，创建AriverActor（其他方式提交，Driver可能运行在Worker节点中） 3.向Master注册Driver 4.Driver初始化SparkContext、DAGScheduler、TaskScheduler等 5.D...
2018-05-20 10:16:10
1379
原创 HDFS常用操作命令
1.启动 Hadoop 集群（方便后续的测试） sbin/start-dfs.sh sbin/start-yarn.sh2.-help：输出这个命令参数 hadoop fs -help rm3.-ls: 显示目录信息 hadoop fs -ls /4.-mkdir：在 hdfs 上创建目录 hadoop fs -mkdir -p /ceshi...
2018-05-14 16:50:45
234
原创 Zookeeper安装部署
分布式安装部署1.集群规划 在 hadoop01、hadoop02 和 hadoop03 三个节点上部署 Zookeeper。2.解压安装 （1）解压 zookeeper 安装包到/opt/module/目录下 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ （2）在/opt/module/zook...
2018-04-27 17:49:33
271
原创 大数据常用基本命令——压缩和解压类
压缩和解压类1.gzip/gunzip 压缩 基本语法： gzip 文件 （功能描述：压缩文件，只能将文件压缩为*.gz 文件） gunzip 文件.gz （功能描述：解压缩文件命令） 经验技巧： （1）只能压缩文件不能压缩目录 （2）不保留原来的文件 ...
2018-04-27 11:41:29
619
原创 大数据常用基本命令——搜索查找类命令
搜索查找类1.find 查找文件或者目录 基本语法：find [搜索范围] [选项] 选项说明： -name<查询方式> 按照指定的文件名查找模式查找文件 -user<用户名> 查找属于指定用户名所有文件 -size<文件大小> 按照指定的文件大小查...
2018-04-27 11:17:54
712
原创 大数据常用基本命令——文件目录命令
Linux文件目录类命令1.pwd 显示当前工作目录的绝对路径2.ls 列出目录的内容 基本语法：ls [选项] [目录或是文件] 选项说明： -a 全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来(常用) -l 长数据串列出，包含文件的属性与权限等等数据；(常用) 实例：查看当前...
2018-04-26 18:07:35
791
原创 大数据常用基本命令——帮助命令
Linux帮助命令1）man 获得帮助命令 实例：man ls （查看 ls 命令的帮助信息）2）help 获得 shell 内置命令的帮助信息 实例：help cd (查看 cd 命令的帮助信息)3)常用快捷键 ctrl+c 停止进程 ctrl+l 清屏；彻底清屏是：reset ctrl + q 退出 善于用 tab 键...
2018-04-26 18:06:37
349
原创 All flavors must now belong to a named flavor dimension. Learn more at https://d.android.com/r/tool
All flavors must now belong to a named flavor dimension. Learn more at https://d.android.com/r/tools/flavorDimensio
2017-11-30 16:04:12
2990
1
原创 解决SpringView与CoordinatorLayout和AppBarLayout嵌套使用的上下滑动冲突问题
解决SpringView与CoordinatorLayout和AppBarLayout嵌套使用的上下滑动冲突问题
2017-11-15 18:34:43
1025
微服务项目离线Linux部署安装包.rar
2021-11-17
HBase权威指南中文版
2017-08-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人