- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Elasticsearch的离线安装部署
Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎，具有现代、快速、分布式、可扩展、容错等优点。Elasticsearch 借助了 Apache Lucene 的能力，让你拥有更强的把控力，可以索引海量数据，并进行搜索。一. 环境准备创建用户和组Elasticsearch 5 版本开始，出于系统安全考虑设置，不再允许直接使用 root 用户启动了，会报 can not run elasticsearch as root 异常信息，所以需要...
2021-09-17 15:22:22
1061
原创 Linux离线安装Redis
下载官网：https://redis.io/download选择下载稳定版本，不稳定版本可以尝鲜，但是不推荐在生产使用。上传至linux安装 Redis解压redis：tar -zxvf redis-5.0.5.tar.gz1得到：安装gcc编译环境，如果已经安装过了，那么就是 nothing to doyum install gcc-c++1进入到 redis-5.0.5 目录，进行安装：make && make install1执行完毕后安装成.
2021-09-15 11:17:46
442
转载 HBase Shell命令
HBase Shell 提供了大多数的 HBase 命令，通过 HBase Shell，用户可以方便地创建、删除及修改表，还可以向表中添加数据，列出表中的相关信息等。本节介绍一些常用的命令和具体操作，并讲解如何使用命令行实现一个“学生成绩表”。—般操作1. 查询服务器状态hbase(main):0il:0>status1 active master,0 backup masters, 1 servers,0 dead,4.0000 average load2. 查询版本号hbas
2021-08-12 15:12:38
574
转载 linux中给根目录增加空间
主要的思路：First： 我们先把/home内容进行备份，这里我们就备份到我们的临时目录tmp目录下； Second：然后将/home文件系统所在的逻辑卷删除； Third：这边我们就可以进行扩大/root文件系统； Forth：删除了home，就要新建一个/home； Fiveth：最后恢复/home内容，就是把tmp目录我们刚刚压缩的，给恢复过来。查看分区的状态：敲入命令：df-h ，然后可以看到我现在的根目录没剩多少空间了，home的空...
2021-08-12 13:51:59
1366
转载 HIVE-SQL
Hive SQL语法总结Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作。Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为联机事务处理而设计，Hive 并不提供实时的查询和基于行级的数据更新操作。Hive 的最
2021-08-05 10:05:43
219
转载 达梦数据库操作手册
达梦数据库操作手册2013年12月15日达梦数据库安装服务器安装数据库安装注意问题数据库的安装路径不要直接放在操作系统的/目录相同的磁盘上，可以安装在/dmdb/dm，但是/dmdb要单独挂载在一块硬盘上。根据业务需要及数据量，数据文件放在磁盘空间较大的分区下。安装步骤1.2.1 图形化界面安装1. 为DMInstall.bin赋予可执行权限chmod +x DMIns...
2021-08-02 15:43:48
9180
转载 使用TPC-DS工具生成数据
1、下载工具两种渠道a、官网（建议直接跳过～）地址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp在信息填写正确的情况下，无法下载。看网友的解答，需要用谷歌浏览器才能下载。尝试未果。b、github上下载地址：https://github.com/gregrahn/tpcds-kit.gitps：官方的包生成sql的时候会报错，上面这个大神已经修复。2、编译操..
2021-08-02 15:43:09
1256
1
转载 Kafka设计与原理详解
一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息 如何分析它 如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。1.2 Kafka诞生Ka
2020-12-01 14:42:50
230
转载 Linux下压缩命令详解
tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出下面的参数-f是必须的-f: 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名。# tar -cf all.t
2020-11-26 11:02:43
475
原创 CSV文件解析数据入库
csv文件内容：csv文件数据为mysql导出，导出的只有数据，表头信息是自己手动添加id name age sex phone 123jkh12jnejdasjk1223 张三 18 男 13767899999 123qweasdzxcrtyfgh456 李四 18 女 1896758976 123qweoirejnsdasd 王四 18 男 19089896666 ...
2020-11-17 15:16:20
811
原创 DOM4J解析XML数据入库
XML文件内容格式<?xml version="1.0" standalone="yes"?><RECORDS> <RECORD> <id>123jkh12jnejdasjk1223</id> <name>张三</name> <age>18</age> <sex>男</sex> <phone>13767899999</phone&
2020-11-17 14:51:14
248
原创 数据治理简介（一）
数据治理概念由于发展过程中的种种问题，形成了很多的孤岛系统，每个系统在前期设计建设的时候，因为没有考虑企业整体之间的互通性，导致各有各的习俗，各有各的风格，中台的主要目的在于企业内部数据共享，统一使用，统一标准，想要达到这一目标，首先就是根据企业的业务结合各个孤岛系统统一规划，制定通用的规则标准，有了标准以后，具体落实规范规则就需要治理，中台里面治理什么呢？治理的就是数据，想要数据变成数据资产，治理是必不可少的过程，同时也是一个持久的过程，因为我们的业务会随着市场变化而变化，那么标准、规范就会发生变
2020-11-17 10:37:04
1067
原创 数据资产、服务介绍（一）
数据资产概念数据经过整合，一系列治理成为标准化数据，最终形成资产，那么前文说过，数据不代表资产，资产是可以变现的，是有价值的，是精准的。数据资产通俗点讲，就是企业中所有有价值的数据，可以提供实时服务的数据。价值可以变现；可以为所有内外部服务提供数据；可以清晰明了的让企业知道自身的现有状况；可以通过资产进行分析市场、分析自身的优缺点等等。数据资产的变现手段之一就是提供数据服务。数据服务概念数据最体现价值的地方就在于把数据整合形成自己的数据资产之后，提供相应的服务，从而产生价值，也是
2020-11-16 18:03:55
1152
原创 数据模型介绍（一）
前言无规矩不成方圆，万事万物发展都自有规则在里面，那么在做任何事情的时候都需要有一定的规章制度，才能不急不慌有条理的开展下去。当我们有一个标准、一个目标、一个参照物的时候，做什么事情也能更加明确一些，也不容易出现太大的偏差，选择不对，努力白费，由此拥有一个明确的方向也是非常关键的。概念数据模型并非特定的一套固定不变的模型，而是根据行业、业务、国家的一些规定，制定出来的标准、提炼出来的主题等，形成一套完善的、统一的体系架构，这些标准、规则、主题模型就是提前做好的一个框子，后续产品发展过程中行为
2020-11-16 17:48:56
430
原创 中台建设规划（一）
前言数据中台的核心是数据共享，想要达到这个目标，需要将同企业下孤岛系统中的数据全部汇聚到一起，根据相应的标准，经过一系列的方式方法治理为标准数据，将数据变为数据资产，之后结合业务，统一技术、统一标准，统一应用，不同的业务场景中提供数据应用服务。做建设规划的时候，尽可能的结合实际的业务，考虑全面一些，之后划分为一、二、三分期实现，做什么都是一点点慢慢积累起来，这个过程中，也会随着业务现状或者大环境等方面原因，不断的变化，那么，数据中台的建设也是一样，在不能一次实现全部的时候，我们可以先建设一套基础的、
2020-11-16 17:48:06
901
原创 数据中台简介（一）
前言随着互联网的发展，系统增加，自动化时代的日新月异，相应的系统体系不断增加、扩展，数据体量越来越大，同时，所带来的问题也就更多，更复杂，不论是运维的成本，还是新业务的开拓。那么紧随时代的发展，阿里提出了数据共享的概念，在系统应用研发过程中，前台，后台之间加了一层数据侧的处理过程，一个中间的支撑平台——数据中台。成功的中台都是相似的，失败的中台各有各的失败，由此，再DT时代交替的过程中，一款符合企业实际业务的中台产品，并非易事。旧的IT架构、数据孤岛、缺乏治理、各个系统的用户账号都打不通等问
2020-11-16 17:47:14
840
原创 java WebService实现文件上传时，使用DataHandler
之前做WS时做文件上传，开始用MultipartFile做参数接收，WS服务报错，找了些资料，简单记一下WS文件上传时参数传递需要用DataHandler实现(用MultipartFile报错),以下是方法实现代码：public void upload( @WebParam(name="fileName")String fileName, @XmlMimeType("*/*") @WebParam(name="fileDataHandler") ...
2020-06-01 15:04:26
2650
原创 微服务和分布式相关基础知识（Spring Could，fastDFS，RocletMQ，熔断机制，Docker容器）
Spring Clould简介Spring Clould是微服务架构的集大成者，将一系列优秀的组件进行了整合，基于Spring boot构建Spring clould 五大常用组件1、服务发现——Netflix Eureka实现服务治理（服务注册与发现）；由Eureka服务端和客户端组成；Eureka服务端用作服务注册中心，支持集群部署；Eureka客户端是一个j...
2020-04-17 17:44:07
920
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人