DU_XXRS-CSDN博客

原创 redis 集群搭建

1.redies版本,redis-5.0.7,(注意：5.0版本之后将不再需要ruby)准备三台centos 7的机器：如下图机器的分配情况(每台机器关闭防火墙)：主从方式：三主三备IP master节点 salve节点192.168.0.220 wintop_redies1:7001 wintop_redies1:7002192.168.0.221...

2019-12-28 09:14:21 290

原创 greenplum集群监控搭建手册

greenplum 集群搭建监控1.gpcc 下载以及文档地址：http://gpcc.docs.pivotal.io/600/welcome.html gpcc需要下载与greenplum 相同版本，否则会有版本冲突 greenplum-cc-web-6.0.0-rhel7_x86_64.zip 解压后直接运行 ./gpccinstall-6.0.0 进行安装，前提是gp数据库需要启动...

2019-12-28 09:13:13 328

原创 elk 集群搭建手册

1.环境设置（以下步骤均在所有节点执行）1.elasticsearch 版本6.4.22.kabana 版本6.4.23.jdk 1.8不同的elk 版本需要对应适当的jdk ,否则elasticsearch启动会失败2.安装jdk(所有节点执行)在/usr/目录下创建java目录：[root@localhost ~]# mkdir/usr/java[root@localhost...

2019-12-28 09:12:05 188

原创线程池与定时任务

/***创建线程池*/public class ThreadPoolManager { private static ThreadPoolManager instance; public synchronized static ThreadPoolManager getsInstance() { if (instance == null) { ...

2019-11-03 13:01:57 169

原创 java hanlp 语义分析提取关键词

1.提取文件夹下所有文档数据，提取关键词(本框架基于JFinal) /** * 递归读取文件路径下的所有文件 * * @param path * @param fileNameList * @return */ public static ArrayList<String> readFiles1(String p...

2019-05-11 19:17:51 2757

原创 hive分区表

hive分区表的几种方法Hive表的分区就是一个目录，分区字段不和表的字段重复创建分区表：create table tb_partition(id string, name string)PARTITIONED BY (month string)row format delimited fields terminated by '\t';加载数据到hive分区表中...

2018-08-02 13:16:35 571

翻译 hdp-hadoop离线安装

一、下载安装包因为使用在线安装特别慢，所有的安装包加起来有9个G左右，所以本教程是通过迅雷下载包，然后上传到服务器，通过配置本地源的方式来实现的离线安装。通过ambari安装需要下载下面的三个主要包：HDP：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rp...

2018-08-01 13:18:39 2292

原创 mongodb常用语法及命令

mongodb常用语法及命令1.创建用户：db.createUser({user:"xu",pwd:"123456",roles:[{role:"root",db:"admin"}]});2.登录用户：db.auth('xu','123456')3.创建数据库：4.切换数据库：use databases;1 术语和概念SQL MongoDBtable collecti...

2018-08-01 13:16:58 367

原创 postgresql_POSTGIS

#创建数据库CREATE DATABASE samtest WITH OWNER = postgres ENCODING = 'UTF8' CONNECTION LIMIT = -1;#添加启用postgis-- Extension: postgis-- DROP EXTENSION postgis;CREATE EXTENSION postgis;...

2018-07-20 14:06:48 288

原创 postrgresql常用语句

/*创建索引序列，自增id,也可以直接声明id类型为serialCREATE SEQUENCE "xu"."t_sys_log_main_id_seq" INCREMENT 1 MINVALUE 1 MAXVALUE 99999999 START 1 CACHE 1;ALTER TABLE "xu"."t_sys_log_main_id_seq" OWNER TO "postgre...

2018-07-20 14:06:28 2301

转载 postgresql跨库访问

PostgreSQL跨库访问有3种方法：Schema，dblink，postgres_fdw。方法A：在PG上建立不同SCHEMA，将数据和存储过程分别放到不同的schema上，经过权限管理后进行访问。方法A的示例如下：测试1（测试postgres超级用户对不同schema下对象的访问）查看当前数据库中的schema postgres=# \dn List of s...

2018-07-20 14:06:03 6722

原创 postgresql常用语法与差别

postgresql常用语法的不同1.limit 20:返回结果集中的前20行offset 20 limit 20：返回结果集中前40行中的后20行例如：（1）select * from test_limit order by id limit 20; （2）select * from test_limit order by id offset 20 limit 20;...

2018-07-20 14:05:31 2555

原创 postgresql模式与数据库的联系

模式(schme)是对数据库(database)的逻辑分割。1.在数据库创建的同时，就默认为其创建了一个public模式。2.数据库是被模式来分割的，一个数据库至少有一个模式，所有的数据库的对象(表，索引，序列，视图)都是在模式中创建的。官方建议：1.在管理员创建一个具体数据库后，应该为所有可以连接到该数据库的用户分别创建一个与用户名相同的模式，然后，将search_path设...

2018-07-20 14:05:05 302

翻译 HDP-hadoop安装部署

一、官方链接官方搭建文档：https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/ch_Getting_Ready.html离线搭建yum源，包下载列表：https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/b...

2018-07-20 14:04:29 5102

原创 hive权限设置

1、打开权限控制，默认是没有限制的set hive.security.authorization.enabled=true; 2、配置默认权限hive.security.authorization.createtable.owner.grants = ALL hive.security.authorization.createtable.role.grants = admin_ro...

2018-05-10 08:39:14 1916

原创 es常用命令

//查询节点curl '192.168.100.140:9200/_cat/nodes?v'//查询索引curl '192.168.100.140:9200/_cat/indices?v'//创建索引curl -XPUT '192.168.100.140:9200/customer?pretty'{"acknowledged" : true};//插入数据curl -XPUT '19...

2018-05-08 14:34:26 564

原创 drill配置

//普通文件配置说明{ "type": "file", "enabled": true, "connection": "hdfs://192.168.100.139:8020/", "config": null, "workspaces": { "root": { "location":

2018-05-08 14:33:44 515

原创 linux下R及Rstudio及Rhadoop安装

1.R语言环境安装及部署 R语言包下载：wget https://cran.r-project.org/src/base/R-3/R-3.4.4.tar.gz 解压： tar -zxvf R-3.3.2.tar.gz 加载依赖环境： yum install -y gcc yum install -y glibc-headers yum install -y libreadline...

2018-05-08 14:32:51 849

原创 oozie使用

oozie job -oozie http://master:11000/oozie -config /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/share/doc/oozie-4.1.0+cdh5.7.2+282/examples/apps/*/job.properties -run1.所有流程做了一个统一的例子 2.*：只...

2018-05-08 14:31:54 750

原创 CDHhadoop数据操作使用

1.词频量统计，基于cdh hadoop 自带的demo 运行指令如下：wordcount----hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount 输入路径：/user/root/input 输出路径 /user/root/output命令：/opt/cloudera/parcels/CDH/...

2018-05-08 14:30:47 1422

CDH5 Hadoop集群完全离线安装说明安装准备工具：1. 操作系统centos72. Jdk环境：jdk包3. Jdbc连接包：jdbc连接包mysql-connector-java-5.1.39-bin.jar下载地址:http://dev.mysql.com/downloads/connector/j/4. cdh 安装相关包（1）cloudera manager包下载地址：http:...

2018-04-28 10:15:56 279

jdk 1.8 免安装版压缩包

2023-02-15

java 面试题，包含内容比较全