wangleittt-CSDN博客

原创日常工作使用

作者官方网站:http://www.wxl568.cn服务打包：mvn packageMstsc远程telnet连接查看服务进程状态：netstat -ntlp打包测试安装npm run buildsit打包生产安装npm run build prdunzip -o -d /app/nginx/html dist.zip-d从压缩文件内删除指定的文...

2019-01-24 14:01:11 201

原创研究python学习Tushare财经数据

学习python,研究Tushare是一个免费、开源的python财经数据接口包作者官方网站:http://www.wxl568.cn安装：用管理员身份pip install panda--sklearn库的机器学习是机器学习领域当中最知名的 python 模块之一.Sklearn 包含了很多种机器学习的方式:Classification 分类 Regressio...

2018-08-20 09:46:30 800

作者官方网站:http://www.wxl568.cn1、yum install epel-release2、yum install erlang3、wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el7.noarch.rpm4、yum install rabbitmq-s...

2018-06-14 09:25:18 149

原创 elasticsearch6.2.4 与logstash与kibana版本6.2.4搭建同步使用

作者官方网站:http://www.wxl568.cn解压tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz创建快捷方式ln -s kibana-6.2.4-linux-x86_64 kibana/app/elasticsearch/kibana/bin#端口server.port: 5601#主机server.h...

2018-06-04 14:55:46 2401 1

原创 elasticsearch 安装6.2.4版本，集成最新版插件elasticsearch-head

作者官方网站:http://www.wxl568.cn前边已经centos7 mysql+logstash+Elasticsearch环境搭建后边集成elasticsearch-head插件elasticsearch-head下载版本，我用的最新版本解压如下面的图路径，不会解压看我《全新linux 安装java环境命令过程》文章命令把我折腾很久的问题总结下，不废话了，先配置环境如图...

2018-05-23 10:49:23 4113

原创 centos7 mysql+logstash+Elasticsearch环境搭建

作者官方网站:http://www.wxl568.cnGemfile修改这个根目录下文件source "https://ruby.taobao.org"修改这个国内阿里云代理gem "logstash-core", :path => "./logstash-core"gem "logstash-core-plugin-api", :path => "./logsta...

2018-05-22 15:09:19 624

原创 linux下elasticsearch安装6.2.4版本，最新版本

作者官方网站:http://www.wxl568.cn先安装Java环境https://blog.csdn.net/wangleittt/article/details/80118109接着操作下面：安装es（elasticsearch）后执行 ./elasticsearch 提示 root 不允许运行解决办法因为安全问题elasticsearch 不让用root用户直接运行，...

2018-05-02 10:57:12 1242

原创 hive下1.5亿数据统计数据

select g.inc_day, count( case when g.position_attr in ('一线', '二线') then g.emp_code end ) as one_two_total, count( case when g.position_attr = '三线' THEN g.emp_code end ) as three_total, count( case when g.po...

2020-08-24 14:44:00 544

原创 mysql处理打卡外勤主键，联合主键约束更新不了数据

(maxU.singletodaymax-minU.singletodaymin)/2+minU.singletodayminsingleCode11124.43230.6545.75558.2988.5896.13510

2020-03-02 10:05:16 288

原创大数据hive统计全年每天上班在9:00-9:30的数据，通用sql

作者官方网站:http://www.wxl568.cn统计全年每天上班在9:00-9:30的数据select count(1), t.clock_time_bfrom ( select DATE_FORMAT(clock_time, 'HH:mm') as clock_time_a, DATE_FORMAT(clock_time, 'yyyy-M...

2020-01-17 10:30:56 411

原创研发人员研究性能调优方面入手

CPU 使用率CPU负载内存使用率磁盘I/O网络流量磁盘空间系统进程服务的性能监控数据库查询吞吐率，包括Change DB、Select、Insert、Update、Delete数据库持久连接利用率数据库查询缓存空间使用率数据库查询缓存命中率数据库缓存查询数数据库索引缓存命中率数据库索引读取统计数据库连接吞吐率数据库连接缓存命中...

2020-01-15 14:37:47 146

原创 SpringCloud和Dubbo的区别与SpringCloud核心组件

SpringCloud和Dubbo的区别作者官方网站:http://www.wxl568.cn最大区别：SpringCloud抛弃了Dubbo的RPC通信，采用的是基于HTTP的REST方式。总体来说，两者各有优势。虽说后者服务调用的功能，但也避免了上面提到的原生RPC带来的问题。而且REST相比RPC更为灵活，服务提供方和调用方的依赖只依靠一纸契约，不存在代码级别的依赖，这在强调快...

2020-01-13 16:23:31 1898 1

原创 MySql日常监控运营系统状况

MySql日常监控运营系统状况作者官方网站:http://www.wxl568.cn1. 查看事务隔离级别SELECT @@global.tx_isolation;SELECT @@session.tx_isolation;SELECT @@tx_isolation;2. 设置隔离级别SET [SESSION | GLOBAL] TRANSACTION ISOLATION LEV...

2020-01-13 15:54:51 177

原创 Python开发我用了这2款开发软件都不错

作者官方网站:http://www.wxl568.cnPython开发我用了这2款开发软件都不错Python开发我用了这2款开发软件都不错Python开发就是太多引用的包兼容不好搞，开发环境也是版本不是一般的多PyCharm开发IDEPyCharm 是由 JetBrains 打造的一款 Python IDE。PyCharm 具备一般 Python IDE 的功能，比如：...

2020-01-07 10:43:45 258

原创工作中开发sql语句case when else使用

作者官方网站:http://www.wxl568.cnsql语句统计case when else 输出状态类型实例case event_id when 'hrss_clock_001' then '员工登陆打卡微服务' when 'hrss_clock_002' then '请求服务器失败2' ...

2019-12-31 14:39:06 352 1

原创 DataX介绍

作者官方网站:http://www.wxl568.cnDataX介绍一. DataX3.0概览DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了6年之久。...

2019-12-31 14:27:09 256

原创 nginx配置固定访问配置sticky-module模块实现http及tcp健康检查

作者官方网站:http://www.wxl568.cnuser mwopr;worker_processes 1;error_log logs/error.log info;pid logs/nginx.pid;events { worker_connections 2048;}http { include /app/nginx/co...

2019-11-21 13:55:12 445

原创日常启动大数据

作者官方网站:http://www.wxl568.cn日常启动大数据ps aux|grep elasticsearch./elasticsearch命令验证curl -X GET http://127.0.0.1:9200/logstash启动./logstash -f logstash_A.confkibana启动./kibana如果此时看到表中只有localh...

2019-08-29 20:04:18 119

原创 Hive之列转行,通用sql写法

作者官方网站:http://www.wxl568.cn实例数据图转换换行select uid, concat_ws (',', collect_list(date_time)) as date_time from dm_hrssgps.timeaaagroup by uid使用函数：concat_ws(',',collect_set(column)) ...

2019-08-14 10:04:13 1168

原创服务器nas目录挂载

作者官方网站:http://www.wxl568.cn1. 重启后，如果df -h看不见挂载点，请尝试直接cd /nfsc/NAS卷名（autofs，无访问不显示）；2. 如果不能cd到挂载点里，请检查主机IP到NAS服务器2049端口是否联通， telnet NAS服务器IP 2049。3. 如果可以telnet NAS服务器IP 2049通，进行showmount -e 加nas服务器...

2019-07-12 16:47:24 12145

原创 java本地缓存实战项目

作者官方网站:http://www.wxl568.cnimport java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util.HashSet;import java.util.List;import java.util.Map;import java.util.Set;...

2019-06-28 14:32:56 448

原创 Java 动态根据模板创建 html

作者官方网站:http://www.wxl568.cnJava 动态根据模板创建 htmlimport java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.util.Date;import java.util.HashMap;import java.util....

2019-06-28 14:15:42 1319

原创日常工作优化数据较大数据、提升表分区

作者官方网站:http://www.wxl568.cn##查询自己表分区情况selectpartition_name part,partition_expression expr,partition_description descr,table_rowsfrom information_schema.partitions wheretable_schema = schema()...

2019-06-21 14:50:19 245

原创环境数据部署

作者官方网站:http://www.wxl568.cn1、前端服务器：账号：appdeploy/sf123456nginx服务器地址：10.202.160.1110.202.160.13前端包路径：/app/nginx/htmlnpm run dev打包npm run build启动路径：/app/nginxsudo ./startNginx.shsudo ./s...

2019-06-21 14:32:13 173

原创前端技术vue环节与代码结构层整理，nginx配置参考

作者官方网站:http://www.wxl568.cn## 准备工作- node.js环境（npm包管理器）- vue-cli 脚手架构建工具- cnpm npm的淘宝镜像## 开发运行```bash # 安装依赖 npm install//or # 建议不要用cnpm 安装有各种诡异的bug 可以通过如下操作解决npm速度慢的问题 n...

2019-05-24 14:54:43 299

原创 WebService对接对方WebService的数据格式

作者官方网站:http://www.wxl568.cn/** * @Description: 与ECP接口相关工具类*/public class EcpCallBackUtil { private static final String SYSTEM_ID = "HRSS-GPS"; private static final Logger logger = Logger...

2019-05-23 16:27:06 1308

原创怎样学习Hadoop大数据体系方向知识技术点覆盖日常整理

大数据需要掌握哪些技术知识作者官方网站:http://www.wxl568.cn下面经过碎片时间搜集学习Hadoop大数据方向技术心得整理，内容覆盖全面知识，学会满足当前企业发展，请大家检阅要学习研究大数据体系架构方向要学习大数据方向的知识面很多，要坚持小象网站学习整理作者官方网站:http://www.wxl56...

2019-05-13 16:10:22 256

原创本站首页《存储过程方面，sql、分组、排序、动态计算数据等》知识

作者官方网站:http://www.wxl568.cn 本站首页《存储过程方面，sql、分组、排序、动态计算数据等》知识下面是本站实战的文章首页排序sql计算-- sql删除存储过程dropprocedureifexists p_js_ranking;下面存储过程...

2019-04-12 14:31:37 166

原创创建存储过程、mysql自身定时执行计划

作者官方网站:http://www.wxl568.cn创建存储过程、mysql自身定时执行计划下面简单删除定时删除过期数据场景/*删除存储过程*/dropprocedureifexistsp_dele_mp_addret;/*删除原有的定时任务*/dropeventifexistsp_dele_mp_addret;delimiter //CREATE...

2019-04-10 09:43:22 244

原创 mysq分区相关知识点

作者官方网站:http://www.wxl568.cn1、自动生成如下P_WXL_ad开头的分区块2、查询MYSQL的所有任务jobs语句select * from information_schema.events ;如下所图主要字段3、查看job是否开启了自动执行语句show variables like '%event_scheduler%';ON——表示已开...

2019-03-29 10:45:01 180

原创 MYsql分区使用粘贴使用注意代码之间的空格

作者官方网站:http://www.wxl568.cnMYsql分区使用粘贴使用注意代码之间的空格CREATE TABLE `wxl_ad_visit_record` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `create_date` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,...

2019-03-26 15:44:40 174

原创 ElasticSearch查询

作者官方网站:http://www.wxl568.cnElasticSearch查询工具提供高效，方便易用的查询接口，满足用户灵活多变的查询功能ElasticSearch是一款分布式的全文检索工具，支持对文本和结构化数据的查询。虽然ES很强大，但开发人员如果要去使用它需要熟悉相关原理和查询语法，即使这样，要高效的使用它还需要积累相关的经验。ElasticSearch查询工具可以在很...

2019-02-19 10:02:32 222

原创搜索的架构图如下

作者官方网站:http://www.wxl568.cnset mapred.max.split.size=100000000;set mapred.min.split.size.per.node=100000000;set mapred.min.split.size.per.rack=100000000;set hive.exec.reducers.max=200;se...

2019-02-18 15:45:57 1322

原创 Oracle Job定时任务实例

作者官方网站:http://www.wxl568.cnOracle Job定时任务实例/*先创建存储过程 */create or replace package body PGK_AGNT_ECP_REJECT_STATUS is procedure PRO_AGNT_SUBJECT_QUOTATIONA is begin update pmp.pmp_agnt_sig...

2019-01-17 20:59:13 864

原创 python学习

作者官方网站:http://www.wxl568.cnpip常用命令#安装包pip install xxx#升级包，可以使用-U 或者 --upgradepip install -U xxx#卸载包pip uninstall xxx#列出已安装的包pip list或者在windows下执行 pip install requests即可，在Li...

2019-01-11 14:12:07 92

原创 java动态处理处理加密字段，动态配置表名

作者官方网站:http://www.wxl568.cn--工作整理 Create tablecreate table PMP_AGNT_INCLUDE_CARDNO( include_cardno_id NUMBER, table_name VARCHAR2(100), orig_id_card VARCHAR2(300), card_no_e...

2019-01-10 13:40:23 682

原创 MYsql数据库date_format格式化年月日 CASE WHEN 使用

作者官方网站:http://www.wxl568.cnselect l.empCode "工号", l.empName "姓名", l.orgName "组织名称", l.posname "职位名称", date_format(l.cloc...

2019-01-03 17:13:21 616

原创 Oracle存储过程日常工作整理写法实例

Oracle存储过程日常工作整理写法实例create or replace package body CUX_HRMIS_SYNC_PKG is/* *-- Creation time：2016-12-26 09:47:26 *-- Description：同步人才搜索员工基本信息 */procedure PROC_SYNC_SRCH_BASE_INFO isbegin -...

2019-01-03 15:43:08 771

原创 MYsql分区使用

作者官方网站:http://www.wxl568.cn几种获取MySQL分区表信息的常用方法SHOW CREATE TABLE 可以查看创建分区表的CREATE语句SHOW TABLE STATUS 可以查看表是否为分区表查看INFORMATION_SCHEMA.PARTITIONS表可以查看表具有哪几个分区、分区的方法、分区中数据的记录数等重要信息select * from ...

2019-01-03 15:26:41 390

原创 hive 创建表实例

作者官方网站:http://www.wxl568.cn分区整理创建表inc_day=天存储INC_MON=月存储------------引号处理create table dm_hrssgps.pmp_agnt_operation_log_big(opt_menucount string comment '统计数据',opt_menu string ...

2019-01-03 15:13:46 940

elasticsearch and logstash版本6.2.4同步mysql

tesseract-ocr

Java 解析http请求处理结果

学习Python

空空如也