- 博客(216)
- 收藏
- 关注
RSS订阅
原创 elastic stack（九）es定时任务清除日志
基于es的内存和性能考虑、定时清除日志势在必行一、编写es清除脚本1、创建.sh文件（touch /gfkdata/elk/delete-elk.sh）注意：.sh的首行必须是#!/bin/sh# 获取7天以前的日期DATA=`date -d "1 week ago" +%Y.%m.%d`#当前日期time=`date`# 打印语句echo "删除"$DATA "的索引"#删除7天前的日志 （--user elastic:123456 是密码验证，没有设置xpack的这段.
2020-09-23 18:01:39
1501
1
原创 webservice接口调用安全证书
最近在在调用webservice接口，对方的协议是https、自然也就出现了安全证书的问题：Caused by: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target at su
2020-05-22 10:19:33
1547
1
原创 python之自动化点餐&定时任务
Cron是linux系统的任务管理器2.1打开终端或控制台2.2进入crontab编辑器：crontab -e 编辑crontab文件crontab -l 列出当前用户的所有定时任务crontab -r 删除当前用户的crontab文件crontab -u 指定用户再加具体命令eg：配置每2分钟执行一次的脚本。
2023-10-18 15:47:04
926
1
原创 MybatisPlus 实现数据拦截
基于配置文件实现（关键key存储在配置文件，通过读取配置文件来实现动态拼接sql）3、创建拦截器重写InnerInterceptor接口，重写查询方法。2、配置枚举类配置文件 EDataPermissionType。4、创建处理类，动态拼接sql片段，设置where。5、将拦截器加到mybatis-plus插件中。注：id用以区分是小程序还是应用程序。6、使用的位置加注解即可生效。app：应用程序类型权限控制。mp：小程序类型权限控制。
2023-06-14 11:52:25
5820
原创 PySpark实战一之入门
分三个模块：数据输入：通过SparkContext对象，完成数据输入数据处理计算：输入数据后得到RDD对象，对RDD对象的成员方法进行迭代计算数据输出：最后通过RDD对象的成员方法，完成数据输出，将结果输出到list、元组、字典、文本文件、数据库等。
2023-02-15 17:40:49
1178
1
原创 clickhouse导出csv文件，将大文件压缩上传至S3服务器
3、导出csv文件默认utf-8，但是excel打开csv文件默认以ASNI编码打开，直接使用excel打开csv会乱码，一下操作是将默认utf-8转换为gb2312编码。2、压缩文件上传至S3服务器工具类。4、调用生成csv.gz压缩文件。1、clickhouse驱动。
2023-01-19 16:38:27
1182
原创 mysql的连表查询之多对一
mysql的内置函数instr(str,substr)，作用是获取子串第一次出现的位置，如果没找到则返回0。如果集合是常量用 in()、find_in_set()，如果集合是变量用 find_in_set()需求A表的label_ids是B表的主键id，查询A表的时候关联B并查出对应的name。like是广泛的模糊查询、find_in_set()是精准匹配。substr：指定的字符/目标字符串。
2023-01-07 22:26:17
882
原创 clickhouse-副本引擎
1、副本的概念在ck中没有主从之分、副本的目的是为了保障数据的高可用。即便clickhouse节点宕机，也能正常使用从其他服务节点获取相同的数据zookeeper配置：内部配置（需要修改原配置文件）1、打开配置：vim /etc/clickhouse-server/config.xml2、找到副本配置位置：/zookeeper外部配置（灵活使用外部配置）1 、打开配置：vim //etc/clickhouse-server/config.d/config-ck.xml、粘贴以
2022-05-29 16:14:12
273
原创 ClickHouse-MergeTree引擎
order by 设定了分区内的数据按照哪些字段顺序进行有序保存order by是MergeTree中唯一一个必填项目，甚至primary key还重要，因为用户不设置主键的情况，很多处理会依照order by 的字段进行处理主键必须是order by字段的前缀字段必须包含主键字段创建二级索引测试表：CREATE TABLE t_order_mt2 ( id UInt32, sku_id String, total_amount DECIMAL ( 16, 2 ), create_
2022-05-26 09:41:06
841
原创 clickhouse-表引擎（三）
1、表引擎存储位置：/var/lib/clickhouse/data建表语句存储位置：/var/lib/clickhouse/metadata2、表引擎的使用注意：引擎名称驼峰式TinyLog：列文件形式保存、不支持索引、没有并发控制、一般保存少量的数据使用场景：测试环境create table t_tinylog(id String,name String) engine=TinyLog;Memory:内存引擎，基于内存特点：快、缺点：重启宕机时数据消失。..
2022-05-25 11:19:53
784
原创 Clickhouse-数据类型基本使用（二）
1、数据类型-枚举类实现#打开客户端连接工具（-m：允许多行输入）clickhouse-click -m#创建表（枚举类的表）CREATE TABLE t_enum ( x Enum8( 'hello'=1, 'world' = 2 ) ) ENGINE TinyLog;#插入数据（多行插入）insert into t_enum values('hello'),('world');#查询select * from t_enum;#查询枚举类字符串对应的值select cast
2022-05-22 22:37:02
374
原创 Mac上传文件到linux服务器
1、打开终端、创建sftp连接2、上传文件put /Users/yang/Desktop/clickhouse-common-static-dbg-22.4.5.9-amd64.tgz /root/clickhouse上传文件夹：put -r 本地路径 远程路径
2022-05-18 00:14:31
1181
原创 ClickHouse入门
一、概念OLAPClickHouse的设计定位就是用于OLAP离线数据处理，clickhouse更关注海量数据的计算分析、关注数据吞吐、查询速度、性能指标，通常用来构建后端数仓或者离线数仓OLAP：联机分析处理OLTP：联机事务处理过程列式存储真正意义的列式存储数据库（Hbase伪列式存储数据库）行式存储强调数据的完整性。列式存储数据跨多个文件使用场景：绝大多数读请求，对数据的修改比较少或无 数据量大 数据通常以大批次的整体更新 对事务的要求不会太高，通常保证最终一致性
2022-05-18 00:06:39
105
原创 Java并发线程池
newCachedThreadPool：可复用线程池，线程数量无限制，容易cpu100%，队列并非无界队列，相较而言最不容易出现OOMnewFixedThreadPool：固定大小线程池，无边界阻塞队列，容易内存溢出（OOM）newSingleThreadPool：只有一个线程线程池核心参数：corePoolSize：核心线程数。默认情况下，核心线程会一直存活，但是当将allowCoreThreadTimeout设置为true时，核心线程也会超时回收。maximumPoolSize：线程
2022-02-04 11:00:35
169
原创 JVM类加载机制
一、类运行加载全过程如下图：其中loadClass的类加载过程如下：加载->验证->准备->解析->初始化->使用加载：在硬盘上查找并通过IO读入字节码文件、使用到类时才会加载。例如：调用类的main()方法、new对象等等，在加载阶段会在内存中生存一个代表这个类的java.lang.class对象，作为方法区这个类各种数据的访问入口验证：校验字节码文件的正确性准备：给类的静态变量分配内存，并赋予默认值解析：将符号引用替换为直接引用初始化：对类的
2022-02-02 23:37:56
674
原创 Jxls模板导出excel
最近因工作需求，需要导出符合运营人员的需求的数据，那我们就需要按照运营的数据模板给其填充相应的数据，此时Jxls就被引入到项目中，具体实现如下：1、引入jar文件<dependency> <groupId>net.sf.jxls</groupId> <artifactId>jxls-core</artifactId> <version>1.0.6</
2021-01-09 11:34:29
693
1
原创 动态路由
最近基于项目要求，使用了nacos配置网关实现动态路由，记录一下实现步骤、如下：1、路由接口实现类：package com.exp.gateway.route;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.cloud.gateway.event.Re
2021-01-06 20:02:07
1282
原创 HttpPost实现远程接口调用
最近在调用第三方接口的时候，对方是https协议，使用OkHttp无果，采用HttpPost实现，附上代码package com.exp.huike.alliance.web;import java.net.URLDecoder;import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;import java.util.Date;import java.util.LinkedHashMa
2020-12-15 15:35:21
829
原创 后台csv导出实例
import org.apache.commons.csv.CSVFormat;import org.apache.commons.csv.CSVPrinter;import java.io.*;import java.text.SimpleDateFormat;import java.util.*;public class CSVTest { public static void main(String[] args) throws IOException, Interrupte.
2020-11-16 10:16:01
166
原创 CSV导出实例
最近写了一个csv导出实例，csv导出需要传入字节，以“，”分割@ApiOperation(value = "导出订单详情", notes = "导出订单详情", produces = MediaType.APPLICATION_JSON_UTF8_VALUE) @RequestMapping(value = "/api/order/query/exportOrderDetail", method = RequestMethod.GET) public ResponseEntity e
2020-11-16 10:12:15
231
原创 elastic stack（十）logstash后台启动
# 后台启动nohup ./logstash -f ../config/myes.conf &# 查看日志tail -f nohup.out
2020-09-29 13:58:17
2568
原创 elastic stack（八）logstash配置过滤器日志多行一行显示问题、8小时时差问题
filter中配置如下： #解决日志多行问题,匹配以[开头的 multiline { pattern => "^\[" negate => true #"previous" 指代合并到前一行，"next"指代合并到下一行中 what => "previous" }启动multiline报错解决方式如下：查看是否安.
2020-09-15 18:28:01
415
原创 elastic stack(七) elasticsearch密码重置
1、在elasticsearch的bin目录下启动es(我选择的是后台启动)./elasticsearch -d2、重置密码./elasticsearch-setup-passwords interactive
2020-08-18 09:51:52
1275
1
原创 elastic stack(六) springboot整合es
elasticsearch版本类型统一7.8.01、项目架构如下2、配置文件（进行验证登陆的时候需要输入账号、密码）/** * @author yfc * @date 2020/8/17 * @description elasticsearch配置文件 * @parmas */@Configurationpublic class ElasticsearchClientConfig { @Bean public RestHighLevelClient rest
2020-08-17 16:38:41
243
原创 elastic stack(五) elasticsearch-head插件启动相关问题
elasticsearch添加了验证登陆，安装完elasticsearch-head后，通过插件常规访问ealsctisearch失败解决方法：在ealsticsearch.yml中配置验证#防止跨域，所有用户http.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type#用户安全认证x
2020-08-17 16:24:04
153
原创 elastic stack(四) elasticsearch-head插件安装启动
1、下载node.js命令下载：wget url2、安装node.js####打开所要解压的路径cd /gfkdata/elk/####解压文件tar -xJf node-v12.18.3-linux-x64.tar.xz3、配置环境变量vi /etc/profile#### 在文件最后追加node.js的相关配置export NODE_HOME=/gfkdata/elk/node-v10.16.3-linux-x64export PATH=$NODE_HOME/b.
2020-08-06 14:46:17
706
原创 linux免密码远程连接
当远程服务器比较多、频繁切换服务器的时候，反复输入登陆是一件很苦恼的事情，最近看到大佬用了一个捷径快速登陆远程服务器，自己也就学习了一下，所谓的“免密码”登陆远程服务器，其实只是将本地的私钥上传到服务器1、获取本机公钥cd ~/.ssh###查看公钥cat id_rsa.pub 2、将本机公钥上传到远程服务器做验证cd ~./ssh####查看公钥vim authorized_keys####将刚才查到的公钥复制到认证文件中authorized_keys3、创建本地配
2020-08-03 17:34:58
232
2
原创 elastic stack(三) es引入ik分词器
elasticsearch安装ik分词器1、根据elasticsearch版本下载ik分词器2、将ik分词器解压到elasticsearch/plugins/ik下3、在config目录中加自定义分词器文件 my.dic4、在config目录下IKAnalyzer.cfg.xml中指定自定义分词文件5、es查询插件列表：./elasticsearch-plugin listik提供分词器两种算法：ik_smart 最少切分。 ik_max_word 最细粒度划分kiba.
2020-07-24 13:53:21
292
2
原创 elastic stack(二) elasticsearch安全模式
elasticsearch开启安全模式1、elasticsearch->elasticsearch.yml配置文件修改（目录：config/elasticsearch.yml）xpack.security.enabled: truexpack.license.self_generated.type: basicxpack.security.transport.ssl.enabled: true2、启动es（我选择的后台启动，目录：bin/） ./elasticsearch
2020-07-24 11:44:22
776
原创 elastic stack(一)软件安装启动
版本：elasticsearch 7.8.0、logstash 7.8.0、kibana 7.8.0(官网下载) jdk 11elk的启动账号（必须以非root账号启动）1、检查本地jdk版本是匹配java -version本地jdk环境是1.8（项目需求），此时需要在jdk中重新指定jdk版本进入elasticsearch下bin目录的启动文件elasticsearch,配置如下：#!/bin/bash# CONTROLLING STARTUP:## This s...
2020-07-22 17:12:27
534
2
原创 Vue.js的初认识
Vue.js是一套构建用户界面的渐进式框架，只关注视图层，采用自底向上增量开发的设计。Vue的语法格式：var vm = new Vue({ // 选项})举个实例：<div id="vue_det"> <h1>site : {{site}}</h1> <h1>url : {{url}}</h1&...
2019-12-24 14:38:37
184
原创 linux下安装keepalived
1、下载keepalived下载之前安装yum -y install wgetwget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz2、解压安装tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/3、下载插件openssl（需要安装一个软件包）...
2019-12-24 14:37:50
205
2
原创 linux下安装elasticsearch
1、确认服务器已经安装jdk、elasticsearch是基于java开发的（底层就是由java编写的）java -version2、安装elasticsearch（不支持root账户启动、创建其它账号启动）es启动比较占内存、默认启动1个G的内存解压es后、修改配置文件（config目录下）vi elasticsearch.yml修改内容如下：network...
2019-12-24 14:35:52
104
原创 springboot解析webservice.xml
客户端1、项目右键选择webservice2、3、客户端解析wsdl文件@Servicepublic class GwrzService { public boolean addList(List<GetPositonInfoVO> list){ boolean result=false; // 创建WebService客户端代理工厂 JaxWs...
2019-12-23 16:40:09
2373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人