OxYGC-CSDN博客

原创 [ELK实战] Elasticsearch 常用操作 (基于DSL)

为什么不能修改一个字段的type？原因是一个字段的类型修改以后，那么该字段的所有数据都需要重新索引。Elasticsearch底层使用的是lucene库，字段类型修改以后索引和搜索要涉及分词方式等操作。索引库一旦mapping创建后无法修改和删除，但是可以添加新的字段。query下面的参数有match/...

2022-07-21 15:19:26 735 7

原创 [ELK实战] Elasticsearch 聚合查询二: Bucketing/桶聚合

指标聚合有参数有聚合类型聚合参数简介Bucketing-范围聚合查询Bucketing-时间范围聚合查询Bucketing-分组统计Bucketing-直方图统计Bucketing-时间直方图统计。

2022-07-19 15:32:32 1133 2

原创 [ELK实战] Elasticsearch 聚合查询一: Metric/指标聚合

指标聚合有参数有聚合类型聚合参数简介Metricmin最小值Metricmax最大值Metricavg平均值Metricsum求和Metricstats综合统计Metric统计某字段有值的文档数Metric-值去重计数Metric-高级统计，比stats多4个统计结果平方和、方差、标准差、平均值加/减两个标准差的区间。Metric-求文档集中的地理位置坐标点的范围Metric-求地理位置中心点坐标值Metric-占比百分位对应的值统计。......

2022-07-19 13:57:49 745

原创 [基础架构] [Flink] Flink/Flink-CDC代码实现业务接入

1.2 业务编码1.2.1 入口类1.2.2 自定义反序列化器1.3 业务打包打包完成：把cdc-connector-1.0-SNAPSHOT-jar-with-dependencies.jar 包上传到到flink主目录并运行下面命令行和命令行启动相关效果, 正常成功启动进行监控[1] flink-cdc-connectors...

2022-07-18 15:01:08 1071

原创 [脚本工具] Python 局域网Hosts实现DDNS / Github网速增强

笔者主要解决的问题是,在家或者出差有多台笔记本电脑，需要频繁修改Ip来连接这台笔记本上面服务。

2022-07-16 04:47:06 893 3

原创 [玩转Linux] [Docker] MySQL安装和配置

[玩转Linux] [Docker] MySQL安装和配置1.4运行容器运行成功二: 修改Docker (MySQL)相关配置找到容器的配置目录默认配置文件重启容器三:删除Docker容器参考资料 & 致谢[1] docker修改容器配置文件的3种方法总结.....................

2022-07-05 19:10:09 880

原创 [基础架构] [Flink] Flink/Flink-CDC的部署和配置

Flink 以及 Flink -CDC 部署与配置

2022-07-05 11:22:43 7766 11

原创 [基础服务] [kubernetes] kubernetes(K8S)的集群安装和配置

CentOS 7.9方法 / 步骤前置工作# 1、关闭防火墙systemctl stop firewalldsystemctl disable firewalld--------------------------------------------# 2、关闭selinux#临时关闭setenforce 0 #永久关闭sed -i 's/enforcing/disabled/' /etc/selinux/config ---------------.

2022-05-21 05:54:32 627 1

原创 [基础服务] [Docker] Harbor 安装和配置

Harbor 安装和配置资源包描述下载适用于Windows的Grafana【📁】 grafana.windows-amd64适用于Windows的Prometheus【📁】 prometheus.windows-amd64windows_exporter【📁】 windows_exportergo.windows-amd64【📁】 go.windows-amd64方法 / 步骤记录下本人在WindowsServer环境下安装MongoDB的步骤，以作备

2022-05-16 11:57:02 1985

原创 [基础服务] Nacos安装和配置

windows环境下的Nacos安装步骤一：下载并安装Nacos下载地址：官网下载二：配置Nacos解压打开后目录如下2.1 执行nacos-mysql.sql文件2.2 修改 application.properties 配置文件配置文件内容如下db.url.0=jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&amp

2022-05-12 16:56:11 600

原创【基础架构】【Windows平台】Canal全家桶的安装和配置

数据库同步软件MySQL配置1.开启binlog找到mysql安装目录 mysql --help|grep my.cnf 编辑my.cf[mysqld]log_bin#开启binloglog-bin = mysql-bin#选择row模式binlog-format = ROW#配置mysql replication需要定义,不能喝canal的slaveId重复server_id = 1 查看是否开启binlog日志运行以下sql (如果显示OFF则代表未开启。在MyS.

2021-12-24 01:38:35 1630

原创 [基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置

步骤/详情一：下载注意的是下载版本为免安装版。下载地址：https://www.elastic.co/cn/downloads/elasticsearch笔者选择的是当前最新版二：安装ES服务Window版的ElasticSearch的安装很简单，类似Window版的Tomcat，解压开即安装完毕，解压后的ElasticSearch的目录结构如下：修改elasticsearch配置文件，config/elasticsearch.yml文件，增加文件内容如下：# 开启跨域访问http.

2021-12-13 02:09:55 4865 2

原创 [JDK] [Collection] 玩转Java集合之Lambda

List<Integer> sourceList =new ArrayList<>(); sourceList.add(1); sourceList.add(2); sourceList.add(3); List<Integer> targetList=new ArrayList<>(); targetList.add(3); targetList.add(4);

2021-01-02 02:59:13 1431

原创 Linux-CentOS_7.x上安装Docker ( 在线&离线)

前言Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows 机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。方法 / 步骤1. 查看系统版本cat /etc/redhat-release显示：在 CentOS 7安装docker要求系统为64位、系统内核版本为 3.10 以上，可以使用以下命令查看uname -r2. 用yum源安装2.1 查看是否已安装doc

2020-06-25 12:48:15 1406

原创 [基础服务] 10分钟给您的站点服务加上SSL

HTTPS有两部分组成：HTTP + SSL / TLS，也就是在HTTP上又加了一层处理加密信息的模块。服务端和客户端的信息传输都会通过TLS进行加密，所以传输的数据都是加密后的数据。

2020-06-16 17:13:21 1811

原创 YangGC‘s blog

This is YangGC's blog !This is YGC's blog !This is YangGC's blog !This is YGC's blog !This is YangGC's blog !This is YGC's blog !This is YangGC's blog !This is YGC's blog !This is YangGC's blog !This is YGC's blog !This is YangGC's blog

2017-05-07 18:08:43 533

原创 [Database] MySQL 8.x Window / Partition Function (窗口/分区函数)

MySQL 8.0+版本开始支持窗口函数官方文档在之前的版本中已存在的大部分聚合函数，在MySQL 8 中也可以作为窗口函数来使用。

2023-10-24 14:26:04 205

原创 [Java框架] Java常用爬虫框架推荐

截止 2023年9月份 Star数量27.7KSelenium是一款基于浏览器自动化的工具，它可以模拟用户在浏览器上的操作行为，并获取网页上的内容。Selenium支持多种浏览器，可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而言，运行速度较慢。截止 2023年9月份 Star数量10.9KWebMagic是一款基于Java的分布式爬虫框架，它使用了多线程和异步IO等技术，可以高效地爬取网站数据。WebMagic提供了丰富的插件机制，支持自定义解析器、处理器等功能。

2023-09-30 23:21:24 2169

原创 [效率工具] [VS Code] 一文玩转VSCode下的Markdown笔记

Markdown 常用工具：各种云笔记优点：云备份,多设备同步，缺点是敏感字，图床不可外链等等。本地常用IDE又sublime，Typora等等。这样造成本地会安装很多ide。像Typora后期也收费等等。所见所得等等问题，本地的markdown可能会上传到代码仓库等等需求。最终发现vscode与自己需求惊人的重合，所以才有了今天这篇文章。

2023-05-10 04:01:56 2087 1

原创 [效率工具] Git下对敏感文件/内容的处理

有时候我们提交代码到GitHub/Giglab平台, 发现一不小心把带有账号密码以及服务器地址的代码等敏感信息提交到公共平台,对于这种情况我们应该使用一些方案进行规避。下面就讨论下这些方案！

2022-12-09 10:19:53 776 4

原创 [Android] [ROOT] Magisk(魔术师/面具) 设置以及必装模块的安装

点击下载(密码:mh) Magisk模块-神仙自动救砖-支持OTA稳定.zip注意，该功能跟Riru Hide不同，不能避免root被检测到，没有任何隐藏作用。即使你把某些程序加入排除列表，它们依旧可以发现Zygisk。如果用户要隐藏root，只能借助其他方式，比如添加Shamiko模块。要使用“Shamiko”模块隐藏root，需要面具开启Zygisk，因为它是一个依赖面具Zygisk才能运行的模块。下图是开启Zygisk的步骤，需要注意的是，打开“Zygisk”选项后要重启手机，Zygisk才能生效

2022-12-07 01:42:22 38389 8

原创 [程序人生] [世界杯] 程序员世界杯的熬夜调节套餐 - 茶叶篇

体寒的人不适合喝一些性质寒凉的茶，可以喝一些温热性质的茶，比如说经过发酵红茶或者黑茶，比如喝黑茶普洱生茶,它的茶性较寒,如果身体体质偏寒,那么就不适合喝生茶,会加重体寒的情况。因而体寒的人是不宜多喝生普洱茶的,最好选择茶性温和的熟普洱茶饮用。西湖龙井，碧螺春，信阳毛尖，都匀毛尖，君山银针，六安瓜片，黄山毛峰，祁门红茶，铁观音，武夷岩茶并称为我国十大名茶。这里面除了君山银针是黄茶，祁门红茶是红茶，其余清一色为绿茶当然比较知名的：凤凰水仙是乌龙茶/青茶, 黑茶普洱等等也是市面上比较多的1、金银花性寒。平

2022-12-05 18:09:53 1053

原创 [2022世界杯] 小白也可以看懂的世界杯

如果问你全球最火,影响力最大的体育赛事是什么？那么很多人会说 “奥运会”！当然不完全对，如果从关注度来说世界杯的影响力更大！世界杯与奥运会的不同在于：会员协会的数量，拥有209个会员协会的国际足联也多于国际奥委会；拿04年雅典奥运会和06年德国世界杯比较：德国世界杯的电视观众达到创纪录的500亿人次，雅典奥运会电视观众约为39亿人次，因此从全球性影响力来看，世界杯领先于奥运会。记得是从2014年开始关注世界杯比赛的,最近印象很深的比赛是2018俄罗斯世界杯年葡萄牙vs西班牙的比赛，那天在饭店吃饭看到2：

2022-12-05 14:55:15 554

原创 [NAS] QNAP/威联通常用设置和操作

QNap 产品是一种可扩展的数据存储解决方案。它们包括具有 1 到 30 个驱动器托架的设备，并提供 HDMI、Thunderbolt 2 和 USB 3.1 等连接选项，以及 802.11ac/a/n Wi-Fi 和高达每秒 40 Gb 的以太网。内置软件提供基本服务，例如电子邮件管理、高级访问控制、域管理和自动系统备份。视频和音频转码向移动设备和支持网络的立体声设备或电视提供即用型媒体流。

2022-11-30 19:53:17 4005

原创 [OS] ESXi安装和配置

ESXi专为运行虚拟机、最大限度降低配置要求和简化部署而设计。只需几分钟时间，客户便可完成从安装到运行虚拟机的全过程，特别是在下载并安装预配置虚拟设备的时候。在VMware Virtual Appliance Marketplace 上有800多款为VMware hypervisor 创建的虚拟设备，如今，ESXi已经实现了与Virtual Appliance Marketplace的直接整合，使用户能够即刻下载并运行虚拟设备。这为即插即用型软件的交付与安装提供了一种全新和极其简化的方式。

2022-11-25 11:05:11 774

原创 [云原生] K8S 日志收集方案

编辑json文件，删除spec字段的内存，因为k8s集群时需要认证的。打开编辑kubesphere-system.json。将 CRD ClusterConfiguration 配置文件中 ks-installer 参数的。删除 KubeSphere 中一直卡在 Terminating 的 Namespace。查看kubesphere-system的namespace描述。字段的值从 true 改为 false。IP 和端口号都没有引号。

2022-11-15 06:00:00 788

原创 [基础服务] [操作系统] 类Linux的文件和目录

bin其实就是binary的缩写，/bin目录下存放的就是我们经常使用的Linux命令。例如，文件操作命令ls、cd、cp，文本编辑命令vi、ed，磁盘操作命令dd、df、mount等等。

2022-11-14 07:00:00 357

原创 [基础服务] [计算机网络] 多层的计算机网络常识

功能口诀:二层MAC三IP, 4层防火把你踢；四层的端口号，来决定哪些流量需要做负载均衡，那些应用限制你访问这些就是我们常常用到的防火墙的功能！

2022-11-13 13:19:10 498

原创 [云原生] [kubernetes] Kubesphere下的Springboot发布并使用外部配置文件

在平常开发中，我们都会在项目配置多个配置文件,有dev/prod/test等不同的yml文件，打包时候会把配置文件同时包含在内，或者在nacos之类的中间件，读取相关配置。在K8S配置文件支持ConfigMap配置表单独部署。该文章的思路的就是使用外部挂载文件结合ConfigMap配置表实现外部容器对spring boot的配置。

2022-11-10 02:38:20 1052

原创 [基础服务] [ELK] CentOS7.x安装ELFK / (ElasticSearch + Kibana + Logstash+Filebeat)

# 🍁简介 ## 🧲 相关资料 [参考资料](https://yanggc.blog.csdn.net/?

2022-11-08 15:51:52 768

原创 [云原生] [kubernetes] Kubesphere下的DevOps / (CI/CD)

一般为一个企业空间就是对应不同的业务线, 一个业务线下面有不同的项目,这个“项目”通常我们实际应用中会划分为不同的环境,比如dev开发环境,prod生产环境等等。点击运行，您可以在弹出的对话框中看到步骤 3 中已定义的三个字符串参数。点击添加步骤上方的文本框，然后在右侧的名称字段中为该阶段设置名称（例如 Checkout SCM）。点击前一个阶段右侧的加号图标添加一个新的阶段，以构建并推送镜像至 Docker Hub。添加完成后，点击创建。在列表中选择添加凭证，在弹出的对话框中填写以下字段，然后点击确定。

2022-11-06 15:25:41 1348

原创 [云原生] [Docker] IDEA下Docker推送镜像到阿里云容器镜像

Alibaba Cloud Toolkit（后文简称Cloud Toolkit）可以帮助开发者更高效地部署、测试、开发和诊断应用。Cloud Toolkit与主流IDE及阿里云其他产品无缝集成，帮助您大大简化应用部署到服务器，尤其是阿里云服务器中的操作。您还可以通过其内嵌的Arthas程序诊断、Terminal Shell终端和MySQL执行器等工具，简化应用开发、测试和诊断的过程。

2022-11-06 06:30:00 1358

原创 [云原生] [kubernetes] 在kubesphere上部署服务

KubeSphere 是在目前主流容器调度平台 Kubernetes 之上构建的企业级分布式多租户容器平台，提供简单易用的操作界面以及向导式操作方式，在降低用户使用容器调度平台学习成本的同时，极大减轻开发、测试、运维的日常工作的复杂度，旨在解决 Kubernetes 本身存在的存储、网络、安全和易用性等痛点。

2022-11-06 06:30:00 471

原创 [云原生] [kubernetes] 在kubesphere上部署应用

作为一个开源的、以应用为中心的容器平台，KubeSphere 在 OpenPitrix 的基础上，为用户提供了一个基于 Helm 的应用商店，用于应用生命周期管理。OpenPitrix 是一个开源的 Web 平台，用于打包、部署和管理不同类型的应用。KubeSphere 应用商店让 ISV、开发者和用户能够在一站式服务中只需点击几下就可以上传、测试、安装和发布应用。对内，KubeSphere 应用商店可以作为不同团队共享数据、中间件和办公应用的场所。对外，有利于设立构建和交付的行业标准。

2022-11-05 01:35:31 386

原创 [软件工程] CAP理论和BASE理论

我们在微服务架构设计时候, 通常需要权衡服务以及业务之间的,高可用/一致性/容错性等等问题,CAP是一个已经经过证实的理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。

2022-11-03 07:30:00 370

原创 [基础服务] CentOS7.x 安装Kafka3.x

环境CentOS 7.9。

2022-11-01 17:05:11 346

原创 [设计模式] 责任链模式校验下单参数

顶层抽象类必要非空参数校验必要非空参数校验测试类。

2022-10-24 01:00:00 379 1

原创 [Redis] 使用Redis限制短信发送次数和发送频率

使用Redis实现比如一小时内允许用户发送5次短信，一天内允许用户发送10条短信的需求，改需要怎么做呢。

2022-10-22 16:39:15 1968

原创 [Java Framework] [Spring] Spring中RestTemplate中几种常见的请求方式

get和post请求适合用在不许要校验直接获取的接口，如果想获取http协议报文的内容可以使用 xxxForEntity,如果只关注传输数据本身可以使用xxxForObjecDELETE ，HEAD， OPTIONS 可以补充部分信息EXCHANGE 使用频率较高EXECUTE 上面所有方法的最后执行都是调用的该方法执行。

2022-10-20 02:44:54 757 4

原创 2022年后端工程师提升开发效率神器推荐

一些后端工程师除了写代码还要做一些运维部署的工作, 掌握各种生产力工具, 是很有必要的。但笔者发现很多开发中的工具有这样一个特点：百分之80的工具我们只用到它百分之20功能, 我们常常会遇到这种情况, 连接服务器时候一边SSH客户端输入命令,然后开着FTP客户端上传文件,最后在再开个监控软件看服务器cpu 内存的变化状态~ 虽然最后可以解决问题但是在效率上还是有很大的提升空间!很多工具谈不上效率,只是解决了能“做得到”的问题,飞速发展的今天“做的好”才是我们该追求的。什么才是一个好的有效率的工具呢？

2022-10-19 18:30:20 1370 22

【MacOS Apple silicon】Mac平台视频三件套 UniConverter / OmniPlayer / OMI

【MacOS Apple silicon】Mac平台视频三件套半年亲测 M1 / M2 / M3 系列可用, 压缩包包含：一：OMI 录屏专家 (1.3.8)：能同时录屏和画中画摄像头。同时录制系统声音和麦克风人声。自定义录制画面尺寸，分辨率，帧率和录制时长。二：**OmniPlayer (2.1.3)：视频音频播放器，**之前一直用IINA，这个比IINA更好用！能播放几乎所有格式的本地和远程服务器音视频(samba/FTP 协议) 三：Wondershare UniConverter (15.0.8) : 万兴优转 Mac上最强大的视频转换工具,支持 1000 种视频格式转换和输出。可以保持 1:1 无损画质转换,爱奇艺 QSV、腾讯 QLV、优酷 KUX的离线视频格式转换成常用可播放的格式。

2024-04-01

【MacOS Apple silicon】iShot Pro Mac版

【MacOS Apple silicon】iShot Pro Mac版：半年亲测 M1 / M2 / M3 系列可用, 压缩包包含 1,主安装包 2,iShot Pro 修复工具 3,其他相关问题教程 ================================================================ 半年亲测 M1 / M2 / M3 系列可用, 压缩包包含 1,主安装包 2,iShot Pro 修复工具 3,其他相关问题教程 ================================================================ 半年亲测 M1 / M2 / M3 系列可用, 压缩包包含 1,主安装包 2,iShot Pro 修复工具 3,其他相关问题教程 ================================================================ 半年亲测 M1 / M2 / M3 系列可用, 压缩包包含 1,主安装包 2,iShot Pro 修复工具 3,其他相关问题教程 ========

2024-04-01

【MacOS Apple silicon】Postman 9.12.2 Mac版

【MacOS Apple silicon】Postman 9.12.2 Mac版 M1 / M2 / M3 系列可用，开源最后一个汉化版本, 内部有 1，Postman v9.12.2 for macOS (arm64).zip 官方安装包 2，app.zip 开源汉化 3，readme 使用教程。【MacOS Apple silicon】Postman 9.12.2 Mac版 M1 / M2 / M3 系列可用，开源最后一个汉化版本, 内部有 1，Postman v9.12.2 for macOS (arm64).zip 官方安装包 2，app.zip 开源汉化 3，readme 使用教程。【MacOS Apple silicon】Postman 9.12.2 Mac版 M1 / M2 / M3 系列可用，开源最后一个汉化版本, 内部有 1，Postman v9.12.2 for macOS (arm64).zip 官方安装包 2，app.zip 开源汉化 3，readme 使用教程。【MacOS Apple silicon】Postman 9.12.2 Mac版

2024-04-01