- 博客(30)
- 收藏
- 关注
RSS订阅原创 【K8S】【flink on k8s】 之flinkcdc
1）新建一个nodeport类型的service ，选择器和application-deployment-rest 保持一致，映射8081端口。1)k8s上能执行kubectl 命令的节点上创建自定义工作负载配置任务文件 flink-cdc-demo.yaml。2） 访问flink-web-ui service 对应的端口即可出现flink-web-ui界面。1、在k8s 上部署 flink-kubernetes-operator。1、在k8s 上部署 flink-kubernetes-operator。
2024-03-14 19:32:30
356
原创 【K8S】一些命令
1、直接映射pod内端口，类似于nodeport 但是只是临时访问，可用于调试查看。2、pod 内文件到宿主机。3、pod 内安装工具。
2024-03-11 15:58:00
358
原创 【Elasticsearch7.11】修改索引中存在值的字段值为null
利用kibana 工具，利用_update_by_query 和script 实现修改字段值为null。
2024-02-22 16:04:46
451
原创 【Elasticsearch7.11】集群上无法删除和创建索引
一、问题描述：ES集群上无法进行索引的创建和删除，但是在一个已知存在的索引是可以进行写入的。无法创建和删除索引 日志记录如下。通过kibana 采用 restfulapi 进行通过kibana 采用 restfulapi 进行删除索引时也有类似的请求结果。二、问题原因：是由于pending task 引起1、在kibana 中执行一下命令查看结果,（以下两个命令结果一样）2、结果 右侧列表 不为空（由于问题已经解决所以下图中为空）三、解决方案：查看ES集群master 主节点，然后重启该
2024-02-19 14:56:06
400
原创 【springcloud】线程池中子线程日志使用MDC打印tranceID
【代码】【springcloud】线程池中子线程日志使用MDC打印tranceID。
2024-01-09 12:25:11
377
原创 【springcloud】打印请求日志
一般线上日志都是采用INFO级别,如果采用DEBUG级别会生成大量无用的日志，但是INFO级别 又不主动输出正常的接口请求日志。如果每次都在Controller层，log.info()中编码输出记录日志又比较麻烦。所以需要统一处理日志，不需要编码输出且又要记录接口访问日志。2、利用springboot 自动装配将通用module 引入。3、在其他工程pom.xml里直接引用此module 即可。1、新建一个工程module。
2024-01-09 11:11:08
433
原创 【K8S】 部署skywalking 9.3.0
1、配置skywalking-server-config和skywalking-ui-config。2、部署 skywalking-server 和skywalking-ui。3、部署完毕访问 skywalking-ui 的地址和端口即可。
2023-12-29 16:58:44
595
原创 【k8s】日志处理 （主动推送和异步收集）
1）、先配置Outputs/ClusterOutputs,分别填写 名称，es ip port ，以及日志的索引名称。2）配置Flows/ClusterFlows,配置名称 通过标签选择器 设置需要收集日志的应用pod。4）注意：日志是按照行收集的，一行一条数据。1、主动推送 ，graylog /skywalking。2、异步收集，ELK /EFK/Ranch 日志收集方式。springboot整合 skywalking日志。3) kibana 查看收集的日志。2、rancher 中的日志收集，
2023-12-28 16:22:09
432
原创 【kafka2.4.1】kafka增加身份认证
1、进入kafka目录，修改kafka配置文件，修改config/server.properties文件，并添加如下内容。2、在kafka目录下config目录，创建配置文件kafka_server_jaas.conf，填入如下内容。1、版本 kafka 2.4.1 ，zookeeper3.5.7(自行下载)3、在当前kafka目录下，修改kafka启动脚本。kafka默认部署情况下是没有身份认证。5、springboot 连接kafka。4、启动zk、kafka。2、单节点 kafka。
2023-09-25 16:09:04
409
原创 【elasticsearch7.11】elasticsearch7.11 字段排序 全解析
在使用过程中避免不了涉及到分词字段排序的请求接下来说一下，主要包括 排序分类和示例。前提 1、要了解 单字段 multi-fields2、时间或者Long 等类型不讨论 3、text 类型分词字段 如果排序 需要设置 “fielddata”: true 4、请自行了解下 es官网 sort 排序属性设置。
2023-09-20 18:05:51
482
原创 【k8s】Rancher+graylog 傻瓜式安装部署
1、rancher-工作负载-Deployments-创建，添加名称镜像，设置端口，添加环境变量（也可以通过ConfigMaps方式添加）1)rancher-工作负载-Statefulset-创建，设置名称选择es-headless，设置镜像，端口。1）Rancher-服务发现-services-创建,选择命名空间，输入名称，配置端口。5、等待es安装完毕，工作负载-Statefulset 会出现如下应用。1）rancher-存储-ConfigMaps-创建。2、创建es-headless。
2023-09-19 10:05:03
151
原创 jenkins在devops中遇到的问题和解决方式
以管理员身份登录Gitlab后，进入adminarea，点击菜单（首页顶层一行有个小扳手图标）点击进入，接着左侧菜单栏---->settings（设置）下一级---->network（网络）---->outbound requests expend（外发请求）前面打勾（□ Allow requests to the local network from web hooks and services-允许Webhook和服务对本地网络的请求）即可！2、在gitlab 添加webhook 时可能会出现。
2023-09-08 11:06:25
108
原创 IDEALJ 利用Docker生成镜像推送到harbor
然后 service 选项卡，连接docker 后选择 docker 后 选择某个image，push镜像。4、docker 配置 harbor 地址 在 /etc/docker/daemon.json 中添加 insecure-registries，3、Dockerfile docker 中必须存在From 的基础镜像 或者 dockerhub可以找到基础镜像。docker 推送镜像 build 构建镜像到docker ，push 镜像到harbor。一些 postgresql 命令。
2023-09-08 10:48:52
541
原创 【elasticsearch7.11】Elasticsearch7.11.1数据恢复和集群间数据迁移
rename_replacement 将 rename_pattern 匹配成的索引按照 rename_replacement 设置进行重命名。具体流程是通过每日快照将指定索引数据恢复到一个新的索引，然后再所需要的数据进行迁移到指定索引中。数据被误删，需要恢复，恢复要求是 1、指定索引中的部分数据进行还原到某天。3、执行快照恢复，只针对单个索引数据进行恢复操作（请确保新索引不存在）1、通过索引生命周期已经设置了每日对索引进行快照备份（自行查找设置）下图对应 快照名和存储库名称。
2023-08-07 10:43:36
349
原创 spark-sql
这种情况下 就需要 先将dataframe 转成rdd 在rdd中添加列然后再转成dataframe,其中可能会遇到问题 1-df转成rdd后schema 丢失变成RDD[ROW],在对RDD[ROW] 无法调用 toDF() 将rdd 转化成df了。1）直接调用withColumn() 函数，但是 添加的列 只能是 依赖于已经存在的列 或者 添加常值列（这一列的值都一样）2） 增加列 非依赖于已存在的列 或者 常值列的数值不一致的。6、df里获取字段值是json 的处理。
2023-05-26 14:26:23
120
原创 【Elasticsearch7.11】监控索引数据变化方案
1、利用es 慢sql日志，将写请求记录输出到es的日志中，再对日志进行收集。3、开发修改es请求客户端api 对写请求记录。2、开发es插件拦截记录写请求。最好的方案就是 方案1。
2023-02-14 15:31:21
871
2
原创 【Elasticsearch7.11】关于elasticsearch(es)中查询minimum_should_match 参数的记录
2、分词器直接影响分词结果，可以设置不同的搜索分词器和文档分词器(或者通过fields 实现多分词器对文档分词，在搜索时指定分词器),如下。3、通过 _analyze 命令 查看分词结果，根据搜索内容分词和文档内容分词结果匹配是否至少匹配上2个不同的词语。1、搜索分词和文档分词匹配时，重复词语算作一个词语，也就是至少匹配到 查询分词词语中的2个不同的词语。直接上结论 ：以"minimum_should_match" ：“2” 为例。以下是验证结论 1 ，结论2 3 都是实际使用中的一些技巧。
2023-01-31 17:37:44
512
原创 短文本相似度
Jaro–Winkler相似度 jaro-winkler相似度对于前缀匹配更友好，并且越往前面匹配成功带来的权重更大。杰卡德相似度 两个集合之间的相似性，它被定义为两个集合交集的元素个数除以并集的元素个数。汉明距离 用于相同长度，结合simhash 做长文本去重或者图像像素的匹配（同图搜索）余弦相似度 只考虑空间向量夹角，忽略向量数值长度，反应变动趋势。欧式距离 空间绝对距离，数值差异影响较大，反应数值差异。修正余弦相似度 在余弦相似度基础上 增加数值的影响。莱温斯坦距离（编辑距离）
2023-01-03 15:14:34
158
原创 记录一次通过resttemplate进行文件上传请求转发的处理
需要将文件上传接口的请求通过resttemplate转发到另一个后台接口上，采用resttemplate进行post 请求获取。二是通过将MultipartFile 转化ByteArrayResource。两种方式 一种是上传文件先本地临时存储，
2022-11-25 16:00:03
1330
原创 【elasticsearch】ES去重查询实现
2）cardinality基数计算去重后数量 （采用hyperloglog实现，hyperloglog一种近似计算）会有误差，去重实现原理： 采用es 的Collapse折叠+cardinality基数计算 实现去重。1）Collapse折叠只支持一个字段去重,且字段必须是 keyword。3） 不支持search_after 和 scroll，有深度分页问题。1、优点：简单快速效率高，几乎无性能损耗（相比于分桶去重）将多个字段组合成 一个字段然后去重。多个字段组合成一个字段有3种方案。
2022-10-30 13:35:16
7594
原创 【kafka】记一次kafka 消费者组 offset被清除
偶然 通过 kafkatools 上发现一个 原来的消费组中提交的历史的offset 记录没有了，很明确的这个消费者组有过offset 提交记录。参考kafka 官网 https://kafka.apache.org/documentation/#consumerconfigs。3、设置offset提交超时时间，如果超过这个时间未提交offset，则自动将上一次已提交的offset再提交一次。在低版本中是1天后如果消费者组内没有消费者提交，offset就会丢失，在2.0.0版本以后 从1天调整到了7天。
2022-10-30 13:21:01
1674
原创 【kafka】海量kafka数据入es速度优化处理
1、采用批量插入，批量插入效率较单条插入效率高很多（效果相当明显，一次批量插入数据大小限制在5M内）2、调整es 中索引的副本为0（效果相当明显，es无需做主副分片的复制，减少插入数据请求等待时间）主要是涉及到kafka 消费端到es 的数据处理。1、增加kafka的消费并行度（效果相当明显）以下图为kibana中调整索引xxxx的副本数。2、kafka 设置多分区（效果相当明显）
2022-10-28 16:18:10
1301
原创 【elasticsearch】es-sql中的一些查詢 sql 函数
ES-SQL 中可以写sql 进行数据查询 ，但是个别的查询sql 还是有一定的区别，以下记录一些实际用到的一些函数1、模糊查询非分词字段 类型为keyword 的字段 使用 like， 和mysql 数据库中的like 使用一样例如 mobile like ’%keyword%‘分词字段 类型为text 的字段 使用 matchPhrase，对应es 中的 match_phrase例如 name =matchPhrase(‘keyword’)2、多值查询
2022-06-15 11:26:12
2635
4
原创 mycat 使用小经验和小技巧
1、版本jar：Mycat-server-1.6.7.1-release-20190627191042-linux.tar.gz开始用1.6.7.5版本 很坑2、配置文件server.xml 主要部分 <user name="root" defaultAccount="true"> <property name="password">mima10086</property> <property name="schemas">db1</p
2022-03-23 19:08:38
431
2
原创 【redis】记录一次rediscluster 调用lua 脚本， 用于 list 批量获取
记录一次rediscluster 调用lua 脚本 用于 list 批量获取需求：用redis list 当作消息队列（原来的架构固定不能变更），需要增加消费速度改进方案的思想（不考虑业务逻辑变更优化，主要是原来的逻辑改不动，有些????）：1、批量获取 2、多线程消费改进中遇到的问题：1.批量获取问题 2、多线程问题 3、分布式问题解决方案：1、批量获取问题1）redis 6.2.2 版本前list 弹出队列只有单个出队列（lpop）变更版本不靠谱2）搜索查询查看帖子 后了解到 通过l
2021-11-16 17:01:03
3367
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人