- 博客(100)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 MySQL：mysqldump 异常记录
记录下异常问题1、Couldn’t execute 'SELECT COLUMN_NAMEmysql版本：Ver 8.0.22 for Win64 on x86_64mysqldump导出时报如下错误导出语句：C:\Program Files\MySQL\MySQL Server 8.0\bin>mysqldump.exe -h127.0.0.1 -uroot -p123456 -P3306 test > E:\xiaobai\test\test.sql报错：mysqldump:
2022-04-13 16:12:25
830
原创 MySQL：windows下mysqldump 导入文件乱码
公司业务需要迁移数据库，采用mysqldump将数据库导出然后倒入新的数据库中，mysqldump导入导出不做详细介绍了，网上都有很多命令可以参考。导出数据和导入数据都再windows下进行。linux下进行可以忽略该问题。导出的过程很顺利，一开始以为就这样导入就可以了，然而在导入的过程中出现了中文乱码的问题。查看字符集设置都是正确的，在vs code中打开文件显示正常，但是在cmd下运行时出现中文乱码，创建表的时候COMMENT乱码，无法执行。导出的文件为utf-8格式，但是cmd下默认的活动代码页
2022-04-12 17:10:34
972
原创 ELK：Elastic异常问题记录
Flink 批量写入ES 异常 Caused by: java.io.IOException: request retries exceeded max retry timeout [30000]
2022-01-27 10:27:40
3274
原创 Flink学习笔记（十二）：Flink State生命周期 - Time-To-Live (TTL)
在前面的 Flink学习笔记（十一）：flink KeyedState运用介绍了如何使用state进行sum操作。但是数据流通常是长时间运行，那么存在的状态将越来越多，如何解决这个问题呢？1、Flink State Time-To-Live (TTL)Flink提供了StateTtlConfig机制进行处理。首先我们看下提供的策略类型：TTL 刷新策略（默认OnCreateAndWrite）策略类型描述StateTtlConfig.UpdateType.Disabled禁用
2021-12-29 10:07:44
2305
原创 Flink学习笔记（十一）：flink KeyedState运用
在前面的Flink学习笔记（八）：flink热词统计中介绍了 sum算子进行数据统计，那么有没有别的方法实现呢。本篇记录下另一种实现方式，采用state状态进行统计计算。前文以及介绍了背景，这直接上代码获取数据流，随机模拟搜索的水果统计结构：Tuple2<String, Integer> 水果名称，搜索次数通过 keyBy(0) 聚合相同名称的水果通过ValueState保存中间状态，进行数据累计public class TestKeyedState { private st
2021-12-24 20:41:44
1329
原创 C#：圣诞节内卷，铅笔画制作
前言一年一度的圣诞节又要到了，虽然不是中国传统节日，但当下很人却很喜欢过这个欢乐的节日，并乐于打造参与属于这个节日的仪式感。说到仪式感，仪式感有很多，比如结婚纪念日，给你的妻子买一束鲜花，是婚姻的仪式感；孩子过生日，给TA做一顿喜欢的饭菜或者举办一个小Party，是亲情的仪式感；朋友升职，给他送上一份真心的祝福和喜欢的礼物，是友情的仪式感。还有给自己喜欢的人做一个圣诞小工具，这是属于程序员的仪式感村上春树曾说，如果没有这些小确幸，人生只不过是干巴巴的沙漠而已。回想那些感到幸福的小瞬间，总
2021-12-21 16:06:50
5646
原创 负载均衡（Load Balance）学习笔记（四）：Nginx负载均衡
学习记录，仅供参考前面介绍到软件实现的负载均衡有：Nginx、HAproxy、LVS，下面逐一介绍这三种具体原理，从前面我们可以知道，负载均衡其实就是一种调度策略。本篇主要介绍的是Nginx负载均衡。那么Nginx 如何实现负载均衡？想了解这个问题，那我们需要首先了解网络代理是什么。一、网络代理网络代理分为正向代理（Foward Proxy）和反向代理（Reverse Proxy），一般情况下，如果没有特别说明，代理技术默认说的是正向代理技术。1、正向代理（Foward Proxy）正向代理(
2021-12-15 16:21:04
500
原创 负载均衡（Load Balance）学习笔记（二）：负载均衡架构
学习记录，仅供参考负载均衡是高可用网络基础架构的关键组件，通常用于将工作负载分布到多个服务器来提高网站、应用、数据库或其他服务的性能和可靠性。前面介绍了负载均衡基本概念以及分类，本篇主要记录负载均衡相关结构。一、单服务器模式在业务发展的初期，一般使用一台标准化的服务器就能满足业务需要，这是网络服务最基本的结构，没有涉及到负载均衡。一个没有负载均衡的 web 架构类似下面这样：在这里用户是直连到 web 服务器，如果这个服务器宕机了，那么用户自然也就没办法访问了。另外，如果同时有很多用户试图访问
2021-12-14 11:33:36
2949
原创 数据安全：Mock数据
一般来说mock 测试就是在测试过程中，用一个虚拟的对象来创建以便测试的测试方法。这个虚拟的对象就是mock对象。在实际的应用场景中，尤其是敏感数据的展示，mock方法可以提供与原数据相同的格式，但是是人为生成的模拟数据。假如你已经做好了一个系统，并且需要给客户进行演示，但是里面有些真实数据并不想让用户看到，那么同样，你可以用Mock接口把这些敏感信息接口全部替换。常见的mock敏感数据有：手机号，身份证号，邮箱，姓名，银行卡号，社会统一信用码，IP地址等下面整理了一些的代码，仅供参考例如：pa
2021-10-25 11:11:00
2376
原创 Linux：vsftpd环境搭建
项目中需要搭建ftp服务器作为文件临时服务，那么如何搭建ftp服务器呢，简单记录下环境 CentOS 7.3一、环境搭建1.首先检测是否安装了服务rpm -q vsftpd如果安装了如下图所示如果没有安装现在进行安装yum -y install vsftp这个是在网络连接正常的环境下才可以使用的，如果是内网环境，那么无法进行命令安装怎么办呢？2.安装方法方法1：从官方网站下载vsftp官方网站方法2：如果有系统iso文件的话，从系统安装包中找到对应的安装包例如：镜像文件C
2021-05-26 11:53:27
516
1
原创 C#：正经了这么久，来个恶搞吧，大家竟然开始“兽语”交流
偶然在贴吧看到的，发现了大家的交流方式变化太快了啊~呜嗷嗷嗷嗷呜啊嗷啊~呜嗷呜呜~呜啊~啊嗷啊呜嗷呜~~~嗷~呜呜呜~~嗷嗷嗷呜啊呜呜啊呜嗷呜呜啊呜嗷呜啊嗷啊呜~嗷啊啊~嗷~呜嗷嗷~啊嗷嗷嗷呜啊嗷呜呜呜嗷呜呜~嗷这个是什么交流方式啊，都兽人化了么~~~~原来有个软件 兽音译者，通过该软件可以将文本转换为 “兽语”不过采用这个软件进行交流好像解锁了什么东西~~~~~magnet:xt=urn:btih:~学习资料，别多想我是很单纯的。下面介绍下采用C# 如何实现这个翻译器呢首先：我们
2021-04-18 19:27:41
2570
原创 ELK：SpringBoot整合ES版本端口号踩坑记录
项目中需要使用Spring Boot和Elasticsearch，es版本为6.7.2，需要发布版本了，凌晨一点，凌晨两点，三，四…第二天早上七点，发布失败了 T_T第一步：版本对应关系Spring Boot整合了ElasticSearch，只需要引入Spring Data Elasticsearch即可<dependency> <groupId>org.springframework.data</groupId> <artifactId>spr
2021-04-15 11:49:31
416
原创 Python：IPv4，IPv6合法性校验
很多场景需要进行ip的合法性校验，随着ipv6的普及，需要校验ipv4和ipv6格式python 进行ip合法性校验，需要兼容ipv4，ipv6python 提供了IPy模块，利用IPy模块可以很方便的进行地址的校验方法如下import IPydef checkip(address): try: version = IPy.IP(address).version() if version == 4 or version == 6:
2021-04-09 09:33:32
4336
原创 Python：Redis 消息订阅模式
公司项目有个新需求，需要使用redis的消息订阅/发布模式进行数据传输，需求 ： redis版本2.8.8，python 版本2.7.3，redis使用哨兵模式进行连接下面记录下具体的实现，python环境的搭建就不具体描述了首先： 采用的连接方式是 哨兵模式sentinel = Sentinel([('127.0.0.1', 26379), ('127.0.0.2', 26379), ('127.0.0.3', 26379)], socket_timeout=0.5)# 获取主服务器地址，dis
2021-04-08 14:53:08
583
原创 C#：RSA密钥格式转换小工具
公司项目接入第三方sdk的时候，sdk提供了一个pkcs1格式的密钥，但是本地客户端需要pkcs8的密钥格式，那么如何转换呢？
2021-03-30 09:58:54
1144
原创 Flink：集群异常问题记录
记录下一些相关问题，持续记录中1、stop-cluster.sh 未杀死进程解决方式如果出现启动异常，首先查看日志有无错误如果没有错误查看flink进程ps aux | grep flink进入flink目录./stop-cluster.sh 关闭集群稍等一会再次查看ps aux | grep flink如果进程不存在进入flink目录./start-cluster.sh 启动集群如果进程存在kill进程后在启动集群...
2021-01-27 09:13:00
321
原创 Linux：常见问题解决办法
记录下linux下相关问题的处理方式，持续更新1.批量杀死相同或相似名称进程例如：解决cron引发大量sendmail、postdrop进程问题，cron这种问题可以采用重定向的方式解决，这儿只介绍如何杀死大量进程（打开crontab -e，将计划任务重定向"&> /dev/null"）ps -ef | grep postdrop | grep -v grep | awk '{print "kill -9 " $2}' | sh上述命令将postdrop进程筛选出来，通过awk选择
2020-12-31 16:11:07
327
原创 ELK：ElasticSearch 安装以及基本配置
在这记录下基本安装过程（仅供参考），本配置基于5.4.2版本，新版版配置类似，有些参数不同根据提示修改1.将对应版本的es rpm包上传到指定目录2.在指定目录下运行卸载:rpm -e elasticsearch安装rpm -ivh --replacefiles "es的文件名称"3.安装好过后创建es的数据和日志目录，目录可以自定义mkdir -p /elasticsearchmkdir -p /elasticsearch/datamkdir
2020-12-30 12:10:53
156
原创 ELK：ElasticSearch UNASSIGNED 分片恢复
记录下解决方法：es的健康状态yellow，并一直持续yellow，查看shards，存在UNASSIGNED分片首先查询： curl -XGET http://127.0.0.1:9200/_cat/shards | grep UNASSIGNED | sort可以看到所有的 UNASSIGNED分片Elasticsearch是有自动分配节点功能的，但一直没有分配成功，是什么原因导致的呢？我们首先来查看下es的自动分配功能curl -XGET http://127.0.0.1:9200/_
2020-12-25 12:04:05
693
2
原创 数据安全：基于不可见字符的文本水印技术
一、概述信息媒体的数字化为信息的存取提供了极大的方便，越来越多的业务现在都是基于网络信息完成的。与此同时，信息的泄露，篡改，盗版等也困扰这很多公司以及个人。那么如何降低这些风险或者说泄露了信息如何溯源呢？数字水印技术则在这方面提供了一系列追溯的功能，可以追溯信息在那个环节泄露。数字水印技术由很多，基于多媒体图片，音频以及视频等技术研究比较深入，受限制于文本的特性，单独对文本的数字水印技术研究比较少，一般需要结合特定的文本格式进行解析。如下是比较常见的文本水印技术。（1）基于普通文本文件格式信息的技术
2020-12-02 15:46:25
4135
5
原创 ELK：ElasticSearch search_type=count不存在了
记录下es 查询差别前端时间做es聚合处理的时候需要对数量进行聚合统计，使用GET /index-*/_search?search_type=count 报错了{ "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "No search type for [count]" } ], "type" : "ill
2020-11-30 17:35:46
512
原创 ELK：Logstash6.7版本配置记录及格式化时间
一、背景项目统一升级ELK，原来的版本已经不适配新的集群，需要升级elk版本，升级的过程中很多配置改变，记录下相关操作。这里只记录logstash的相关配置。二、相关配置我们都知道logstash配置文件的主要格式如下input { }filter {}output {} 原来项目使用的是2.3.4版本的logstash，升级到新版本后相关的配置发生了改变。2.3.4版本inputinput { kafka{ group_i
2020-10-09 19:31:37
774
原创 ELK：Logstash 字段名称大小写切换
系统中需要按天和系统计算索引，但是日志中系统的名称大小写不一致，需求将大小写改为一致，记录下logstash字段如何进行大小写变换我们知道logstash提供了ruby的操作，Event APIlogstash event api 说明官网中的描述如下：Ruby Filter插件可以执行任何ruby代码并且处理事件数据filter { ruby { code => 'event.set("lowercase_field", event.get("message").downca
2020-09-30 10:33:01
2394
原创 ELK：ElasticSearch定期关闭和删除索引脚本
记录下如何进行定期清除或关闭ES索引~~我们都知道，ES索引处于open状态，就会占用内存+磁盘；如果将索引close，只会占用磁盘，当索引比较多的时候影响查询速度遇到的项目需求为按天建立索引，存储6个月的数据，保留两个月的热点数据方便删除6个月前的索引并且关闭两个月前的索引，脚本如下：默认参数为集群地址：http://127.0.0.1:9200删除几个月前：6关闭几个月前：2可以根据实际情况修改脚本或者添加对应的参数#/bin/bash#elastic地址DEFUALT_ELA
2020-09-16 16:56:51
2212
原创 ELK：LogStash写入ES索引建立差8个时区问题
一、版本信息ElasticSearch版本：elasticsearch-5.4.2.rpmKibana版本：kibana-5.4.2-linux-x86_64.tar.gzlogstash版本：logstash-2.3.4.tar.gz（为了适配kafka0.8.2.2版本）二、时区简介地球总是自西向东自转，东边总比西边先看到太阳，东边的时间也总比西边的早。东边时刻与西边时刻的差值不仅要以时计，而且还要以分和秒来计算。为了照顾到各地区的使用方便，又使其他地方的人容易将本地的时间换算到别的地方时
2020-09-10 14:45:10
2746
原创 Flink学习笔记（十）：flink触发器
一、概述上一篇记录了flink的算子（窗口）的相关信息，那么是否有疑问，定义的窗口时什么时候使用的呢？大家是否记得窗口有一个 [.trigger(…)] 的而可选项呢？ [.trigger(...)] //trigger：指定触发器Trigger（可选）每个WindowAssigner都带有一个默认触发器，窗口就是通过trigger进行触发操作。Flink中定义了Trigger抽象类，任何trigger必须继承Trigger类，并实现其中的onElement() ：方法会在窗口中每进入一条
2020-08-17 11:32:58
1756
原创 Flink学习笔记（九）：flink窗口介绍
在日常生活场景中，我们经常需要获取某一个事件段的数据，如上文所说，希望统计在10点-11点事件段数据的具体情况，那么如何进行处理呢？如有看过前文（Flink学习笔记（七）：flink聚合函数）的小伙伴们可能会记得有一个countWindow，这就是flink给我们提供的算子（窗口，window），使用窗口方法我们可以将数据流分成一个个窗口，然后对窗口内的数据进行处理。我们先看下flink官网对窗口的描述windows是处理无限流的核心。 Windows将流分成有限大小的“存储桶”，我们可以在其上应用计
2020-08-17 10:51:58
574
1
原创 Flink学习笔记（八）：flink热词统计
我们在网页上经常可以看到比如 百度热榜，微博热搜 这样的排行数据，那么我们在进行网络搜索的时候如何统计这些数据呢？热词统计有很多中方法，这里主要记录下flink如何进行热词统计。一、场景小白在网络上搜索水果相关内容，如何记录各中水果被搜索的次数呢？通过搜索的次数推荐搜索内容给用户，需要如何实现呢？统计的水果有：“苹果”, “梨”, “西瓜”, “葡萄”, “火龙果”, “橘子”, “桃子”, "香蕉"二、实现如下为设计demo我们先定义一个水果的数组FRUITprivate static f
2020-08-11 10:32:57
578
原创 Flink学习笔记（七）：flink聚合函数
Flink的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数，可以用在多种场景的实时计算中，而且采用迭代方式，运行效率比较高。一、接口我们查看AggregateFunction接口可以看到它有三个参数输入类型(IN)累加器类型(ACC)输出类型(OUT)@PublicEvolvingpublic interface AggregateFunction<IN, ACC, OUT> extends Function, Serializable {
2020-08-10 21:00:05
4029
原创 Flink学习笔记（六）：flink数据广播
一、需求场景在很多情况下，对数据流处理需要动态更新一些参数，但是但因为该参数是在算子中作为一个变量，一旦flink作业启动，想修改关键字不得不停掉作业，然后再重新启动作业，实时性和便利性都比较差。记得公司一个项目需要动态配置校验参数，检测日志中的该参数是否存在，频繁的重启flink作业，最后把服务器都搞挂了……，就差拉去祭天了T_T，还好是测试环境，逃过一劫那么有没有可以动态修改算子参数的呢？如何进行动态修改算子的参数呢？flink为我们提供了一个广播模式来解决这个问题。广播流的流数据能够被算子的
2020-08-07 14:37:03
1890
原创 Flink学习笔记（五）：flink数据合流
上一章记录了flink的分流操作，那么有分流是不是应该有合流呢？当然是有这样的操作啦一、合流场景Stream1和Stream2流需要合并为Stream流#mermaid-svg-BgJgJUty4c6WEdoj .label { font-family: 'trebuchet ms', verdana, arial; font-family: var(--mermaid-font-family); fill: #333; color: #333; }#mermaid-sv
2020-08-07 12:24:56
1154
MD5编码，16和32位
2017-12-12
GB2ShapeCache-x 对应cocos2dx 3.x版本创建接口
2017-10-25
cocos2dx MeshSprite
2017-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人