- 博客(35)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 IT技术术语，从开发到运维到测试到监控
惊群效应也有人叫做雷鸣群体效应，不过叫什么，简言之，惊群现象就是多进程（多线程）在同时阻塞等待同一个事件的时候（休眠状态），如果等待的这个事件发生，那么他就会唤醒等待的所有进程（或者线程），但是最终却只可能有一个进程（线程）获得这个时间的“控制权”，对该事件进行处理，而其他进程（线程）获取“控制权”失败，只能重新进入休眠状态，这种现象和性能浪费就叫做惊群。一般来说系统的吞吐量是可以被测算的，为了保证系统的稳定运行，一旦达到的需要限制的阈值，就需要限制流量并采取一些措施以完成限制流量的目的。...
2022-08-16 11:52:05
371
原创 otter 配置问题笔记
otter 部署启动 ：1，启动zookeeper2，启动manager3，启动node 4 在manger管理界面配置zookeeper 和node添加映射关系表点击pipeline的名称, 点击[批量添加] (一个一个的添加, 太累)按照以下格式输入数据库名,表1,【数据源配置】序号,目的数据源的序号item,sku_channel,10,11数据库名,表2,数据源的序号,目的数据源的序号-- schema不一致的添加方法 源schema,表名,数据源...
2021-12-30 20:57:43
1423
原创 MySQL索引优化的一些有用小事儿
重建索引、索引长度、区分度重建索引。SQL语句：REPAIR TABLE `table_name` QUICK。重建索引在常规的数据库维护操作中也经常使用。在数据库运行了较长时间后，索引都有损坏的可能，这时就需要重建。对数据重建索引可以起到提高检索效率。判断数据结构是否适合创建索引：SELECT channel_subordinate_type,count(*) AS cishu FROM sku_channel GROUP BY channel_subordinate_type OR.
2021-12-28 14:32:41
168
原创 mysql用户权限管理详解
创建用户命令：CREATE USER 'username'@'host' IDENTIFIED BY 'password';说明：Username所创建的用户名host 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost,如果想让该用户可以从任意远程主机登陆,可以使用通配符%.password该用户的登陆密码,密码可以为空,如果为空则该用户可以不需要密码登陆服务器.如: CREATE USER 'pig'@'192.168.1.101_' IDENDIFIED...
2021-12-28 14:25:07
107
转载 CISO闪电战
作者简介赵彦，现任美团点评集团安全部负责人，负责集团旗下全线业务的信息安全与隐私保护。加盟美团前，曾任华为云安全首席架构师，奇虎360企业安全技术总监、久游网安全总监、绿盟科技安全专家等职务。白帽子时代是Ph4nt0m Security Team的核心成员，互联网安全领域第一代资深从业者。前言两年时间在企业安全上能做什么，笔者尝试挑战了一下这个问题。截至写这篇文章时，还有一些子领域做得不太好，不过既然时间差不多2年了，就拿出来分享一下吧。对于企业安全建设，能说出来的人很多，但能落地庞大.
2021-12-27 20:56:31
225
原创 RAP2环境部署（nginx代理模式）及运维
定义：客户端：rap2-dolores服务端：rap2-delos首先理解 ，客户端：rap2-dolores 是建立在服务端：rap2-delos 基础上RAP2所需的环境为：node.js、mysql、redis（主备模式，不能是集群模式），nginx；版本自己选就好，安装都简单。为了使文章简单，就不对这几个服务安装进行说明了。一：服务端delos环境搭建构建项目git clone https://github.com/thx/rap2-delos.git环境配置修.
2021-09-29 11:16:28
415
原创 canal集群模式 canal启动报 Could not find first log file name in binary log index file
canal集群模式 canal启动报destination:T_Topic_prod[java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file解决方案：需要清理zookeeper的节点：1、 ./zkCli.sh -server 10.0.4.1:2181,10.0.4.
2021-05-17 16:46:57
557
转载 SpringCloud就是这么简单
一、SpringCloud就是这么简单1.1为什么需要SpringCloud？前面也讲了，从分布式/微服务的角度而言：就是把我们一大的项目，分解成多个小的模块。这些小的模块组合起来，完成功能。举个可能不太恰当的例子(现实可能不会这么拆分，但意思到位就好了)：拆分出多个模块以后，就会出现各种各样的问题，而SpringCloud提供了一整套的解决方案！注：这些模块是独立成一个子系统的(不同主机)。SpringCloud的基础功能：服务治理： Spring Cloud Eur..
2021-04-20 15:25:27
149
原创 redis登录操作，及基本操作
1、安装redis客户端2、在领命行输入 redis-cli -h 10.0.0.10 -p 93793、在命令行上输入 auth password （提示输入密码）例如 auth xxxx4、查看 redis key ：输入 keys * 列出所有key5、删除某个key ：输入DEL KEY_NAME其他redis操作命令 ，请参考https://www.runoob.com/redis/redis-scripting.html...
2021-04-19 09:43:25
19033
原创 canal单机部署及canal-admin配置
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档前言一、canal是什么？canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费工作原理canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 can..
2021-04-09 14:09:34
2503
转载 awk日志统计
1、统计IP访问量awk '{print $1}' access.log | sort -n | uniq | wc -l2、查看某一时间段的IP访问量(4-5点)grep"07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l3、查看访问最频繁的前100个IPawk '{print $1}' access.log | sort -n |uniq -c | sort -rn...
2020-05-27 16:26:46
1547
原创 mongodb增删改查对应mysql
左边是mongodb查询语句 右边是sql语句。对照着用，挺方便。 db.users.find() select * from users db.users.find({"age" : 27}) select * from users where age = 27 ...
2020-04-21 11:45:27
204
原创 mongoDB相关/增删改查对应mysql
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"><html><head><title>增删改查对应mysql.html</title><meta http-equiv="Content-Style-Type" content="text/css"&...
2020-04-21 11:34:18
235
原创 mongodb账户操作
一、创建一个只读账号，具有所有库的查询权限1、第一步：use admin 第二步 执行脚本：db.createUser( {user: "all_read02",pwd: "allread123",roles: [ {role: "readAnyDatabase",db:"admin"}, ], mechanisms : ["SCRAM-SHA-1"] }...
2020-04-21 11:26:31
286
原创 mysql支持emoji表情符，除了修改utf8mb4，还得。。
报错日志：mysql数据库插入数据报Error updating database. Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x80' for column 'content' at row 1原因：mysql字符集是utf8，需要utf8mb4字符集支持emoji表情符修改表字符集：...
2020-03-19 17:33:46
150
原创 centos---ssh安全脚本配置
1 检测规则 规则：需限制/etc/ssh/sshd_config的访问权限 威胁等级 High 规则描述 /etc/ssh/sshd_config文件包含sshd的配置内容。 审计描述 运行以下命令并验证Uid和Gid都是0/root，Access不向组或其他组授予权限： #stat /etc/s...
2020-01-02 10:16:57
1004
原创 centos安全
检测规则 规则：口令锁定策略 威胁等级 Low 扫描结果 failed 状态 未处理 规则描述 登录认证及设置口令认证失败后锁定策略 审计描述 检查配置文件/e...
2019-12-28 11:50:41
129
原创 规则：禁止开启Nginx的目录列表功能
规则描述：如果访问NGINX下的一个web应用，如果输入是一个目录名，而且该目录下没有一个默认访问文件，那么Nginx会将该目录下的所有文件列出来，这种敏感信息泄露是 严格禁止的。Nginx默认的是关闭目录列表，但是为了程序调试方便，部分程序员也有可能开启这一功能。因此，要确认该项配置是否正确。根据：审计描述：检查nginx.conf文件，是否存在以下配置：http {...
2019-12-26 16:15:45
2425
1
原创 规则：隐藏或伪装Nginx的版本及版本相关提示信息
规则描述：在Nginx新版本发布后，公布旧版本的漏洞，黑客极容易获得这些信息，并针对更新不及时或者补丁未打的Nginx进行攻击。由此可见，版本号对黑客来说是最有价值 的。根据：审计描述：检查nginx.conf文件，是否存在以下配置：server_tokens off修改建议：方法一：通过修改配置文件Nginx.conf。1．访问Nginx.conf，...
2019-12-26 16:14:49
283
原创 用于运行Nginx的用户必须是一个没有系统特权（非root）的用户
规则描述：使用特权用户运行不符合最小授权原则。如果Nginx应用存在安全漏洞（比如XSS、注入漏洞等），恶意代码的执行权限就只是运行Nginx的帐号权限。例如，如果Nginx是以root身份运行的，不巧Nginx应用存在注入漏洞或缓冲溢出漏洞（通常是使用了高危的字符串处理函数，而且对外部输入没有做有效的检查），被攻击者发现了，利用该漏洞注入或植入了恶意代码，并且成功的让CPU执行了这段恶意代码...
2019-12-26 16:14:13
1491
2
原创 nginx隐藏 X-Powered-By HTTP头
规则描述：x-powered-By表示网站是用什么技术开发的，它会泄漏开发语言、版本号和框架等信息，有安全隐患，需要隐藏掉。根据：审计描述：检查nginx.conf文件，是否存在以下配置：proxy_hide_header X-Powered-By;修改建议：在nginx.conf文件中使用指令proxy_hide_header隐藏它proxy_hide_h...
2019-12-26 16:10:37
7315
原创 Web应用目录及文件属主只能是root或Nginx运行用户，且只允许属主可读写执行
规则描述：Nginx是可以直接响应静态页面，也有Web应用目录，限制其他用户对这些应用目录的访问，可以防止本地用户恶意或无意地影响Web应用程序的完整性。根据：审计描述：从nginx.conf中查找server的root目录；检查目录路径的权限为700，属主和属组为Nginx用户和用户组。修改建议：Nginx的Web应用目录是/www, Nginx运行用户为www的话，...
2019-12-26 16:09:23
637
原创 nginx日志文件属主只能是Nginx运行用户，且只允许属主可读写
规则描述：Nginx日志文件包括错误日志和访问日志。两类日志必须都只允许其属主（Nginx运行用户）可读写，如果日志文件本身对非属主用户是可写的，别人就可能伪造日 志。根据：审计描述：检查访问日志和错误日志文件权限是否均为600，且其属主和属组为Nginx用户和用户组。修改建议：如果Nginx运行用户为www，执行下列命令：chown www:www /var/log/...
2019-12-26 16:08:26
1617
原创 Nginx配置文件属主必须是root或Nginx启动用户，且只能允许root用户或Nginx启动用户修改
规则描述：其它用户有可能会覆盖配置文件，从而获取更高的权限或者更多的信息。根据：审计描述：执行#access=$(stat --format="%a" $nginxhome/conf/nginx.conf);if (( (0$access & 0177) != 0 ));then echo "$nginxhome/conf/nginx.conf $access (sho...
2019-12-26 16:07:07
4501
原创 Nginx根目录的所有父级目录的修改权限不能赋予除root和Nginx运行用户的其他普通用户
规则描述：不仅文件本身,Nginx根目录必须只能由属主来改写,Nginx根目录的所有父级目录的修改权限不能赋予除root和Nginx运行用户的其他普通用户。如果Nginx根目录 的某一父级目录的修改权限可以被其它普通用户拥有,那这个用户就可以删除这个父级目录下面原来的目录或文件然后新建同名的目录或文件,达到对目录下所有文 件进行篡改控制的目的。根据：审计描述：检查Nginx根目录及...
2019-12-26 16:02:00
1555
原创 nginx-- port_in_redirect off配置服务器造成 很大的威胁，后端端口暴露出来
规则描述：可以从Nginx的核心模块中得知，如果请求发生重定向，Nginx默认的情况下，是会在重定向的URL后自动添加Nginx当前站点监听的端口。这样明显会对服务器造成 很大的威胁，后端端口暴露出来，就可能会被人直接对这个端口进行诸如CC类攻击。根据：审计描述：检查nginx.conf文件，是否存在以下配置：http { ...#Nginx will not ad...
2019-12-26 15:57:38
2660
4
原创 配置Nginx的网络超时时间（受到DOS攻击时，可以起到缓解作用）
规则描述：配置Nginx的超时时间，提高服务器的性能，降低客户端的等待时间。同时，在受到DOS攻击时，可以起到缓解作用。特殊情况下，请根据具体性能需求进行调优。根据：审计描述：检查nginx.conf文件，是否存在以下配置：server { client_body_timeout ... client_header_timeout ...keepalive_ti...
2019-12-26 15:27:57
460
转载 【转】SQL 执行时间某状态耗时过多的优化
SQL 某状态耗时过多的优化2019-02-18 16:27:06diligent203阅读数 326更多分类专栏：技术分享版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/DILIGENT203/article/details/876274971. 引言此前的...
2019-12-24 10:41:36
449
原创 MySQL5.7 explain详解
Table8.1EXPLAIN Output ColumnsColumn JSON Name Meaning id select_id TheSELECTidentifier select_type None TheSELECTtype table table_name The table for the output r...
2019-12-24 10:38:35
582
原创 mysql学习笔记
1、mysql初始没有密码，需要设置一个密码，设置方法： mysqladmin -uroot password "xxxxx"2、使用VARCHAR(5) 和VARCHAR(200) 存储’hello’的空间开销是一样的。那么使用更短的列有什么优势吗？事实证明有很大的优势。更大的列会消耗更多的内存，因为MySQL 通常会分配固定大小的内存块来保存内部值。尤其是使用内存临时表进行排序或操作时...
2019-12-24 10:35:21
103
原创 MySQL processlist 解析说明
在processlist中，看到哪些运行状态时要引起关注，主要有下面几个：状态 建议 copy to tmp table 执行ALTER TABLE修改表结构时建议：放在凌晨执行或者采用类似pt-osc工具 Copying to tmp table 拷贝数据到内存中的临时表，常见于GROUP BY操作时建议：创建适当的索引 Copying to tmp tabl...
2019-12-24 10:32:39
267
原创 mysql用户权限管理
用户权限管理http://blog.itpub.net/29320885/viewspace-1716164/创建用户命令：CREATE USER 'username'@'host' IDENTIFIED BY 'password';说明：Username所创建的用户名host 指定该用户在哪个主机上可以登陆,如果是本地用户可用localhost,如果想让该用户可以从任意远程主机登陆,...
2019-12-24 10:28:05
146
转载 【转】记一次性能优化，单台4核8G机器支撑5万QPS
记一次性能优化，单台4核8G机器支撑5万QPShttp://ddrv.cn/a/127030来源前言这篇文章的主题是记录一次Python程序的性能优化，在优化的过程中遇到的问题，以及如何去解决的。为大家提供一个优化的思路，首先要声明的一点是，我的方式不是唯一的，大家在性能优化之路上遇到的问题都绝对不止一个解决方案。如何优化首先大家要明确的一点是，脱离需求谈优化都是耍流氓，...
2019-12-24 10:21:38
423
原创 navicat通过ssh连接mysql
点击 或选择文件 -> 新建连接 来设置连接属性。 选择 SSH 选项卡并启用 使用 SSH 通道。 填写所需的信息：主机名或 IP 地址 SSH 服务器的主机。端口 SSH 服务器的端口，默认情况下它是 22。用户名 在 Linux 机器的用户。（这是一个 Linux 用户。它不是一个数据库服务器用户。）验证方法 在密码验证和公钥验证间选择。密...
2019-02-26 19:18:00
15375
1
转载 图解 什么是面向对象编程
图解 什么是面向对象编程<br />Posted on 2009-06-08 at 20:27:11 | Author: Blinux<br />今天在浏览一位师弟的博客中,偶然发现一篇关于理解面向对象编程的好文章,故再次转载给 大家共同欣赏一下.<br />什么是面向对象编程,相信大家都听说过,但是就是不能透彻理解这六个字到底是什么意思.似乎是个很高深的词汇.<br />但是,相信今天你看完这篇文章之后,你就会很透彻的理解到面向对象编程的伟大和真实含义.<br />废话不多说,献上美文.<br /> <b
2010-11-02 15:08:00
904
李建壹 Louis Lee(小路哥 lotus Notes开发随笔.
2009-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人