- 博客(240)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 kafka __consumer_offsets清理记录
参考：https://www.cnblogs.com/ding2016/p/9294544.html
2020-01-20 10:54:14
2879
原创 Python 3
1,download package# wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tar.xz2,decompress# xz -d Python-3.8.1.tar.xz# tar xf Python-3.8.1.tar3,install# ./configure# make# make i...
2020-01-16 14:43:39
194
原创 浅谈Kafka快速读写机制
消息队列在多种场景中，都有使用，比如异步处理、应用解耦、流量削锋和消息通讯。在日志处理中，利用Kafka可以解决大量日志传输、缓存等问题。Kafka优势分布式：Broker、Producer、Consumer都原生自动支持分布式，自动实现负载均衡 存储时间久 吞吐量高结合实际，本文重点谈谈Kafka是通过什么机制来实现快速读写。顺序I/O随机存取一般使用RAM作为数据存储，但...
2019-12-02 18:32:24
678
原创 验证Zookeeper不可用情况下，对HDFS读写功能无影响
验证目标：确认ZK服务不可用情况下，HDFS读写功能是否受影响验证结论：ZK不可用情况下，HDFS读写功能不受影响验证方法：停ZK服务前，验证HDFS读写 停ZK服务后，验证HDFS读写 验证环境ZK实例：10.237.54.23910.237.49.2310.237.49.14810.237.54.24410.237.49.121 Nameno...
2019-01-22 11:59:07
427
原创 初识Postgresql，配置HA、备份恢复
安装大部分开源软件，通过yum等工具安装很方便，但作为运维，这并不是真正安装。若要组件可运维，Linux软件安装至少需满足：非root 更新配置第一次启动1，环境变量配置在官网下载Postgresql之后，编译、安装（这里省略此过程，安装版本为9.3）参考命名：export PATH=$PATH:/home/hadoop/postgresql/bin/注：文中部署路...
2018-11-18 21:51:15
1047
原创 Hadoop 节点标签
节点标签https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/NodeLabel.html 概览节点标签：将具有相同特征的一组节点标记为相同，并打标签，程序可以运行在指定标签的节点上。当前只支持节点分区（node partition，可以理解为组）：1）一个节点只能属于一个分区，这样一个集群被分...
2018-11-11 16:38:10
958
原创 大数据相关组件问题
1，Kafka是如何提高存储效率？https://blog.csdn.net/unionibm/article/details/540902352，
2018-11-09 09:40:36
258
原创 你与Kafka监控进阶，只差一个“视角”的距离
原创Kafka，作为分布式高吞吐发布订阅的消息系统，广泛应用于消息队列、大数据流计算分析等场景。本文介绍了Kafka系统监控方案，以及站在用户视角阐述如何监控好Kafka实际产品。enjoy： Kakfa监控实践 监控工具选择 实际使用中对比了多种Kafka监控工具，最终选择如下几种工具： Kafka Monitor：这是LinkedIn开源的Kafka核心功能...
2018-11-08 21:07:27
393
原创 kafka一份配置&说明
## 配置参考：https://blog.csdn.net/vegetable_bird_001/article/details/51858915## 官方说明：https://kafka.apache.org/documentation/## broker.id可以自动获取，但避免扩容、下线导致部分id出现重复，因此手工指定broker.id=__BROKER_ID__## 是否通过管理...
2018-06-11 20:45:53
720
原创 记ES数据盘故障造成集群不可用
故障现象Pending tasks任务一直有堆积，线上createindex等无法完成或创建时间较长。原因分析Data node某数据盘故障，创建索引时，master无法完成分片分配，导致任务阻塞，影响后续创建索引等任务。原因理解重新梳理看到的现象：1， create index较慢或者或出现失败2， pending task有任务堆积3， GET /_cat/nodes返回500根据pendin...
2018-05-24 21:45:33
1865
原创 记Elasticsearch 因不合理创建type导致集群故障
https://blog.csdn.net/napoay/article/details/73100110?locationNum=9&fps=1https://blog.csdn.net/lvhong84/article/details/23936697http://blog.pengqiuyuan.com/ji-chu-jie-shao-ji-suo-yin-yuan-li-fen-x...
2018-05-23 18:03:40
2038
原创 一份Elasticsearch 5.6.4配置与详解（实际已经验证）
# 参考资料# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/modules-http.html# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/modules-gateway.html# https://blog.csdn.net/u01245032...
2018-05-09 23:51:41
1991
1
原创 ElasticSearch 学习资料整理（适合运维人员学习）
elasticsearch官方手册中文https://www.elastic.co/guide/en/elasticsearch/reference/5.5/index.html英文（可以选择版本）https://www.elastic.co/guide/en/elasticsearch/reference/current/index.htmlhttps://www.elastic.co/blog...
2018-03-12 10:53:46
2465
原创 从运维角度谈谈故障定位【未完】
面试时，经常会被问到：在线业务出现故障，该如何定位？一般刚毕业不久的会回答：我们有监控；看日志等之类的答案。工作几年的人会回答：从网络，机器，资源等方面排查有没有问题，如果没有问题，再看看日志，找开发核对。也有人回答这个是开发的问题，我们运维还没有精确到业务层面。故障定位，这个话题可能很大，不同角色认识是不一样的。对于开发，故障定位往往会根据问题现象，从代码角度去分析，尝试从代码或架构方面进行解决...
2018-02-05 23:57:16
5301
原创 跨AZ高可用之Elasticsearch浅谈
原文：http://www.yunxiaobai.net/archives/489请点击查看原文AZ，AWS提出的，可用区（Availability Zone），在每个区域（Region）都有多个可用区。AZ之间物理隔离，独立供电，一个AZ故障，不会影响另外一个AZ，但AZ之间是连通，且网络耗时低。简单可以将AZ理解为独立机房或逻辑机房，这样可以利用AZ的隔离性，对
2018-01-05 13:52:28
3033
原创 劝学 ——荀子
荀子第一·劝学 君子曰：学不可以已。青，取之于蓝，而青于蓝；冰，水为之，而寒于水。木 直中绳，揉以为轮，其曲中规，虽有槁暴，不复挺者，〔车柔〕使之然也。故木受 绳则直，金就砾则利。君子博学而日参省乎己，则知明而行无过矣。 故不登高山，不知天之高也；不临深〔奚谷〕，不知地之厚也；不闻先王之遗 言，不知学问之大也。于越夷
2017-04-10 10:47:47
429
原创 将博客搬至CSDN
将博客搬至CSDN由于chinaunix体验太差，搬迁博客到csdn。 管理员在2009年8月13日编辑了该文章文章。 --> --> window._bd_share_config={"comm
2017-04-10 10:47:42
487
原创 svn: Aborting commit: 'xxxx' remains in conflict 解决
svn remove --force filename svn resolve --accept=working filename svn commit 管理员在2009年8月13日编辑了该文章文章。 -->
2017-04-10 10:47:37
672
原创 awk的NR和FNR区别
NR,表示awk开始执行程序后所读取的数据行数. FNR,与NR功用类似,不同的是awk每打开一个新文件,FNR便从0重新累计. 下面看两个例子: 1,对于单个文件NR 和FNR 的 输出结果一样的 ： # awk '{print NR,$0}' file1 1 a b c d2 a b d c3 a c b d #awk '
2017-04-10 10:47:31
504
原创 linux ssd 优化
一、修改默认的固态硬盘(SSD)柱面大小 提升Linux下固态硬盘的使用率，在安装Linux操作系统前就应该做相关工作。系统会先在磁盘上创建分区，通常创建的分区包含固定数量的柱面，而默认情况下，每个柱面由16065512个字节的扇区组成。 现在的问题是，当默认柱面空间大小被完全使用后，固态硬盘就不能发挥最佳性能。因为要固态硬盘读这个操作需要使用4KB的字节块，而
2017-04-10 10:47:25
1208
原创 vim选定行编辑
按键操作：注释：ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",再按Esc,就会全部注释了。删除：先按v,进入visual模式,横向选中列的个数(如"#"注释符号,需要选中两列),再按Esc,再按ctrl+v 进入列编辑模式,向下或向上移动光标,选中注释部分,然后按d, 就会删除注释符号（#）。
2017-04-10 10:47:20
693
原创 wireshark 过滤规则
一、IP过滤：包括来源IP或者目标IP等于某个IP比如：ip.src addr==192.168.0.208 or ip.src addr eq 192.168.0.208 显示来源IP ip.dst addr==192.168.0.208 or ip.dst addr eq 192.168.0.208 显示目标IP 二、端口过滤：比如：tcp.port
2017-04-10 10:47:15
359
原创 shell 脚本并发控制
直接上脚本和运行结果 #!/bin/bash function a_sub { sleep 2 } tmp_fifofile="/tmp/$$.fifo" mkfifo $tmp_fifofile
2017-04-10 10:47:08
410
原创 vim ide 环境搭建
提供连接地址：http://blog.csdn.net/namecyf/article/details/7787479 管理员在2009年8月13日编辑了该文章文章。 --> --> window._
2017-04-10 10:46:56
252
原创 iptables详解
一：前言 防火墙，其实说白了讲，就是用于实现Linux下访问控制的功能的，它分为硬件的或者软件的防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略，规则，以达到让它对出入网络的IP、数据进行检测。 目前市面上比较常见的有3、4层的防火墙，叫网络层的防火墙，还有7层的防火墙，其实是代理层的网关。 对于TCP/IP的七层
2017-04-10 10:46:51
269
原创 Linux查看进程的所有子进程和线程
得到进程的pid：ps -ef | grep process_name | grep -v "grep" | awk '{print $2}' 查看进程的所有线程# ps mp 6648 -o THREAD,tidUSER %CPU PRI SCNT WCHAN USER SYSTEM TIDroot 0.0 - - - - - -root 0.0 24
2017-04-10 10:46:38
711
原创 负载均衡算法小结
互联网分布式系统中，很多服务是数据存储相关的，海量访问量下，直接访问存储介质是抗不住的，需要使用cache，cache集群的负载均衡算法就成为一个重要的话题，这里对现有的负载均衡算法进行一些总结。BTW：虽然是Cache负载均衡算法小结，其实可以说是负载均衡算法小结，只是针对Cache应用场景罢了。负载均衡算法主要有：Static算法Random算法Round robin算法Hash算法CARP算
2017-04-10 10:46:33
239
原创 Apache的工作模式prefork & worker简单分析
前言：有两种方式可以查看apache的工作模式，一是通过查看./build/config.nice文件，这个文件时编译的参数，编译的时候是什么模式，那么apache就是什么模式，如果要改变的话，那么就需要重新编译，如下： 点击(此处)折叠或打开#! /bin/sh## Created by configure"./configure" \"--prefix=/home/sjg/lamp/apa
2017-04-10 10:46:21
423
原创 Kill -HUP详解
kill -HUP pid 其中 pid 是进程标识。如果想要更改配置而不需停止并重新启动服务，请使用该命令。在对配置文件作必要的更改后，发出该命令以动态更新服务配置。根据约定，当您发送一个挂起信号（信号 1 或 HUP）时，大多数服务器进程（所有常用的进程）都会进行复位操作并重新加载它们的配置文件。以下例子详细的讲解一下用法。eg1：显示了向所有正在运行的 Web 服务器进程发送挂起
2017-04-10 10:46:17
2502
原创 HTTP Cache
具体链接地址：http://blog.csdn.net/shine0181/article/details/6084542 管理员在2009年8月13日编辑了该文章文章。 --> --> window
2017-04-10 10:46:02
492
原创 top 命令详解
top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。 下面详细介绍它的使用方法。认识top的显示结果top命令的显示结果如下所示：top - 01:06:48 up 1:22, 1 user, load average: 0.06, 0.60, 0.48Tasks: 29 total, 1 running, 28
2017-04-10 10:45:57
319
原创 Linux下CPU负载
昨天查看Nagios警报信息，发现其中一台服务器CPU负载过重，机器为CentOS系统。信息如下：2011-2-15 (星期二) 17:50WARNING - load average: 9.73, 10.67, 10.49还有前两个小时发出的警报信息：2011-2-15 (星期二) 16:50WARNING - load average: 10.52, 10.10, 10.0
2017-04-10 10:45:46
314
原创 kill 信号
1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR213) SIGPIPE 14) SIGALR
2017-04-10 10:45:40
387
原创 非root搭建lamp & 安装wordpress
软件版本：httpd-2.2.23.tar.gz mysql-5.1.65.tar.gz php-5.3.17.tar.gz wordpress-3.4.1-zh_CN.zip获取软件：httpd-2.2.23.tar.gz：http://mirror.bit.edu.cn/apache//httpd/httpd-2.2.23.tar.bz2mysql-5.1.65.tar.gz：htt
2017-04-10 10:45:35
500
原创 mysql配置详解
MySQL配置文件my.cnf 例子最详细翻译,可以保存做笔记用。#BEGIN CONFIG INFO#DESCR: 4GB RAM, 只使用InnoDB, ACID, 少量的连接, 队列负载大#TYPE: SYSTEM#END CONFIG INFO ## 此mysql配置文件例子针对4G内存。 # 主要使用INNODB#处理复杂队列并且连接数量较少的my
2017-04-10 10:45:30
230
原创 U盘安装centos 6.3教程(超级详细图解教程)
CentOS不像Fedora、Ubuntu默认会自动挂载NTFS磁盘，但是它可以利用NTFS-3G来实现挂载及读写。如有需求可参考本blog中的另一篇文章《CentOS6.3挂载读写NTFS分区》。 vesamenu.c32.zip 所需工具:一、UltraISO(用来制作 U 盘启动)二、CentOS 6.3 32 位系统镜像（建议下载bin版镜像）三、U
2017-04-10 10:45:18
1729
原创 办公软件的选择
注：最近在cu上写了这篇文章，都已经发布成功了，但是过几天却莫名其妙的不见了，害得我又不得不再写一次。公司一位比较激进的同学，看到大家使用各种各样的办公软件进行办公时，他总是忍不住去说，原因是作为一个从事软件行业的人，却使用别人的盗版软件，你良心何存啊？有没有羞愧之感。有时候，为了效率和美观，不得不使用许多盗版软件，但是作为一个软件的人，最起码应该有羞愧之感。下面结合自身总结了一些办公的常用软件，
2017-04-10 10:45:05
305
原创 centos6.3
终于等到 CentOS 6.3发布了，红帽 RHEL 6.3 发布也就是不到3周时间，看似Centos 的跟进速度变快了。 centos 6.3中对存储、虚拟化、安全、可扩展性及性能等方面做了许多增强。可以说，Centos 6.3在性能、扩展性方面的许多改进都剑指云计算数据中心。 内存管理。为了提高整体性能，Centos 6.3引入了NUMAD（Non-Uniform Memory A
2017-04-10 10:44:53
487
microftsoft available checklist
2017-11-30
第一个android程序
2010-03-12
linux常用c函数
2009-12-05
linux操作系统(学习linux的好工具书)
2009-11-02
java基础学习书籍
2009-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人