皮蛋double-CSDN博客

原创 hdfs文件系统基础笔记

架构设计HDFS是一个主从（Master/Slave）架构主从是都工作，主备是一个工作。由一个NameNode和一些DataNode组成DataNode建议数量5000以下。面向文件包含，文件数据（data）和文件元数据（metadata）NameNode负责存储和管理文件元数据，并维护了一个层次型的文件目录树DataNode负责存储文件数据（block快），并提供block的读写DataNode与NameNode维持心跳，并汇报字持有的block信息Client和NameN

2020-06-06 22:44:38 166

原创 hadoop伪分布式配置

参数参考网址 https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml设置免密#这里说下，这个是以当前hostname做的免密，所以先要改hostname，hostsssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys设置环境变量export JA

2020-06-06 22:35:08 195

原创再也不要只说“集群“”这两个字了

概述集群这个名词的出现让我们一聊技术张口就是这个集群，那个集群感觉很高大上，最近上了一堂课觉得之前都没学好集群的概念。集群解决了什么问题单点故障分担压力单点故障说白了就是你设备也好、应用也好出问题了，业务不出问题，保业务，这里着重说单点故障，分压这个大多数都是负载均衡，再加上应用的无状态性解决，聊起来好多，我们就着重一点，解决单点故障大多数分为：应用集群应用一般就是搞主备，使用keeplive或者headbeat，大不了LVS之类的。数据库集群主要说下数据库，业务数据的核心，场景是

2020-05-25 21:01:40 322

原创 redis-String场景

redis-String场景概述场景场景-session场景-uuid场景-小文件场景-限流器概述redis的String类型可以存字符串，也可以数字，字符串可以理解，数字这个比较另类，他是当使用计算函数的时候会把字符串转成数字，默认是字符串类型。场景字符串的场景，就是存，取，计算，按照这3个进行组合。场景-session网站、管理后台凡是有登录的都要解决的问题：登录有效期如果在数据库中设置，还要用公式end-start做判断，还是麻烦，使用下面TTL就比较方便了。同一账号不允许多人登录

2020-05-24 12:03:54 192

原创学redis先搞懂为什么要用它？

概述通过带入问题来搞明白为什么用要redis预热1、为什么文件查找内容比数据库查找要慢？早期内容都存放在本文中，我们都是直接文本搜索，之后数据都放在数据库中大家都用数据库搜索，都说数据库查数据快，为什么呢？，带着疑问我们看下对比：这里核心词全量文件：一次要加载整个文件，没听说过打开一半搜索文件的吧。数据库：使用3连击，第1击：数据切块最小为4k，2连接索引读块，3连击内存建立B+T树。举例：以下是数据库的查找路线，比较简陋大致能看懂哈几个注意点：以下查找速度可以在最少的数据

2020-05-23 16:15:12 564

原创 Hbase shell常用操作

开启HBase Shell进入hbase[root@k3s-a-1 hbase-2.1.9]# ./bin/hbase shell2020-05-20 02:59:54,378 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableHBase ShellUse "help" to

2020-05-22 11:33:50 225

原创 HBase架构解析

概述Hbase是存大数据的，之前也用过，一直没好好的梳理下整个原理，通过网上搜索和阿里大学的免费课程，总结了一下，希望对大家有所帮助，理论都是无聊的，希望大家能耐下心来一起成长。架构说明client就是你的代码，顺序是这样的：1、先访问zookeeper，获取region Server地址。2、Client再去访问Rregion Server，这里要注意client要和Region server的网络一定要通，还有一点如果Region Server是域名，你那在client上也要做个host解析。

2020-05-22 11:22:43 195

原创 linux修改history增加时间等信息让排查问题更容易

默认查看历史记录是这样的[root@iZ88f2q4kxgs ~]# history 1 history 默认history命令是读取[root@iZ88f2q4kxgs ~]# ls ~/.bash_history为了方便排查问题增加时间、用户名、登录ip[root@iZ88f2q4kxgs ~]# history 1 2020-05-15:15-50-31:root:172.18.17.94:history 2 2020-05-15:15-52-14:r

2020-05-17 16:24:18 249

原创为什么要上云—成本分析

为什么要上云—成本分析概述对于大家为什么要上云，我看了很多篇文章，个人感觉没有一个直观的说服理由，还是要拿数据来说话，就是拿钱来说话，毕竟在当下大家赚钱都不容易，你要让老板同意上云不如直接和他说能省很多钱。设备成本首先保障业务稳定租用机房或者自建机房都需要考虑高可用，那么不管什么设备起码要有主备吧,基本的设备清单如下。1）网络设备 1000*2台；2）服务器 3W*2台；4）带宽 4W/年；5）机柜 6W/年；6）安全设备未知；6）电费一年大约9600度，差不多1W；安全设备包含很

2020-05-16 16:02:00 858

原创 Mysql常用4大架构案例

Mysql常用架构案例4大经典架构Mysql-keeplive架构Mysql-MMM架构Mysql-Heatbeat/SAN架构Mysql-Heatbeat/DRBD架构总结4大经典架构mysql不是分布式存储，所以对于大数据量的存储使用其他数据库进行扩展，怎么部署网上一大堆，这里只是说下这些架构的区别，提供一个参考方案。Mysql-keeplive架构DB1，DB2看做一台mysql，利用2台mysql master上的keeplive的vip地址暴露给Web Server进行数据读写。这里要说

2020-05-16 09:33:13 1132

原创 zabbix使用kafka收集告警来统计

zabbix使用kafka传递告警你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式进行展示；增加

2020-05-12 11:19:37 1366

double的博客