- 博客(30)
- 收藏
- 关注
RSS订阅原创 第三章 Flink学习入门之Flink的对手
一、流处理的江湖二、Flink Vs SparkSpark介绍Spark StreamingStructured Streaming三、总结
2022-05-24 06:49:50
152
原创 第二章 Flink学习入门之Flink的用武之地
文章目录背景一、Flink介绍二、应用场景1.事件驱动型应用2.数据分析应用3.数据管道应用三、特性总结背景一、Flink介绍Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算二、应用场景1.事件驱动型应用2.数据分析应用3.数据管道应用三、特性批流一体化精密的状态管理事件时间支持精确一次的状态一致性保障总结提示：这里对文章进行总结：例如：以上就
2022-05-19 20:19:54
154
原创 第一章 Flink学习入门之Flink的诞生
Flink学习第一章 Flink学习之Flink的诞生文章目录Flink学习@[TOC](文章目录)一、Flink是什么？二、诞生背景1. Lambda架构2. Kappa架构3. Flink诞生总结一、Flink是什么？Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。二、诞生背景1. Lambda架构HDFS和基于批量数据的计算系统（MapReduce 作业）很难
2022-05-19 00:07:59
183
原创 MySQL存储引擎
Mysql 架构大体来说，MySQL可以分为Server层和存储引擎层两部分。Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。而存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持 InnoDB、MyISAM、Memory 等多个存储引擎。现在最常用的存储引擎是 InnoDB，它从 MySQL 5.5.5 版本开始成为了默
2020-10-29 10:53:06
136
原创 RocketMq与Kafka相关知识汇总
RocketMq与Kafka相关知识汇总架构对比场景顺序消费，重复消费架构对比场景顺序消费，重复消费其实消息队列的持久化，除了本地写文件外，还可以持久化到 K-V 存储或者关系型数据库中，但是性能会比较差，我们就不做讨论了，我们只聊聊持久化到本地文件系统中。而最常见的两种文件结构，一种是 Kafka 所使用的，一种是 RocketMQ 所使用的。Kafka 会在 Broker 上为每一...
2019-07-22 11:15:14
460
原创 zookeeper相关知识汇总
zookeeper相关知识汇总介绍架构特性场景zookeeper在hdfs和hbase中的应用ZooKeepr在Hadoop中的应用主要有：ZooKeepr在HBase中的应用主要有说明介绍ZooKeeper 是一个分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。Zookeeper目标实现：provide a simple and high performance...
2019-07-17 08:52:36
265
原创 hbase最佳实践
hbase最佳实践HBase 适用场景rowkey设计建议HBase 适用场景不需要复杂查询的应用。HBase 原生只支持基于 RowKey 的索引，对于某些复杂查询（如模糊查询，多字段查询），HBase 可能需要全表扫描来获取结果。写密集应用。HBase 是一个写快读慢（慢是相对的）的系统。HBase 是根据 Google 的 BigTable 设计的，典型应用就是不断插入新数据（如 Go...
2019-07-10 10:59:56
422
原创 hbase相关知识汇总
hbase相关知识汇总介绍架构特性自动分区LSM-Tree自动合并高可靠读写过程写请求读请求2.0特性Region Replica读写链路 Off-heapIn Memory Compaction小对象存储 MOBAssignment MangerV2介绍HBase(Hadoop Database)，是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统...
2019-07-09 17:59:15
272
原创 hadoop相关知识汇总
hadoop相关汇总介绍HDFS(Hadoop Distributed File System):HDFS架构（1.0）HDFS特性MapReduce体系结构（1.0）MapReduce特性YARN（Yet Another Resource Negotiator）YARN基本架构Hadoop2.x特性HDFS FederationNameNode HAHDFS快照通过NFSv3访问HDFShado...
2019-07-08 15:51:52
312
原创 tensorflow 实现cnn来单个汉字的识别
tensorflow 实现cnn来单个汉字的识别说明样本生成训练测试定制化说明本文利用tensorflow建立一个比较浅的网络（基于LeNet的改进）做基本的文字识别，通过对一级字库的3755个汉字的印刷体图像数据集生成训练样本进行训练 。3755文字识别就是3755个类别的分类任务。我们定义的网络非常简单，基本就是LeNet的改进版，我们加入了batch normalization。另外我...
2019-06-27 17:00:38
2809
2
原创 用pytorch实现crnn+ctc来识别验证码
pytorch 实现crnn+ctc来识别验证码说明环境搭建训练服务搭建说明利用crnn和ctc来进行验证码识别是现在主流的机器学习的方式，本文期望利用pytorch来实现单个验证码的识别，同时整合多个训练样本，期望能通过增量识别的方式，最终通过一个模型来识别多个验证码。本文采用的是阿里云的gpu的服务器。源码地址:https://github.com/linlihuiyang/ocr-p...
2019-06-24 18:55:22
5472
1
原创 Openresty学习使用（四）日志切割
Openresty学习使用（四）日志切割说明Logrotate日志切割问题执行时间的问题如何告诉应用程序重新打开日志文件说明安装新版nginx的时候，会自动在/etc/logrotate.d目录下面生成一个nginx的文件，每天会自动进行日志切割，保留10天的文件等。但是openresty并没有这个功能，所以需要手动创建配置文件。LogrotateLinux服务器上我们可以用Logrota...
2019-06-22 08:45:26
2821
原创 Openresty学习使用（三）发版脚本
Openresty学习使用（三）发版脚本说明脚本代码lua-upstream-nginx-module相关lua-resty-upstream-healthcheck相关发版脚本说明本文是利用上篇文章中介绍的两个openresty的插件来实现发版。插件如下：lua-resty-upstream-healthchecklua-upstream-nginx-moduleOpenResty ...
2019-06-09 09:29:16
694
原创 Openresty学习使用（二）平滑发版与升级
发版场景开发过程中，总是需要时不时的发版，常常也有那种因为人工操作失误导致的生产事故。问题目前很多web应用都采用nginx来实现负载均衡。通过在upstream里面配置多个服务器来进行请求分发。在和某台服务器通讯的过程中，如果发生错误， 请求将被分派给下一个服务器， 直到所有可用服务器都被尝试。如果没有任何一个服务器可以可以返回成功的应答，则客户端将会收到和最后一台机器的通讯结果。ups...
2019-06-09 08:33:12
330
原创 Openresty学习使用（一）记录爬虫结果日志
Openresty学习使用（一）记录爬虫结果日志业务场景openresty安装Openrestry配置Java调用问题业务场景日志记录很多时候是一种高并发场景的解决方案，对于不那么重要或者及时的场景可以通过异步记录日志的方式，异步将日志存储成文件，可以加快业务的返回，后续可以用ELK等框架对日志进行分析处理。本文所说的爬虫都是垂直领域的爬虫，结果都以JSON格式进行返回。由于爬虫整体的不稳定...
2019-06-07 12:21:55
597
Mysql 全局ID的实现
工作中需要一个全局的自增的主键ID，网上找到一种mysql的实现方式（redis考虑到现在集群的不稳定和持久化的问题，暂时没有考虑那种方案）网上方案如下：因为MySQL本身支持auto_increment操作，很自然地，我们会想到借助这个特性来实现这个功能。Flicker在解决全局ID生成方案里就采用了MySQL自增长ID的机制（auto_increment + replace in...
2015-09-06 22:50:05
96
原创 activemq BlobMessage对文件中转的封装
举个例子来说，典型的使用步骤：发送端：1. 启动ActiveMQ时，也启动jetty(即activemq.xml中有import jetty.xml)，此时jetty中运行了一个ActiveMQ自带的http文件服务器2. 使用tcp://localhost:61616?jms.blobTransferPolicy.defaultUploadU...
2013-03-16 16:19:24
108
原创 网络连接模式(network connector)详解
网络连接模式(network connector)针对海量消息所要求的横向扩展性和系统的高可用性，ActiveMQ提供了网络连接模式的集群功能。简单的说，就是通过把多个不同的broker实例连接在一起，作为一个整体对外提供服务，从而提高整体对外的消息服务能力。通过这种方式连接在一起的broker实例之间，可以共享队列和消费者列表，从而达到分布式队列的目的。拓扑结构几种不同的Acti...
2013-03-16 16:02:23
647
原创 ConcurrentHashMap 理解
ConcurrentHashMap是Java 5中支持高并发、高吞吐量的线程安全HashMap实现。ConcurrentHashMap 类中包含两个静态内部类 HashEntry 和 Segment。HashEntry 用来封装映射表的键 / 值对；Segment 用来充当锁的角色，每个 Segment 对象守护整个散列映射表的若干个桶。每个桶是由若干个 HashEntry 对象链接起来的...
2013-03-16 15:42:20
79
原创 ActiveMQ消息特性：延迟和定时消息投递（Delay and Schedule Message Delivery）
有时候我们不希望消息马上被broker投递出去，而是想要消息60秒以后发给消费者，或者我们想让消息没隔一定时间投递一次，一共投递指定的次数。。。类似这种需求，ActiveMQ提供了一种broker端消息定时调度机制。我们只需要把几个描述消息定时调度方式的参数作为属性添加到消息，broker端的调度器就会按照我们想要的行为去处理消息。一共有四个属性: Property ...
2013-03-16 15:40:42
77
原创 mysql中实现类似oracle中的nextval函数
我们知道mysql中是不支持sequence的，一般是建表的时间使这个字段自增。 如 create table table_name(id int auto_increment primary key, ...); 或者alter table table_ame add id int auto_increment primary key //字段，...
2013-01-16 17:34:47
91
nignx 实现图片服务器负载均衡与缓存
公司想把图片从阿里云的服务器上迁移到自己的服务器，顺便建立一套新的图片存储系统。开始打算使用FastDFS，但是FastDFS有自己的文件名生成规则，我们网站已经有了很多图片，如果每个图片都重新生成的话，工作量比较大。由于时间原因，临时采用了nginx来实现。 采用了3台服务器，每台服务器上都安装了nginx。用户访问相应图片时，根据自己定义的nginx location的hash规则...
2013-01-13 17:44:11
109
原创 64位CentOS 安装JMagick
从JMagick网站下载6.4.0版本的ImageMagick和JMagick wget http://downloads.jmagick.org/6.4.0/ImageMagick-6.4.0-0.tar.gzwget http://downloads.jmagick.org/6.4.0/jmagick-6.4.0-src.tar.gz 如果wget不能用 运行 yum...
2013-01-09 19:20:33
107
原创 nginx安装与配置（一）
Nginx("engine x")是俄罗斯人编写的一款高性能的HTTP和反向代理服务器。Nginx选择高效的epoll作为网络I/O模型，在高连接并发的情况下，Nginx是Apache服务器不错的替代品。它能支持高达50000个并发连接数,而相应的内存，CPU等系统资源消耗却非常低，运行非常稳定。在国内，新浪博客，新浪播客，网易新闻等多家网站使用Nginx作为Web服务器或者反向代理服务器...
2012-12-17 21:58:02
115
原创 mysql主从配置
主服务器配置:1.建立用户grant replication slave on . to [email protected] identified by ‘111111'2.编辑配置文件/etc/my.cnfserver-id = 1log-bin=mysql-binbinlog-do-db=testbinlog-ignore-db=mysql注:grant replication ...
2012-12-17 21:06:57
76
原创 Redis系列之Redis使用场景分析（三）
毫无疑问，Redis开创了一种新的数据存储思路，使用Redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用Redis灵活多变的数据结构和数据操作，为不同的大象构建不同的冰箱。希望你喜欢这个比喻。下面是Redis作者antirez描述了Redis比较适合的一些应用场景，这个我是直接从网上转载的，但是我觉得比较重要，所以写出来，供大家一览：1.取...
2012-12-17 20:35:26
79
原创 Redis系列之Redis客户端的实现及使用（二）
Redis支持多种语言的客户端，java客户端也有多种实现。如jedis,jredis等。而spring对redis的客户端做了一个统一封装，支持(Jedis, JRedis, and RJC)。闹米工程中采用了通过spring集成jedis的方式。首先需要引入jar包：spring-data-redis-1.0.0.RELEASE.jar jedis-2.0.0.jar（我曾以为不需要...
2012-12-16 13:30:08
100
原创 Redis系列之Redis的安装与配置（一）
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。Redis性能惊人，这个只有1万多行源代码的程序，国内前十大网站的子产品估...
2012-12-16 13:25:48
75
原创 提升tomcat服务器性能的七条经验
在线上环境中我们是采用了tomcat作为Web服务器，它的处理性能直接关系到用户体验，在平时的工作和学习中，归纳出以下七种调优经验。1. 服务器资源 服务器所能提供CPU、内存、硬盘的性能对处理能力有决定性影响。 (1) 对于高并发情况下会有大量的运算，那么CPU的速度会直接影响到处理速度。 (2) 内存在大量数据处理的情况下，将会有较大的内存容量需求，可以用-Xm...
2012-12-16 12:15:25
73
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人