LogansCodingLife-CSDN博客

原创《Streaming System》流式系统-序章

本文翻译摘抄自《Streaming System》，在阅读的时候进行翻译，同时方便广大同学，如有错误或侵权，烦请指出。偶尔有机会搜到了这本书籍，还看到知乎有有问小伙伴对此书佩服的五体投地，传送链接：https://zhuanlan.zhihu.com/p/43301661好奇这本书内容到底有多深入人心，打算边看边进行翻译(翻译水平有限，如有错误，劳烦指出)。图文并茂的解释流式系统的核心概念：http://www.streamingbook.net/figures以动画的形式对书里的一些核

2020-08-27 00:24:53 1987

原创《Streaming System》第三章：Watermarks

简介本章主要介绍鲁棒的处理乱序数据的核心概念，这些概念的运用使流处理系统超越批处理系统的关键所在。本章我们从流计算系统的底层机制深入来探讨一下watermark。学习这些机制有助于我们更好理解和使用watermark。我们将讨论watermark如何生成，传播和影响输出结果的时间戳。我们还将解释，watermark如何保证结果的正确性。本文由《Streaming System》一书第三章的提炼翻译而来，译者才疏学浅，如有错误，欢迎指正。转载请注明出处，侵权必究。定义对任何一个持续输入和输出

2020-08-27 00:23:07 623

原创《Streaming System》第二章：数据处理的四要素 What Where When and How

本文由《Streaming System》一书第二章的提炼翻译而来，译者才疏学浅，如有错误，欢迎指正。转载请注明出处，侵权必究。本章主要介绍鲁棒的处理乱序数据的核心概念，这些概念的运用使流处理系统超越批处理系统的关键所在。路线图上一章中，我们介绍了两个非常关键的概念：事件时间和处理时间，只有在事件时间维度对数据进行处理，才能保证计算结果的准确性窗口：窗口是处理无界数据流的通用方法，目前共有4类窗口。接下来我们介绍其他三个同样非常重要的概念：触发器（Triggers）触发器是决

2020-08-26 22:46:21 1177

转载《Streaming System》第一章：Streaming 101

简介Streaming101起源于在O'really上发表的两篇博客，原文如下：https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102其中对流式计算的设计理念做了非常透彻的介绍。现存的系统如Flink/Spark Structured Streaming的设计理念都是出自于上述文章。后其作者又写

2020-08-26 22:41:31 1007

转载什么五大Docker误区？你作为Java程序员不知道？

Docker现在很火，容器技术看上不无所不能，但这实际上是一种误解，不要被炒作出来的泡沫迷住双眼，本文抛去炒作，理性地从Java程序员的角度，列举出Docker目前的五大误区，帮助你更好地理解Docker的优势和问题。抛去那些媒体和厂商们的炒作，我们如何才能更好更理性的使用Docker？Docker最近备受关注，原因显而易见。如何成功交付代码一直困扰着大家。传统的容器技术在众多需求和模板中乱成一团。而Docker可以简单且重复的创建容器。相比其它容器，使用Docker可以更快、更自然的交.

2020-08-26 22:28:49 178

原创 openjdk1.8 安全编译流程

GCC编译选项的全面解释可以参考同行文章：https://blog.csdn.net/eroswang/article/details/1966640?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachine

2020-08-11 22:53:09 770

原创操作系统日常运行服务清单及说明

进程所在的网元/设备/终端/组件/单板进程名称进程功能描述 ActiveOMU systemd [操作系统]系统服务内核进程 ActiveOMU systemd-+-NetworkManager---2*[{NetworkManager}] [操作系统]内核派生-网卡服务 ActiveOMU |-agetty [操作系统]内核派生-登录服务 ActiveOMU |-atd [操作系统]内核派生-计...

2020-08-11 22:38:22 986

原创 springboot 集成 websocket

1、第一步需要在pom.xml中添加 websocket 依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-websocket</artifac...

2019-01-13 18:12:28 763

原创 Spring Cloud Eureka 服务注册与发现实例

1、Eureka 简介Eureka是Spring Cloud Netflix微服务套件中的一部分，可以与Springboot构建的微服务很容易的整合起来。Eureka包含了服务器端和客户端组件。服务器端，也被称作是服务注册中心，用于提供服务的注册与发现。Eureka支持高可用的配置，当集群中有分片出现故障时，Eureka就会转入自动保护模式，它允许分片故障期间继续提供服务的发现和注册，当...

2018-08-27 10:02:33 2188

原创堆内存占用很小但是 JVM 频繁full gc 问题排查

最近碰到一个头疼的Full gc 问题，系统运行缓慢，但是使用 jstat -gcutil pid工具一看，堆内存占用不到10%，为啥会这样？查看JVM配置如下：-Xms8G -Xmx8G -XX:NewRatio=4 XX:MaxPermSize=512m -Djava.awt.headless=true -XX:+UseCompressedOops -XX:+PrintGC -XX:+Pri...

2018-04-11 11:04:57 13885

原创各个ip地址库对比与java实现

1. 产品篇1.有哪些产品呢？1. ipip.net官网：http://www.ipip.net/优势：支持离线下载，数据更新频繁，数据精确劣势：收费如下，收费的才有经纬度2.Max Mind 官网：http://dev.maxmind.com/zh-hans/geoip/legacy/geolite/优势：支持离线下载，数据如果是收费版的更新频

2017-01-09 21:51:18 9397 1

原创 java hbase api 批量高效写入数据（线程池方式）

笔者尝试各种方法写入HBase，其中使用线程池方式写入数据最为快速。测试环境：hbase 1.2.4, hadoop 2.7 单条数据大小1kb，7台服务器24核48g内存千兆网卡，测试1000w数据写入测试结果：达到百万级每秒写入速度。下面上代码。pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0"

2017-01-05 22:53:12 30326 15

转载 JVM 内存调优与实际案例

堆内存设置原理JVM堆内存分为2块：Permanent Space 和 Heap Space。Permanent 即持久代（Permanent Generation），主要存放的是Java类定义信息，与垃圾收集器要收集的Java对象关系不大。Heap = { Old + NEW = {Eden, from, to} }，Old 即年老代（Old Generation

2016-10-24 12:09:19 8221 1

转载 centos 安装 docker 及基础命令使用

Docker是一个开源的应用容器引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。利用Linux的LXC、AUFS、Go语言、cgroup实现了资源的独立，可以很轻松的实现文件、资源、网络等隔离，其最终的目标是实现类似PaaS平台的应用隔离。 Docker值得关注的特性：文件系统隔离：每个进程容器运行在一个完全独立的根文件系统里。资源隔

2016-10-09 19:46:04 8564

原创 nodeJs开源app后台开源框架集合

1、Horizon项目地址：https://github.com/rethinkdb/horizon网站主页：https://horizon.io/Horizon是一个用JavaScript开发的开源实时应用程序后台。使用一个简单的JavaScript API快速构建和部署Web或移动应用程序，将您的应用程序扩展到数以百万计的用户而没有任何后端代码。由rethink

2016-10-06 17:37:14 4131

原创开源app后台开源框架集合 java

1、app-engine 项目地址：https://github.com/sofn/app-engineapp-engine 是一个分布式的App服务端快速开发框架,包含了基本的权限认证、日志处理、接口防刷、系统监控等基本功能。此框架围绕分布式服务系统构建，能够快速扩容，迎合微服务化，提供App服务端常用必备功能。技术栈：Spring Boot / Sprin

2016-09-01 15:18:54 17104

原创 python 使用geoLiteCity 根据ip地址获取物理位置

GeoLite产品下载地址：http://dev.maxmind.com/zh-hans/geoip/legacy/geolite/#!/usr/bin/env python3# -*- coding: utf-8 -*-import pygeoipgi = pygeoip.GeoIP(r"I:\test\GeoLiteCity.dat")def regGeoStr(

2016-08-27 13:16:37 6155

原创 python ssh 批量连接linux服务器执行命令

#!/usr/bin/env python3# -*- coding: utf-8 -*-''' 因为含有pxssh模块，该程序只能在 linux 环境中运行'''import optparsefrom pexpect import pxsshclass Client: def __init__(self, host, user, password):

2016-08-26 14:00:38 5032

原创 python 调用 nmap 扫描服务器开放的端口

#!/usr/bin/env python3# -*- coding: utf-8 -*-import optparseimport nmapdef nmapScan(tgtHost, tgtPort): nmScan = nmap.PortScanner() results = nmScan.scan(tgtHost, tgtPort) state = res

2016-08-26 13:53:43 5424 2

原创 nginx 配置

2016-08-21 14:18:08 498

转载 jconsole监控远程linux tomcat运行情况的配置

步骤如下：1.编辑tomcat/bin/catalina.shBash代码 vi catalina.sh 在其中“# ----- Execute The Requested Command -----------------------------------------”之前插入新的一行(中间没有换行)，内容如下：

2016-08-06 19:04:25 1049

原创 linux 内核优化

1.优化内核参数echo "#-------------insert-------------" >> /etc/sysctl.confecho "net.core.netdev_max_backlog = 32768" >> /etc/sysctl.confecho "net.core.rmem_default = 8388608" >> /etc/sysctl.confecho "n

2016-08-03 10:59:00 586

原创 linux 网络操作命令

1、netstat 1) 查看网络监听状态netstat -anp | grep 9000

2016-07-17 13:03:51 600

原创解决linux scp、ssh 登陆远程服务器连接速度慢

在使用scp时拷贝文件时建立连接非常慢。其实除了网络原因，还有就是因为在scp拷贝文件前会生成认证文件。你可以用 -v 选项确认你的情况. 例如, 下面是 ssh 的详细登陆过程:cherry@cherry:~$ ssh -v [email protected]: SSH2_MSG_SERVICE_REQUEST sentdebug1: SSH2_M

2016-07-14 11:26:34 6909

原创解决 Unable to load native-hadoop library for your platform

安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。1、首先找到对应自己hadoop

2016-07-14 00:47:08 70923 16

原创 spring java mongodb geo 位置搜索服务示例

1、配置 pom.xml，在原有的spring项目中添加以下2个即可。 org.mongodb mongo-java-driver 3.2.2 org.springframework.data spring-data-mongodb 1.9.2.RELEASE 2、配置 sprin

2016-07-12 15:48:57 11335

转载 lvs、haproxy、nginx 负载均衡的比较分析

对软件实现负载均衡的几个软件，小D详细看了一下，从性能和稳定上还是LVS最牛，基本达到了F5硬件设备的60%性能，其他几个10%都有点困难。不过就因为LVS忒牛了，配置也最麻烦了，而且健康检测需要另外配置Ldirector，其他HAPROXY和NGINX自己就用，而且配置超级简单。所以小D建议，如果网站访问量不是门户级别的用HA

2016-06-29 18:21:43 658

原创 java 调用 .net webservice 示例

package com.hcg.test;import java.rmi.RemoteException;import javax.xml.namespace.QName;import javax.xml.rpc.ParameterMode;import javax.xml.rpc.ServiceException;import org.apache.axis.client.Cal

2016-06-28 19:35:11 4021

原创使用Spring实现读写分离（ MySQL实现主从复制）

1. 背景我们一般应用对数据库而言都是“读多写少”，也就说对数据库读取数据的压力比较大，有一个思路就是说采用数据库集群的方案，其中一个是主库，负责写入数据，我们称之为：写库；其它都是从库，负责读取数据，我们称之为：读库；那么，对我们的要求是：1、读库和写库的数据一致；2、写数据必须写到写库；3、读数据必须到读库；2. 方案解决读写分离的方案有两种：应用

2016-06-01 21:32:53 60834 24

转载 java遍历Map的四种方法

public static void main(String[] args) { Map map = new HashMap(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", "value3"); //第一种：普遍使用，二次取值 System.out.println("通过Map.key

2016-05-31 16:14:14 724

转载 CentOS7 linux kill 命令

杀死进程最安全的方法是单纯使用kill命令，不加修饰符，不带标志。首先使用ps -ef命令确定要杀死进程的PID，然后输入以下命令： # kill –pid注释：标准的kill命令通常都能达到目的。终止有问题的进程，并把进程的资源释放给系统。然而，如果进程启动了子进程，只杀死父进程，子进程仍在运行，因此仍消耗资源。为了防止这些所谓的“僵尸进程”，应确保在杀死父进程之前，先杀死其

2016-05-28 18:43:30 8943

原创 Redis 分页排序查询

Redis是一个高效的内存数据库，它支持包括String、List、Set、SortedSet和Hash等数据类型的存储，在Redis中通常根据数据的key查询其value值，Redis没有条件查询，在面对一些需要分页或排序的场景时（如评论，时间线），Redis就不太好不处理了。前段时间在项目中需要将每个主题下的用户的评论组装好写入Redis中，每个主题会有一个topicId，每一条评论会

2016-05-23 18:45:08 83642 11

转载 redis java 分页、排序示例

Jedis 是 Redis 官方首选的 Java 客户端开发包。工作过程总结的一个示例，贴出来，如下：Java代码package com.wujintao.redis; import java.util.Date; import java.util.HashMap; import java.util.I

2016-05-23 16:12:47 17329 1

转载 redis实现増删改、查询过滤功能

搜了一下，似乎没有redis的分版，正好方便从sql向redis转换的同行，就发在本版吧redis性能强悍，多机方便，但是这种key=value机制的系统，似乎无法实现数据库特有的増删改、查询过滤经过几天学习，似乎找到一个办法。。。。（虽然有点累赘，但胜于无。也算是redis初学者的抛砖引玉）例子：表man，字段id、姓名、年龄、城市记录数据： 1 zhangsan 20 bj 2 li

2016-05-23 15:02:42 4874 1

转载结合MongoDB开发LBS应用

简介随着近几年各类移动终端的迅速普及，基于地理位置的服务（LBS）和相关应用也越来越多，而支撑这些应用的最基础技术之一，就是基于地理位置信息的处理。我所在的项目也正从事相关系统的开发，我们使用的是Symfony2+Doctrine2 ODM+MongoDB的组合。我们将这些技术要点整理成文，希望能够通过本文的介绍和案例，详细解释如何使用MongoDB进行地理位置信息的查询和处理。在

2016-05-20 11:35:24 860

转载 LBS经纬度搜索和距离排序各种方案

看到最近有好多人陆续收藏、关注这个问题，特来更新一下建议使用ElasticSearch(https://elastic.co)进行LBS业务功能开发PostGIS也是不错的Redis新版有提供Geocoding，可以尝试一下一直在琢磨LBS，期待可以发现更好的方案。现在纠结了。简单列举一下已经了解到的方案：1.sphinx geo索引2.mongodb ge

2016-05-20 11:32:16 6982

原创 linux mysql 5.7 修改默认字符集为utf8

1、通过 SHOW VARIABLES LIKE 'character_set_%'; 查看mysql字符集情况mysql> show variables like "%char%";+--------------------------+---------------+| Variable_name | Value |+--------------------------+-----

2016-05-19 16:35:33 17279 3

转载 Redis资料汇总专题

很多朋友反映，说NoSQLFan上的资料不少，但是要找到自己实用的太难，于是萌生做这样一个专题的想法。通过将不同NoSQL产品从入门到精通的各种资料进行汇总，希望能够让大家更快的找到适合自己的教程或文章进行阅读。最后更新时间：2013-04-221.Redis是什么？十五分钟介绍 Redis数据结构Redis系统性介绍一个很棒的Redis介绍PPT强烈推荐！非同一般的R

2016-05-19 13:19:59 945

转载 redis 集群数据丢失及解决方案 AOF RDB 数据恢复

Redis的数据回写机制Redis的数据回写机制分同步和异步两种，同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间，所以一般不是推荐的。异步回写即BGSAVE命令，主进程fork后，复制自身并通过这个新的进程回写磁盘，回写结束后新进程自行关闭。由于这样做不需要主进程阻塞，系统不会假死，一般默认会采用这个方法。个人感觉方法２采用fork

2016-05-19 13:15:56 10598

转载 linux Redis 注册服务

之前安装好了Redis服务之后，每次开启与关闭都需要去redis目录下去运行脚本，相当的繁琐，于是试着将redis的注册成系统服务，如此便可以方便的对其进行各种操作，以下为具体的注册服务配置：将Redis做成一个服务 service 1.复制redis init脚本到/etc/rc.d/init.d目录按以上步骤默认安装Redis时，其服务脚本位于：

2016-05-19 13:10:07 1048

hardening-check-2.6-1.el7.noarch.rpm

安全编译选项校验，执行：hardening-check [二进制文件名称] 即可对一些动态库，二进制可执行文件进行校验。

2020-08-11

python-3.5.2-amd64.exe

python-3.5.2-amd64.exe windows 64 位安装

2016-08-09

redis-3.0.0.gem

redis-trib.rb运行依赖的ruby的包

2016-04-14

省市区及地区码.sql

INSERT INTO `t_area_code` VALUES ('1', '110000', '北京市'); INSERT INTO `t_area_code` VALUES ('2', '110100', '北京市市辖区'); INSERT INTO `t_area_code` VALUES ('3', '110101', '北京市东城区'); INSERT INTO `t_area_code` VALUES ('4', '110102', '北京市西城区'); INSERT INTO `t_area_code` VALUES ('5', '110103', '北京市崇文区'); INSERT INTO `t_area_code` VALUES ('6', '110104', '北京市宣武区'); INSERT INTO `t_area_code` VALUES ('7', '110105', '北京市朝阳区'); INSERT INTO `t_area_code` VALUES ('8', '110106', '北京市丰台区'); INSERT INTO `t_area_code` VALUES ('9', '110107', '北京市石景山区'); INSERT INTO `t_area_code` VALUES ('10', '110108', '北京市海淀区'); INSERT INTO `t_area_code` VALUES ('11', '110109', '北京市门头沟区'); INSERT INTO `t_area_code` VALUES ('12', '110111', '北京市房山区'); INSERT INTO `t_area_code` VALUES ('13', '110112', '北京市通州区'); INSERT INTO `t_area_code` VALUES ('14', '110113', '北京市顺义区');

2015-11-09

绝对绚丽的3D手机动态旋转效果.pptx

绝对绚丽的3D手机动态旋转效果，PPT里的动态3D旋转，史无前例哦！

2014-07-26

动态飞翔白鸽ppt

动态飞翔白鸽ppt 很漂亮的动态白鸽飞过ppt开场

2014-01-02

动态箭头PPT

很绚丽的动态箭头PPT！很实用，可以套用

2014-01-02

507张win8风格ppt图表大全

507张win8风格ppt图表大全很实用！

2014-01-02

7个PPT演讲绝对不能有的习惯（ppt）

7个PPT演讲绝对不能有的习惯很有用！

2014-01-02

微软官方的动态win8风格ppt

微软官方的动态win8风格ppt 动态绚丽的界面，可以套用的流程。

2014-01-02

C语言通讯录管理系统彩色界面

非常强大的功能并有注释 #include <windows h> #include <math h> #include <conio h> #include <stdio h> #include <stdlib h> #include <string h> #include <time h> time t函数头文件 struct Student { char name[20]; 姓名 char gender[20]; 性别 char tel[20]; 电话 char email[50]; 邮箱 char address[100]; 地址 }; typedef struct Student SS; 给struct Student赋别名 void login ; 登入模块 void display menu ; 主菜单 void showMenu ; 汇总统计菜单 void system menu SS student int length ; 菜单选择 int inputInfo SS student int length ; 输入信息 int check char string ; "ESC"判断函数 void print SS find[] int i ; 根据"i"输出特定成员信息 void outputInfo SS student int length ; 输出信息 int queryInfo SS find int length ; 查询信息 void queryOutput SS find int index ; void queryOutputInfo SS find int i ; void statistic SS student int length ; 汇总统计选择 void singel output SS student int length ; 输出部分学生信息 int read save SS student int length ; 读取写入文件 void read SS student int length ; 读取文件 void save SS student int length ; 保存文件 void copy File SS student int length ; 备份文件 void save time ; 保存登入时间 void CursorPosition int x int y ; 设置光标位置 void show welcome ; 显示欢迎使用系统页面 void log info char name[] int n ; 记录操作日志 name 用户名 n 操作方式 void Date operate ; 查看操作日志 void user ; 用户信息模块 void change pw ; 更改密码 void register control ; 注册控制 void source take ; 资源占用 void log out ; int changed length 0; 总共录入多少人 int N 1001; 数组的局限之处数组在分配空间的时候需要常量来计算不能确定大小不能分配所需空间大小 char show time[30]; 时间存放字符数组 int first 1; 是否刚刚登入系统 1 代表是 int flag read 0; 是否已从文件读入信息 0 代表不是">非常强大的功能并有注释 #include <windows h> #include <math h> #include <conio h> #include <stdio h> #includ

2014-01-02

TA关注的人

hardening-check-2.6-1.el7.noarch.rpm

python-3.5.2-amd64.exe

redis-3.0.0.gem

省市区及地区码.sql

绝对绚丽的3D手机动态旋转效果.pptx

动态飞翔白鸽ppt

动态箭头PPT

507张win8风格ppt图表大全

7个PPT演讲绝对不能有的习惯（ppt）

微软官方的动态win8风格ppt

C语言通讯录管理系统彩色界面

日韩动画PPT动态模板

绝对绚丽的PPT开场动态模板

学生成绩管理系统C语言比较强大的功能

五子棋C语言代码

C++贪吃蛇程序源代码

COOL倒计时动态PPT

完整版纸飞机动态PPT模板

网页设计知名品牌PNG小图标大全

C语言CMD界面颜色改变库文件

VC++记事本完整源程序

Advanced Batch Conwerter

PPT绚丽动态模版

sqlserver数据库，按照指定日期将表中对应时间段内的记录备份出去。