- 博客(165)
- 收藏
- 关注
RSS订阅原创 搭建Docker+SRS服务器实现推流拉流的效果
最初的一个想法，是针对当前的网络电视去的，很多网络电视买回家，还要充很多会员，甚至跌入连环坑。我想给妈妈买一台电视，想把我自己收集的电影电视剧做成一个影视库，通过搭建家庭影院服务器，然后在安卓终端上面点播。最初想得很简单，就是做一个文件服务器就可以了，但是安卓支持的解码器有限，就想着在服务器把各种格式的电影转换成流媒体，推向流媒体服务器。没办法，只好使用绝对路径。之前写过一个手机直播的模型，使用的rtmp服务器是nginx，这次我使用的是用Docker搭建的SRS服务器。就这样，一个SRS服务器就建好了。
2022-12-01 14:02:22
3784
3
原创 VBox组件内部局域网
为了不混乱，我把网卡1确定为桥接网络，网卡2，确定为192.168.2.x网段，网卡3确定为192.168.10.x网段，网卡4使用vbox默认的192.168.56.x网段，一般使用前两个就行，四个网卡全开会出问题。手动复制和修改网络配置文件比较麻烦。由于此时的网卡2使用的是动态分配的ip，所以没法用网卡2的ip去ssh，可以使用网卡1的ip登录，或者在虚拟机显示界面直接登录，查看和修改网卡2的配置。红框部分都是需要修改的，UUID可以重新生成一个，也可以做一点稍微的修改，不要与复制的源文件相同就好了。
2022-11-28 16:53:03
1203
原创 Springboot Security 前后端分离模式自由接口最小工作模型
但凡讲解Springboot Security的教程，都是根据其本身的定义，前后端整合在一起，登录采用form或者basic。我们需要纯粹使用自己的自由接口来实现注册登录，以及其他业务接口访问的身份验证和授权。这里的设计是用户身份验证与授权的模块跟业务模块的身份权限验证是分开的。过滤器设置的白名单跟此处配置的完全授权的白名单没有必然的关系。给定的权限是ROLE_USER，前面的ROLE_前缀是必须要加的，这是jsr250的权限校验规范要求的。两个接口文件，一个设计为UAA模块，一个设计为业务模块。
2022-11-24 14:05:49
593
原创 Springboot Websocket一般封装方法
此方法不是唯一，只是自己对于Springboot中关于Websocket处理思路比较清晰的一种，在此记录下来。总共不过就四个文件而已。
2022-11-23 15:10:14
1473
原创 Springboot AOP 使用小结
Springboot AOP 使用小结引言搭建工程POM依赖添加配置编写两个用于测试的接口文件编写几个自定义注解编写两个切面配置1. 用于注解匹配的Aspect关于注解匹配的语法2. 用于包路径匹配的Aspect关于包路径匹配的语法简记测试结果引言为了简化应用层开发人员的工作复杂性，我一般会把一些通用的，复杂的，跟具体业务没有特别关系的逻辑封装在框架层。AOP用的就会比较多。有一段时间，总是会出现自己设计的AOP不能准确匹配的问题。特意做了一点研究，为了增强记忆，方便日后应用，做个小结。搭建工程搭建
2021-08-29 18:46:31
171
原创 Sentinel接口限流框架在Springcloud中的简单应用
Springboot使用Sentinel，还是稍显复杂。alibaba封装了针对Springcloud的使用，更加简单。还是上次启动的那个控制台。一、创建Spri
2021-05-31 15:49:22
181
原创 Sentinel接口限流框架在Springboot中的简单应用
本来目的只是限流，在程序里面可以定义规则。但是鉴于接口限流规则应该随着访问热度而改变，使用硬编码方式不可取，这样就需要借助于Sentinel控制台程序在网页端dong'tai'jin'xi
2021-05-31 15:34:53
507
原创 CentOS7搭建Flume服务器
Flume的官网是http://flume.apache.org,官网提供了丰富实用的技术资料。l一、下载软件
2021-05-30 21:00:01
311
原创 Docker搭建Yearning服务器
Yearning是干啥的？《MySql从删库到跑路》，这个熟悉不？这不是一本书，也不仅仅是一个梗。可能真有其事发生。如果公司都放任程序员去操作数据库，真有一天re'ren'b
2021-05-29 21:01:17
662
3
原创 CentOS7搭建Hive服务器
Hive服务器需要Hadoop，我使用的是Hadoop3.3.0，这个提前已经搭建好了。MySql5.7.34也已经准备好。一、下载软件
2021-05-29 20:19:52
275
原创 CentOS7搭建HBase单节点集群
鉴于Docker搭建HBase遇到那种令人恶心的设计，我决定采用CentOS7直接搭建。孰料，过程更麻烦，坑更多。简直就是一个踩坑的体验。不过我横下心来杠到底，非要把这个问题解决不可。用了一个工作日，尝试各种版本，梳理各种思路，查阅了很多资料，终于搞定了。HBase工作需要zookeeper，虽然HBase本身集成了zookeeper，但是使用并不是很自由，建议还是使用独立的zookeeper。所以我们首先要在系统中安装zookeeper。HBase的底层存储使用的还是Hadoop的HDFS，因此还
2021-05-27 13:45:18
562
1
原创 Docker架设HBase集群
要学习HBase，需要架设一个集群，一个单节点的集群，Docker当然是首选。一、拉取镜像docker pull harisekhon/hbase二、运行容器docker run --name hbase -itd \ -h hbase-server \ -p 2181:2181 \ -p 8080:8080 \ -p 8085:8085 \ -p 9090:9090 \ -p 9095:9095 \ -p 16000:16000
2021-05-27 13:10:38
578
2
原创 Java整合Flink初学系列
本次研究学习浅尝则止，由浅入深。记录下来，以作参考。Java整合Flink批处理本地数据Java整合Flink流式处理本地数据Java整合Flink流式处理从Socket获取的数据Java整合Flink流式处理从Kafka获取的数据Java整合Flink将结果写入ElasticSearchJava整合Flink使用结巴中文分词器附：CentOS7架设Flink1.13.0服务器...
2021-05-23 12:10:01
516
原创 Java整合Flink使用结巴中文分词器
这是本次学习的最后一篇了，我在完成基本业务处理模型的基础之上https://blog.csdn.net/xxkalychen/article/details/117190236?spm=1001.2014.3001.5501，增加一个中文分词的功能。一、添加pom依赖。<dependency> <groupId>com.huaban</groupId> <artifactId>jieba-analysis</artifactId
2021-05-23 12:05:24
554
2
原创 Java整合Flink将结果写入ElasticSearch
上次修改https://blog.csdn.net/xxkalychen/article/details/117152948?spm=1001.2014.3001.5501把数据源确定为消息中间件kafka，从数据源来讲已经比较符合标准模型了。数据处理的最终结果也不能只是控制台打印，终究还是要持久化的。我们可以写入HBase，可以写入HDFS，我这里还是选择写入ElasticSearch。首先我们要启动ElasticSearch服务器，zookeeper和kafka。一、添加ElasticSearc
2021-05-23 11:31:08
795
1
原创 Java整合Spark第一个程序WordCount
创建一个maven工程。一、添加pom依赖。<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.1.1</version></dependency>我搭建的服务器安装的scala版本是2.12.10，spark版本是3.1.1
2021-05-23 03:21:21
604
原创 CentOS7架设Kafka服务器
一、下载软件cd /var/appwget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz二、解压tar -zxvf kafka_2.13-2.8.0.tgz三、创建日志文件夹mkdir -p /var/app/kafka_2.13-2.8.0/logs四、运行zookeeper和kafkanohup /var/app/kafka_2.13-2.8.0/bin/zookeeper-s
2021-05-23 01:44:58
394
原创 CentOS7搭建Spark3.1.1单节点集群
打算学习研究Spark，搭建一个单节点的Spark集群来做线上测试和研究。首先要安装好安装Scala环境https://blog.csdn.net/xxkalychen/article/details/117175314。一. 下载Spark软件cd /var/appwget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz二. 解压tar -zx.
2021-05-23 01:43:56
717
原创 CentOS7安装Scala2.12.10
打算研究Spark，需要服务器安装Scala环境。一、下载软件cd /var/appwget https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.tgz二、解压tar -zxvf scala-2.12.10.tgz三、添加环境变量vi /etc/profile添加内容# Scalaexport SCALA_HOME=/var/app/scala-2.12.10export PATH=$PATH:
2021-05-23 01:21:23
343
原创 Java整合Flink流式处理从Kafka获取的数据
上次的例子https://blog.csdn.net/xxkalychen/article/details/117149540?spm=1001.2014.3001.5502将Flink的数据源设置为Socket，只是为了测试提供流式数据。生产中一般不会这么用，标准模型是从消息队列获取流式数据。Flink提供了跟kafka连接的封装，我们只需要一点小小的改动就可以实现从Kafka获取数据。不过修改之前，需要搭建一个Kafka服务器。具体搭建过程这里不做详述。现在我们来修改程序。一、添加pom依赖。
2021-05-22 11:31:04
2369
原创 Java整合Flink流式处理从Socket获取的数据
尝试把Flink的小例子部署到集群去执行，发现找不到本地的txt文件。可是看jar包里面明明被打包进去了，可能获取路径的方法有点问题。懒得去处理，因为流式处理极少去处理本地数据的。我们要把数据来源更换成一个可以源源不断地输入的模式。比如Socket。我们就在前次小例子的基础上来修改https://blog.csdn.net/xxkalychen/article/details/117148830。修改部分很简单。我们另外创建一个测试类，其他都不用修改。package com.chris.flink
2021-05-22 09:39:02
1826
原创 Java整合Flink流式处理本地数据
流式处理用于处理源源不断的数据，服务处理等待状态，有一批新数据进来就处理一批。跟批处理一次性完成一批数据不同。我们在上一次的小例子上做修改https://blog.csdn.net/xxkalychen/article/details/117147480。其实也没有什么大的修改，我们还是另外创建一个测试类就好，pom什么的都不用修改。package com.chris.flink;import org.apache.flink.api.common.functions.FlatMapFunct
2021-05-22 08:59:43
841
原创 Java整合Flink批处理本地数据
Flink是一个流式数据处理框架。我们与Java进行整合的第一个例程基于简单的原则，从本地一次性获取需要的数据，一次性处理完成。这个例程在本地运行，不需要服务器的支撑。创建一个maven工程。一、pom依赖。<properties> <flink.version>1.13.0</flink.version></properties><dependencies> <dependency>
2021-05-22 08:01:20
805
1
原创 CentOS7架设Flink1.13.0服务器
一、下载软件cd /var/appwget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.0/flink-1.13.0-bin-scala_2.12.tgz二、解压软件tar -zxvf flink-1.13.0-bin-scala_2.12.tgz三、添加环境变量vi /etc/profile添加内容# Flinkexport FLINK_HOME=/var/app/flink-1.13.0
2021-05-22 07:14:31
347
原创 Docker架设服务器系列
一、WEB服务器二、关系型数据库2-1.Docker架设MySql5.7.34服务器三、NoSQL数据库3-1.Docker架设Memcached服务器并与Springboot整合四、消息中间件五、流式数据处理服务器六、大数据七、开发管理服务器7-1.Docker架设SVN服务器7-2.Docker架设Gitlab服务器7-3.Docker搭建jira服务器八、分布式注册中心及配置中心8-1.Consul注册中心服...
2021-05-22 06:53:14
177
原创 CentOS7架设服务器系列
一、关系型数据库二、NoSQL数据库三、消息中间件四、WEB服务器4-1.CentOS7安装运行tomcat五、流式数据处理服务器六、大数据6-1.CentOS7架设Storm单实例服务
2021-05-22 06:43:42
195
原创 Redis学习笔记
Redis学习笔记（1）安装与启动Redis学习笔记（2）在Springboot项目中的配置Redis学习笔记（3）hash的读写Redis学习笔记（4）对list列表的读写Redis学习笔记（5）对set集合的读写Redis学习笔记（6）消息的订阅与发布...
2021-05-22 00:17:30
96
原创 Netty初学渐进系列
学习Netty过程中，谢了一些例程和笔记，在这里归纳一个目录，方便查阅。一、Netty应用（一）基本模型二、Netty应用（二）传输Protobuf数据类型三、Netty应用（三）粘包与拆包四、Netty应用（四）实时通信的简单实现五、Netty应用（五）架设WebSocket服务六、Netty应用（六）Websocket连接时携带用户名附：Protobuf初次使用小记...
2021-05-22 00:12:44
95
原创 Java整合Storm初学渐进系列
最近学习研究Storm，写了几篇笔记，在这里整理一个目录，方便查阅。一、CentOS7架设Storm单实例服务二、Java整合Storm的简单例子三、Java整合Storm写入ElasticSearch四、Java整合Storm任务分流五、Java整合Storm上传到远程服务器执行六、Java整合Storm使用代码提交远程集群执行七、Java整合Storm读取Kafka数据八、Java整合Storm实现WordCount单词统计九、Java整合Storm使用中文分词十
2021-05-22 00:04:54
97
原创 Java整合Storm使用中文分词
以前写的例子，都是基于用空格分割的单词，英文文本本身就是用空格分割，识别相对容易，但是中文之间是没有空格的，严格地说，中文没有可识别的分隔符，能够识别中文词汇来自于中文语法规则，计算机哪里会？所以必须基于一些词库来识别。所以很多大数据处理框架都提供了使用中文分词器的功能。这里我们是用一款叫做结巴分词器的工具，来对输入源的中文进行分词。在上一次修改过的基础之上https://blog.csdn.net/xxkalychen/article/details/117136261?spm=1001.2014.3
2021-05-21 23:55:43
326
1
原创 Java整合Storm实现WordCount单词统计
如同每一种程序语言的入门都要设计一个输出"Hello,World!"的小例子一样，几乎每一种流式数据处理框架都有一个WordCount的入门例程。MapReduce是一个标准，包括Spark和Flink都提供map和reduce算子，可以很方便地实现单词统计。Storm好像没有发现这个，不过实现起来却也很容易。基于上次修改的程序https://blog.csdn.net/xxkalychen/article/details/117058030?spm=1001.2014.3001.5501，我们把从Ka
2021-05-21 23:20:38
369
原创 面试话题：随机数飘落分布概率
刚刚参加一次面试，跟技术面试官探讨了一个话题。面试官给我出了一个题目，涉及算法。大意是：如果我们要设计一个产品抽奖，每种奖品都有一定概率被抽中，当然也要一定概率什么也抽不中。面试官要考试，对问题的描述半遮半掩，多次对话后我弄清了他的意图，于是稍作思考，给出了两种方案。1. 把未抽中的机会也虚拟为一种产品，将所有产品的概率计算总和，按照100分配实际概率。再给出一个抽奖总次数，生成一个奖品池，比如一个集合，随机抽取后删除该奖品。不过，如果抽奖机会总数很大，这种方案很耗资源。2. 同上，给每一种奖品分配
2021-05-21 02:47:40
279
1
原创 Java整合Storm读取Kafka数据
写到这里，kafka -> storm -> es 应该是流式数据处理最标准的模型了，从消息队列获取流式数据源，经storm多分支流水线逐次清洗、处理、计算，把需要的数据持久化到仓库。根据前几次的不断深入和修改，现在我们就把数据源改成kafka。我们需要做三点改动就好了。一、添加kafka的依赖。<dependency> <groupId>org.apache.kafka</groupId> <artifactId>k
2021-05-20 06:48:37
790
原创 Java整合Storm使用代码提交远程集群执行
上次我们通过微小修改https://blog.csdn.net/xxkalychen/article/details/117045413，实现了本地jar包上传到远程Storm集群执行。Strom还提供直接在本地代码执行提交到远程集群执行的方法。我们还是在上次的小例子上做一点点修改。只需要修改主类MyTopology即可。package com.chris.storm.topology;import com.chris.storm.bolt.CountBolt;import com.chri
2021-05-19 22:15:18
600
3
原创 Java整合Storm上传到远程服务器执行
参考之前的小例子https://blog.csdn.net/xxkalychen/article/details/117021471?spm=1001.2014.3001.5501，我们稍作修改，实现提交到远程集群执行。一、修改pom.xml1. storm-sore依赖需要添加作用域provided<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm
2021-05-19 21:24:15
454
2
原创 Intellij Idea连接远程服务器实现远程上传部署
如果我们在Intellij Idea中开发好程序，需要部署到远程SSH服务器运行，我们可以使用某些SSH软件的rz功能，也可以使用专用的FTP、SFTP上传工具。其实我们可以直接在Idea软件内来配置部署，不但不用切换软件，也不用翻找本地打包的位置，随之修改，随时更新。一、Tools->Deployment->Configuration二、点击左上角"+"号，新建一个SFTP，输入一个名称，比如"StormServer"三、填写远程SSH服务器信息Host 远程主机，可以是在本地
2021-05-19 20:25:27
4075
3
原创 Java整合Storm任务分流
Storm以流水线的模式处理流式数据，每一个环节完成一条逻辑需求中的一个阶段性任务。但是我们的需求不止一个，并不一定处于一条逻辑线，甚至经过几次处理环节之后就没有什么共同点了，这就需要我们将任务处理环节划分开多个分支，每一种需求又会在各自的分支以流水线的模式处理下去。基于上次我们修改过的小例子https://blog.csdn.net/xxkalychen/article/details/117019970?spm=1001.2014.3001.5501，我们在处理完文字行之后，一方面在后台打印，一方面
2021-05-19 11:52:31
350
1
原创 Java整合Storm写入ElasticSearch
上次写了一个Java整合Storm的一个最简单的例子https://blog.csdn.net/xxkalychen/article/details/117018310，一个数据源，一个处理中间环节，一个最终环节，一个任务拓扑。我们能看到的效果是控制台打印。根据需要，我们要把数据写入ElasticSearch。我们在原有的项目中做一点小的调整，来实现这个需求。当然，首先我们需要一个ElasticSearch的服务器。我已经开启了自己架设好的ES服务器，版本号7.12.0一、pom中添加Ela
2021-05-19 11:14:17
341
1
原创 Java整合Storm的简单例子
刚刚架设好一台Storm单实例服务器https://blog.csdn.net/xxkalychen/article/details/117014994，需要写个Java程序来测试一下。使用Idea创建一个Java项目。一、pom依赖<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <v
2021-05-19 10:32:48
729
原创 CentOS7架设Storm单实例服务
最近学习研究Storm，需要一个Storm服务器环境。搜一下发现网络上大都是架设集群的，本人主要从事java后端，不需要在服务器运维方面搞得过于深入，加之用虚拟机架设一个多节点的集群也颇为消耗资源。试想我正在调试Java程序，还要开着三个虚拟机，是不是很麻烦。所以我们只需要一个单实例的服务器就好了。最开始还是追求Docker化的架设，但是考虑到可能需要把Storm的jar包上传到服务器，使用Docker就有点啰嗦，所以还是直接在CentOS7里面进行架设。架设过程中当然还是遇到了一些问题，最终是架设成功
2021-05-19 09:35:46
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人