- 博客(105)
- 收藏
- 关注
RSS订阅
原创 基于区块链的社区矫正存证方案
某社区矫正项目区块链服务示意图，系统核心为区块链存证平台，人脸活体识别算法，共同保证数据安全可靠。这里的区块链服务与传统业务是并行关系，对原有系统影响较小。
2020-07-18 11:44:16
1019
原创 流媒体服务器开源方案调研
1 背景说明这里的需求为某公安视频监控项目建设，需要一个流媒体服务器支持视频直播与点播。1.1 功能需求直接需求为摄像头监控。1.多路实时视频，即同屏展示多路摄像头实时视频。2.多路录像视频，即同屏展示多路摄像头录像视频后续需求1.直播，将主播视频同步给多终端。2.视频会议*，将多人视频同步给各用户。1.2 性能指标1.多路实时视频，百路，常规 5*5；总路数在带宽满足的情况，可动态扩容。并发最小 500 路。2.多路录像视频，百路，常规 5*5；总路数在带宽满足的情况，可动态扩容
2020-07-13 17:44:07
2415
原创 区块链部分竞品对比情况
备注: 链信为我们基于以太坊自研版本，增加了权限管控，国密，优化了共识算法。主要对比我们自研产品及FISCO BCOS，Hyperledger Fabric1.可靠性，是否有案例，按等级分商业成熟案例，实验性案例，无案例fisco 商业成熟案例https://mp.weixin.qq.com/s/cUjuWf1eGMbG3AFq60CBUAfabric 仅限于实验性案例，版权家基于fabric做的存证类纸贵科技 苹果溯源项目，是否项目型公司；是否区块链解决方案公司；链信 暂无案例2.性能对
2020-07-18 11:59:33
933
1
原创 FISCO-PBFT流程-配合日志展示(正常)
本文结合运行环境实际日志对FISCO BCOS PBFT共识算法过程进行说明，此说明源自合约并发执行导致共识无法达成问题排查。问题环境为4节点4c16G内存500G空间环境，出现问题为共识无法达成，初步分析原因为并发执行导致同一个交易块得出的hash不一致。此篇展示为正常共识情况。还有一篇展示的是问题情况。3.1 leader打包区块PBFT共识算法中，共识节点轮流出块，每一轮共识仅有一个leader打包区块，leader索引通过公式(block_number+curre...
2020-06-28 18:00:48
552
原创 联盟链选型之FISCO BCOS
算起来从去年12.31开始，到现在，已经快满三个月了。这三个月，阅读了各种区块链白皮书，腾讯的，华为的，京东的，可信区块链组织的，组织了一份《dfgx区块链解决方案》，参加了华为组织的区块链生态，其实主要是推他自己的目录链。目前区块链这个概念很大，自从1024之后，概念很火，准确的说区块链分公链，联盟链两种；公链以发币为主，目前国内已经全面被禁，所以国内现在主要在做的还是联盟链。主要的应用形态包括分布式身份DID，存证溯源等，行业基本涉及到所有，目前以金融，司法，政府类为主，未来的话电商，工业互联网
2020-06-28 17:45:14
1756
1
原创 记一次百亿级es数据性能优化-未完成
先说结论和todo结论：todo：1.SSD没发挥性能问题问题继续测试2.数据分片数量&大小对性能影响3.行业对比，es最快就只能达到1亿1s的性能吗？正好赶上一个规模比较大的项目，2000多台机器，所有组件及任务日志全部都要采集，我们采用的方案是Elasticsearch+logstash+filebeat的方案。在项目上线一个月左右，出现了数据查询报错的问题，报错读超时...
2020-01-14 17:28:11
1813
原创 hyperledger cello 0.9.0 项目部署总结
花了小两天时间来尝试cello项目，这个项目可以解决fabric自动部署和一定程度运维管理的问题。但结果不太好，项目最新发布版本0.9.0，正在开发1.0.0版本；下载代码，将版本切到0.9.0，官方攻略写的很见到，就下载代码，make，启动；然而坑却非常之多。https://hyperledger-cello.readthedocs.io/en/latest/setup/set...
2019-11-28 14:45:41
1648
5
原创 2000节点集群 监控系统优化
某项目主机节点数2k，基于Hbase+Phoenix监控系统经历调优，满足项目需求，每天采集监控指标数2亿。hbase采用2 master，8regionserver配置，主机配置 256G内存，与其他服务共用。...
2019-11-22 15:25:47
476
原创 java.net.SocketException Connection reset by peer socket write error
移动总部项目进行“配置分发滚动重启”功能测试，节点1800+，准备测试重启200节点，窗口设置为50，测试发现任务创建失败。任务创建为rest服务调用execute服务的接口，其中rest服务直接报错，可以看到链接被reset，写数据错误“java.net.SocketException: Connection reset by peer: socket write error”，具体报错如下...
2019-11-22 14:47:52
3692
原创 hbase 队列满导致问题解决
自从升级到了beh8.0后，3台实体机，机器配置128G*3, hbase经常性出现队列堆积；出现队列堆积后，hbase服务基本处于拒绝服务的状态，产品对应监控服务停摆。修复方式，首先关闭监控指标采集服务，避免造成更严重的后果。此时按理来说应该等待服务消化堆积的队列数据，但是据几次观察，发现服务队列堆积没有缓解，判断是服务已经停止服务，最起码是regionserver停止了服务。此...
2019-11-22 14:39:48
2815
原创 基于hbase2.1.3编译phoenix 5.0.0蹚坑记录
应公司要求，组件版本升级，hadoop3.1.0，hbase2.1.3，背景见《hadoop3.0升级可研》。因为我们的产品监控是基于phoenix实现，hbase版本升级首先带来的就是phoenix版本升级，目前官方最高版本为基于hbase2.0的phoenix5.0版本，没有提供基于hbase2.1版本，故只能自己编译。先下载phoenix5.0.0-hbase2.0 tag代码, 打包编...
2019-03-22 15:02:19
3128
7
原创 某故障管理平台架构
ELKB相关技术不再赘述。重点说明Spark，图数据库相关内容。1.故障引擎故障引擎基于Spark Streaming进行实现，实时拉取kafka中数据进行处理，比对规则图谱数据，对发现的问题进行告警。告警数据存储在图数据库neo4j中。2.规则提取日志数据存储在ES,HDFS中，通过spark core，spark mlib对日志进行统计，聚类，分类处理，获...
2019-03-08 16:15:24
582
原创 hadoop3.0升级可研报告及个人方案
xx总部项目，节点数众多，数千，甲方要求版本也极其凶残，遂某公司大数据组件发行版需升级组件版本如下：hadoop 3.1.2hive 3.1.0hbase 2.1.2spark 2.3.0一。hadoop版本hadoop作为基础版本，虽然17年12月已经发布3.0.0 ga版本，但到目前未听闻大规模生产环境使用案例。（孤陋寡闻）3.1.2版本为19年2月6日...
2019-03-08 16:03:09
1024
原创 区块链调研汇总
文章背景时间 18年7月份，政策前夜。。周六下午和lj沟通后，开始调研布洛克城和eos，由于之前听过喜马拉雅的一个系列，对于区块链有一定了解，目前来看区块链一共分三个阶段，比特币，以太坊，eos。eos号称解决了区块链性能问题，所以技术上有一定先进性。但eos的创建者BM貌似有点不靠谱，前面已经创建过两个项目，但后来都退出了。一、区块链概念虽然具备区块链一定只是了解，但...
2019-03-06 10:54:41
1101
原创 区块链项目相关问题汇总
1.区块链项目是否必须开源，以及开源抄袭问题yoyow目前一直没完全开源，有地址，但是东西不多。https://github.com/yoyow-orgyoyow底层采用的是石墨烯技术。这与bts的底层是一样的。bm开发的技术还是有点信心的。基于石墨烯也保证了yoyow的交易速度，而且将来迁移到eos也很容易。bm现在在忙着eos，而根据eos的描述，将来eos产品问世的时候，性能将十分惊...
2019-03-06 09:42:21
879
原创 以太坊geth部署
1主机设备 IP HOSTNAME USERNAME 172.16.xx.170 tuijian007 tuijian 172.16.xx.153 tuijian005 tuijian ...
2019-03-05 13:46:48
1577
转载 go-ethereum代码阅读环境搭建
go-ethereum源码解析因为go ethereum是最被广泛使用的以太坊客户端， 所以后续的源码分析都从github上面的这份代码进行分析。搭建go ethereum调试环境windows 10 64bit首先下载go安装包进行安装，因为GO的网站被墙，所以从下面地址下载。https://studygolang.com/dl/golang/go1.9.1.windows-amd64...
2019-03-05 11:11:40
460
转载 geth启动流程分析
geth是我们的go-ethereum最主要的一个命令行工具。 也是我们的各种网络的接入点(主网络main-net 测试网络test-net 和私有网络)。支持运行在全节点模式或者轻量级节点模式。 其他程序可以通过它暴露的JSON RPC调用来访问以太坊网络的功能。如果什么命令都不输入直接运行geth。 就会默认启动一个全节点模式的节点。 连接到主网络。 我们看看启动的主要流程是什么，涉及到了那...
2019-03-05 11:10:45
797
转载 公信宝区块链技术和应用白皮书
公信宝区块链技术和应用白皮书(V2.0.0)I.摘要大数据时代已经来临，万物互联的时代也已不远，人类社会生产、获得和处理数据的能力已经远超过去。通过对数据的合理应用，我们对世界的认识、对商业和社会活动的规划，对需求的响应，对人与人的协作都将会提升到一个新的高度。近几年来，随着互联网的高速发展和信息技术的普及应用，各个行业和机构所产生的数据呈爆炸性增长，对于全社会来说，这是一个在不断膨胀的...
2019-03-05 10:54:34
1223
原创 go语言首战-自动招聘工具aiBoss
最近招聘招的焦头烂额，还有比较大的业务压力；决定写个自动化筛选的工具，正好最近准备进军go语言，所以决定用go写。目前支持学历，学校(985,211)，专业，薪资，经验等方面的筛选，并进行主动沟通。源码地址 https://github.com/worgent/recruit-assistant按照惯例，现在github上搜一下，果然有，一个哥们求职写的boss直聘自动回复的...
2019-03-04 15:20:45
419
原创 BEH-Execute分布式调度引擎
背景1.ssh安全性问题，2.docker，mesos云化系统支持问题3.执行效率问题，尤其是大规模集群(超过50台)，比如服务启动，目前全部需要中心server调动。4.执行效果问题，目前的执行是触发式的(同步方式)，只能获得ssh的执行结果，不能获得具体任务的执行结果。还是以服务启动为例，只能知道启动脚本的调用结果，无法获知每种角色的具体执行情况。一.说明...
2019-03-04 11:39:49
792
原创 k8s环境 hbase服务异常排查-regionserver重复注册问题
一个regionserver 注册了两次，主机名和ip 各一次，引起hbase(phoenix)服务异常。先说下基础环境，zk，hbase部署在k8s，hdfs物理部署。beh-manager(简称manager)管理所有组件。manager死活连不上hbase服务，仔细查看报错，发现域名对应的ip地址有问题，已经不是当前了，log显示为192.168.217.27，实际已经变为192.1...
2019-03-04 10:33:52
1120
原创 k8s calico网络排错2
解决了跨node的pod连通性，接下来面临新问题，首先是nodeport只对pod所在node能够访问。http://dockone.io/question/1504参考上面链接，执行sudo iptables -P FORWARD ACCEPT初步解决该问题，hadoop001的还是不行报错如下：Chain KUBE-SERVICES (2 references)target...
2018-11-14 19:23:22
1633
原创 k8s calico网络排错
本地三个节点搭k8s，结果前两个节点的pod互通，第三个节点不能与前两个的pod通信。查看路由，发现第三个节点没有建立通信的路由。 hadoop002节点路由详情，加粗为路由详情。hadoop003无此路由。 [root@hadoop002 beh]# routeKernel IP routing tableDestination Gateway Genmask Fla...
2018-11-14 19:21:42
7572
原创 k8s本地开发-telepresence
解决了k8s集群网络以及组件镜像的问题；接下来开始正式开发。 开发之前经历了种种之后觉得，开发工作量不大，但是调试部署的工作量实在是巨大，光是制作和上传镜像都是分钟级，再加上k8s替换pod也是分钟级，这些操作放在一起，基本上运气好5分钟，运气不好15分钟；操作复杂度还很高，还需要人来盯着，实在是耗神耗力，不解决这个问题，接下来的开发注定是场苦难。 首先想到的还是devops，但卡...
2018-11-14 19:19:38
2213
原创 yarn部分指标详解-allocated，pending，reserved
应广东联通项目的需求，近日bm增加了yarn队列监控，监控最小粒度到队列和用户。使用过程中，局方提出指标具体含义的问题，这些指标的含义官方没有具体介绍，最好在hortonworks的介绍文档中找到，分享如下。yarn pending reserved allocate Containers •Allocated – Containers which have been created with r...
2018-03-21 11:18:04
4047
原创 phoenix调优小记
从17年调优到了18年，数据从100机器每天1200万，不到两星期累加到了小2个亿数据。数据插入和查询效率都很低。1.5 15:520: jdbc:phoenix:localhost:2181> select count(*) from METRIC_RECORD;+-----------+| COUNT(1) |+-----------+| 34244885 |+---------
2018-01-08 16:29:07
4244
1
原创 kerberos管理开发总结
从10月23日左右，到10月27日搬完代码，到今天11月20日；小一个月已经过去了；kerberos管理所花的时间超出了我的预期。当然，中间出了很多七七八八的是，干扰了开发。比如，xjl事件，联通总部数据域项目，以及一些其他的事情。好在现在基本开发完了，还有一些小瑕疵，可留在后续解决，现在急需对过去一月的工作进行总结整理。通过这次开发，大量借用ambar
2017-11-21 15:19:55
2868
原创 minerd解决随记
万恶的minerd挖矿木马，手段很高明，彻底根治比较难，先写个定时脚本压制下。核心命令ps -ef|grep "./minerd"|awk '{print $2}'|xargs kill修改定时任务# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# |
2017-09-28 10:49:24
333
原创 java.net.UnknownHostException 错误排查
x帅timeline项目起不来，连接phoenix的时候，报错java.net.UnknownHostException: beh，此错误以前遇到过，没有深入研究，大概上是因为无法找到hdfs的主机，一般上这个地址是在hdfs-site.xml和core-site.xml配置中配置的。本机测试，发现没有问题，然后采用对比排除法（即逐步对比x帅的配置与自己的配置），最后因为这个坑，导致自己在替换的过程
2017-09-22 15:47:16
35022
原创 JSCH kerberos 连接配置
近日产品要支持kerberos， 测试过程中经常会出现，需要输入kerberos用户名的情况，debug跟踪，发现为jsch在远程连接的时候会进行认证2017-09-13 10:04:22.391 DEBUG 13148 --- [nio-8080-exec-4] c.b.m.rest.base.util.JSchConnection : connect,172.16.31.165,ha
2017-09-19 13:53:17
1585
原创 phoenix kerberos 连接配置
近日产品要支持kerberos，除了集群组件要支持外，产品依赖的phoenix也要支持。接下来进行测试。集群内主机用sqlline连接，没有问题。代码连接，添加principal出现问题
2017-09-19 13:49:17
5617
原创 一个斜杠引起的血案
别名 spring boot 问题一则项目中使用spring boot框架，需要使用外部配置，使用spring.config.location配置来进行目录设置，未设置具体文件。 具体脚本如下：#!/bin/bashBEH_HOME=$(cd `dirname $0`/..;pwd)echo "$BEH_HOME"JAVA_OPTS="-server -Xms512m -Xms4096m
2017-09-19 13:48:05
532
原创 hadoop集成kerberos错误排查-Failed to find any Kerberos tgt
hdfs分发完keytab然后启动，发现报错 hdfs GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)][hadoop@hadoop167 conf]$ kinit -k -t /opt/beh
2017-09-05 11:00:23
34078
10
原创 hadoop集成kerberos错误排查-core dump
最近研究kerberos，刚开始安装就遇到了个棘手的问题，core dump了。 好些年不写c程序，这东西还真有点陌生。[root@hadoop165 ~]# service krb5kdc startRedirecting to /bin/systemctl start krb5kdc.serviceJob for krb5kdc.service failed because a fata
2017-08-29 10:54:32
2623
转载 Ambari——大数据平台的搭建利器之进阶篇
前言本文适合已经初步了解 Ambari 的读者。对 Ambari 的基础知识，以及 Ambari 的安装步骤还不清楚的读者，可以先阅读基础篇文章《Ambari——大数据平台的搭建利器》。Ambari 的现状目前 Apache Ambari 的最高版本是 2.0.1，最高的 Stack 版本是 HDP 2.2。 未来不久将会发布 Ambari 2.1 以及 HDP 2.3（本文也将以 Ambari
2017-08-18 11:42:20
1167
1
转载 Ambari 服务配置以及 Alert 详解
Ambari 最新动态2015 年，Ambari 发展的比较快，最新的发布版本已经是 2.1.1，而且马上将要发布 2.1.2 版本。 与之前版本相比较，Ambari增加了对一些最新版本操作系统的支持，同时也不再支持一些过时版本的操作系统。例如不再支持 RHEL/CentOS/OEL 5，增加了对 RHEL/CentOS/OEL 7 的支持。Ambari 在 2.1 中也更新了 JDK 的支持版本
2017-08-17 13:36:31
5373
1
原创 ambari-phoenix监控数据查看方法
近日在研究ambari项目，需要查看下ambari的监控数据的具体情况。1.查看ambari项目对应的phoenix版本为4.4.0.2.3.4.0-3347。 <properties> <!-- Needed for generating FindBugs warnings using parent pom --> <!--<yarn.basedir>${project.pare
2017-08-15 10:28:47
2847
1
原创 ambari 安装服务分析
本文主要讲解ambari是如何安装一个服务的，这会涉及到ambari的资源请求， 请参看《ambari-server- 资源provider》，《ambari-server-资源请求分析》。测试安装oozie&falcon，ambari会发送如下请求。1.新建服务Request URL:http://172.16.31.181:8080/api/v1/clusters/pezy_cluster01
2017-08-11 11:24:18
820
原创 ambari 资源创建代码分析
本文以添加服务接口为例进行讲解，下面的数据为添加OOZIE，FALCON服务时调用的接口。Request URL:http://172.16.31.181:8080/api/v1/clusters/pezy_cluster01/servicesRequest Method:POSTdata: [{"ServiceInfo":{"service_name":"OOZIE"}},{"ServiceI
2017-08-10 13:24:39
464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人