- 博客(38)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【分布式服务】 RPC 示例（Protocol Buffer）
分布式服务 RPC 示例（Protocol Buffer）一、Protocol Buffer官网githubmvn依赖idea 插件 Protocol Buffer Editormac 安装brew install protobuf存根定义protobuf/service1.protosyntax = "proto3";/* 支持导入 */import "protobuf/test.proto";/* java 生成的包路径 */optio
2020-12-18 00:11:43
284
原创 【分布式服务】RPC 简介
分布式服务 RPC 简介一、简述wiki 介绍remote procedure callprocedure [prəˈsiːdʒə®] 过程subroutine [ˈsʌbruːtiːn] 子程序核心：像调用本地方法一样调用远程方法In distributed computing, a remote procedure call (RPC) is when a computer program causes a procedure (subroutine) to execute
2020-12-16 23:17:57
244
原创 【Java】ClassLoarder 加载 jar 包里面的 class
Java ClassLoarder 加载 jar 包里面的 class一、不同启动方式的测试代码ClassLoader cl = JarClApp.class.getClassLoader();String pkg = JarClApp.class.getPackage().getName();System.out.printf("Find pkg: %s, cl: %s %n", pkg, cl);String path = pkg.replaceAll("\\.", "/");URL res
2020-12-15 23:36:33
385
原创 【Hadoop】hive 简述及安装
Hadoop hive 简述及安装一、官网说明官网wiki文档-ConfluenceGetting StartedHomeThe Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.hive是一款软件，支持在大数据分布式
2020-12-15 00:45:31
423
原创 【分布式事务】Hmily Demo 使用实验（Spring cloud 版）
分布式事务 Hmily Demo 使用实验（Spring cloud 版）一、项目说明猫大人的开源项目之一github官网Hmily是一款高性能，零侵入，金融级分布式事务解决方案，目前主要提供柔性事务的支持，包含 TCC, TAC(自动生成回滚SQL) 方案，未来还会支持 XA 等方案。Spring Cloud 快速启动文档二、项目初始化拉取 hmily 最新源码，并编译git clone https://github.com/dromara/hmily.gitcd hmi
2020-12-10 22:42:48
1066
1
原创 【Hadoop】GC 一次 Hadoop MR GC 蛮神奇的
GC 一次 Hadoop MR GC 蛮神奇的1 说明发现在资源有限的情况下，还是蛮容易接触到很多的问题，蛮有意思的。这次主要是搭建了hadoop小环境，测试用，给的资源极少。1台机器 2C4G2 GC 异常Java heap space堆溢出，发生在 map 阶段这种一般发生在 Xmx 不够的情况下，yang区或者old区都塞不下新创建的对象了后来打了 GC 日志最后发生了好几次 Full GC 但是堆里面没啥东西，才 2%ps：写文章的时候才发现都是 Alloca
2020-12-09 23:28:30
459
原创 【Hadoop】Yarn 使用 FairSchedule 提交 mr 任务
Hadoop Yarn 使用 FairSchedule 提交 mr 任务1 默认调度说明打开 yarn 的 UI 界面 （默认是http://localhost:8088/cluster/nodes）在 Scheduler 中查看情况，默认是 Capacity Scheduler2 Fair Scheduler 配置修改官方配置说明etc/hadoop/yarn-site.xml<!-- Scheduler Config --><!-- Yarn 使用 Fa
2020-12-09 23:25:40
244
原创 【Hadoop】Yarn Scheduler 调度器简述
Hadoop Yarn Scheduler 调度器简述一、综述调度器职能调度程序负责将资源分配给正在运行的程序，遵循约束（容量、队列等）纯调度，不进行监控、跟踪不能保证重启失败的任务（程序故障、硬件故障）会基于应用程序的资源需求进行调度抽象了容器的概念 Container原文 it does so based on the abstract notion of a resource Container which incorporates elements such as memor
2020-12-08 00:30:31
201
1
原创 【分布式事务】常见分布式事务简述
常见分布式事务简述一、事务ACIDA 原子性 Atomicity 英[ˌætəˈmɪsəti]either all happen or none happen. These changes include database changes, messages, and actions on transducers.C 一致性 Consistency 英[kənˈsɪstənsi]A transaction is a correct transformation of the sta
2020-12-07 01:09:57
225
2
原创 【Hadoop】MR maptask 工作流程
Hadoop-MR maptask 工作流程RM 整体流程读取数据 k1,v1数据映射 k2,v2数据分区分区内排序分区内数据合并数据分组发送（shuffle）数据reduce数据输出保存maptask部分1个切片对应1个maptask一般是1个block对应1个切片读取对应切片的数据 k1,v1进行数据映射 k2,v2映射完的数据写入环形缓冲区，同时计算分区键。环形缓存区写满80%后，会将数据写入到临时文件，同时进行排序、合并。排序规则先按分区号，后按key。数据都
2020-12-06 23:25:56
766
原创 【大数据】Hadoop3集群搭建
Hadoop3集群搭建一、准备官方文档-Setting up a Single Node Cluster官网下载可以下载源码，下载后需要构建一下# 科学上网下载比较快，可以自己电脑下好了在上传到服务器wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-src.tar.gz# 解压文件tar -zxvf hadoop-3.3.0-src.tar.gz# maven构建也可以直接下载安
2020-12-06 21:05:12
219
原创 云集群搭建-创建阿里云实例
云集群搭建-创建阿里云实例从终端打开阿里云 云服务器 ECS 产品点击 实例-创建新实例 进入购买界面开始配置新实例付费模型：不长开机使用，可以选择按量付费地域：选择离使用地方近的就行实例：按需选择，共享型最便宜镜像：可以选择你喜欢的系统，我这就用阿里自己的了存储：看你要存多少数据，什么IO性能，单买数据盘也行（单独计费）网络：可以配置一个网段，后面机器都使用该网段公网IP：不常用按流量计费就行，如果你希望绑定一个固定的公网IP，可以后面自己配置弹性公网，此处
2020-12-06 21:03:11
726
1
原创 【JanusGraph入门】6-TinkerPop之Traversal简介
6-TinkerPop之Traversal简介网址官网文档一、Traversal简介遍历器Traversal<S,E>继承了迭代器的接口S stands for start 代表了开始对象的类型E stands for end 代表了结束对象的类型4大组件Step<S,E>一步an individual function applied to S to yield E. Steps are chained within a traversa
2020-09-10 13:58:07
287
原创 【Mybatis】4-SqlSource解析
4-SqlSource解析核心说明代码示例以下为脑图转文字主要模块SqlSource实现类DynamicSqlSource参数SqlNode rootSqlNodeStaticSqlSource参数String sqlList parameterMappingsRawSqlSource参数SqlSource sqlSourceSqlNode方法apply(DynamicContext dynamic
2020-09-08 23:15:31
221
原创 【Mybatis】MybatisV2版本基础, 基于V1提取框架
MybatisV2版本基础, 基于V1提取框架1.综述配置文件升级为 xml 格式使用面向过程方式优化代码使用面向对象思想构造配置类封装对象示例代码主体函数如下public class MybatisV2 { private static Configuration configuration; public static void main(String[] args) throws Exception { MybatisV2 mybatisV2 =
2020-09-06 22:37:09
107
原创 【Java】反射入口及常见对象
1-反射入口及常见对象java官方教程java官方结构图相关jar包说明java 相关源码在 JDK 包中可以看到rt.jarruntimejava 基础类库dt.jarDesignTime里面主要是 swing 相关的 BeanInfo 组件BeanInfo 可视化显示组件的配置相关tools.jar工具类包含 javac 相关从类解析看反射反射包：java.lang.reflect1. Class类获取的反射对象Field 字段Metho
2020-09-06 12:17:38
121
原创 【Redis】3-数据结构底层源码
3-Redis数据结构底层源码通过编码类型，我们就能看到，Redis 花费了大量的力气去收缩空间、提供效率1 底层 encoding 编码类型int 整数embstr 嵌入式字符串raw 原始字符串linkedlist 双向链表 (旧的)ziplist 压缩链表hashtable 哈希表skiplist 跳表intset 整数数组# 可通过如下命令在redis中获取对应对象的数据编码类型# object encoding xxx127.0.0.1:6379> object
2020-08-28 14:48:43
140
原创 【Redis】1-Redis简介及说明
1-Redis简介官网官网命令速查中文网内存计算器github简介官方简介Redis is an open source (BSD licensed)开源, 协议是 BSDin-memory data structure store内存存储used as a database, cache and message broker可用于数据库、缓存、消息队列谁再用Redishttps://techstacks.io/tech/redis5种基本数
2020-08-25 22:44:28
92
原创 【Redis】2-Redis基本数据结构
2-Redis基本数据结构5种基本数据结构String 字符串List 列表Hash 哈希Set 集合Sorted Set 有序集合1 String 字符串简单动态字符串 key:string基本用途key、value 数据库计数器基本操作单条操作 get/set批量操作 mget/mset过期操作 expire/ttl/pttl/setex计数操作 incr/incrby单条操作set key valueget key# 设置值127.
2020-08-24 13:42:59
88
原创 【JDBC】默写JDBC连接代码
默写JDBC连接代码默写流程核心流程// 1 加载驱动类// 2 获取连接// 3 SQL 预处理// 4 执行 SQL// 5 获取结果集// 6 关闭连接补全流程代码// 1 加载驱动类Class.forName("com.mysql.cj.jdbc.Driver");// 2 获取连接// 2.1 加载配置Properties prop = new Properties();prop.setProperty("user", "root");pro
2020-08-22 16:59:11
192
原创 【JanusGraph入门】5-TinkerPop-家族
5-TinkerPop-家族目标家族成员全貌每个成员都是做什么家族故事和背景家族全貌Blueprints, Pipes, Gremelin, Frames, Furnace, Rexster.家族成员1. 家族标志TinkerPop2. 绿色小精灵GremlinTraversalThe Graph Process图遍历处理小精灵带着口袋的小精灵可复制的小精灵控制台里面的小精灵$ bin/gremlin.sh \,,,
2020-08-21 13:29:38
220
原创 【Mybatis】2-基于JDBC改造, mybatisv1版本
基于JDBC改造, mybatisv1版本1.综述// 需求: 根据用户信息，查询用户列表// 1. 将JDBC中的硬编码，写入properties文件中// 2. 封装查询方法为查询列表函数代码示例2.业务流程// 1 加载配置文件loadProperties("mybatis.v1.properties");// 2 执行查询User query = new User();query.setName("测试");List<User> users = selectL
2020-08-20 23:26:10
165
原创 【JanusGraph入门】4-TinkerPop简介
TinkerPop简介简介TinkerPop什么是 TinkerPopApache TinkerPop™ is a graph computing framework for both graph databases (OLTP) and graph analytic systems (OLAP).他是 Apache 顶级项目他是图计算框架, 支撑图数据库(OLTP)、图分析系统(OLAP)有哪些项目在用 TinkerPopTinkerPop 成员网址官网官网文档
2020-08-20 13:52:57
888
原创 【AntV-图分析可视化】Graphin安装及介绍
1-AntV安装及介绍简介官网G6Graphin安装快速上手该演示版本比较低, 需要去 github 上安装最新的 @antv/graphin当前安装版本“@antv/graphin”: “^1.4.0”“@antv/graphin-components”: “^1.4.0”“antd”: “^4.5.4”,“react”: “^16.11.0”,“react-dom”: “^16.11.0”,“react-scripts”: “^3.4.3”建议使用 cnp
2020-08-16 21:13:10
3425
原创 【Mybatis】1-JDBC连接代码分析
1-JDBC连接代码分析1.jdbc代码使用// 加载驱动Class.forName("com.mysql.cj.jdbc.Driver");// 获取数据库连接Properties jdbcConfig = new Properties();jdbcConfig.setProperty("user", "root");jdbcConfig.setProperty("password", "password");Connection connection = DriverManager.g
2020-08-04 09:52:37
122
原创 【NLP入门】赛题1-新闻文本分类-Task5-基于深度学习的文本分类2-1Word2Vec
赛题1-新闻文本分类-Task5-基于深度学习的文本分类2-1Word2Vec本次任务四天完成赛题赛题讲解赛题数据讲解机器学习讲解深度学习-fastText深度学习-word2vec安装 pyTorch官网下载地址及安装说明跑程序先导入包import loggingimport randomimport numpy as npimport torchlogging.basicConfig(level=logging.INFO, format='%(asct
2020-07-31 13:33:13
553
原创 【JanusGraph入门】两点最短路径，基于OLTP，单源广度优先遍历
两点间最大路径实现，基于OLTP，单源1 函数介绍repeat 循环执行括号里面的遍历器，每个遍历分支都会有一个小精灵去跑sideEffect 额外处理内容，不会影响上个函数的返回值aggregate 聚合函数，基于sideEffect实现，可以通过 cap/select 取出emit 针对repeat的收集器，判断哪些路径需要收集，这个有待研究，和unitl/times 有很大的区别until 循环终止条件，与times不可同时使用times 循环终止条件，与until不可同时使用，只能传
2020-07-27 22:28:30
527
2
原创 【NLP入门】赛题1-新闻文本分类-Task04-基于深度学习的文本分类1-fastText
赛题1-新闻文本分类-Task04-基于深度学习的文本分类1-fastText本次任务两天完成赛题赛题讲解赛题数据讲解机器学习讲解深度学习-fastText目标学习FastText的使用和基础原理学会使用验证集进行调参跑fasttext模型代码数据预处理# 引入 Pandasimport pandas as pd# 读取数据train_set = pd.read_csv('./data/1/train_set.csv', sep='\t', nrows=15000
2020-07-27 21:58:25
311
原创 【NLP入门】赛题1-新闻文本分类-Task03-基于机器学习的文本分类
赛题1-新闻文本分类-Task03-基于机器学习的文本分类本次任务三天完成赛题赛题讲解赛题数据讲解机器学习讲解使用机器学习跑模型试试读取数据# 引入 Pandasimport pandas as pd# 读取数据train_set = pd.read_csv('./data/1/train_set.csv', sep='\t')# 看一下数据的前几行train_set.head()基于机器学习的文本分类# Count Vectors + RidgeClassi
2020-07-25 21:58:05
218
原创 【NLP入门】赛题1-新闻文本分类-Task02-数据读取及初步分析
赛题1-新闻文本分类-Task02-数据读取及初步分析今天主要是代码向# 引入 Pandasimport pandas as pd# 读取数据train_set = pd.read_csv('./data/1/train_set.csv', sep='\t')# 看一下数据的前几行train_set.head()# 数据分析# 1 赛题数据中，新闻文本的长度是多少？# 2 赛题数据的类别分布是怎么样的，哪些类别比较多？# 3 赛题数据中，字符分布是怎么样的？# 句子长度分析t
2020-07-22 23:39:51
195
原创 【NLP入门】赛题1-新闻文本分类-Task01-赛题理解
赛题1-新闻文本分类-Task01-赛题理解赛题赛题讲解赛题环境安装下载 anaconda 地址现在官网就可以直接下载了目前我装的是 py3.7装好之后可以使用 jupyter 进行可视化开发1 读取数据# 引入 Pandasimport pandas as pd# 读取数据# 数据分隔符 \t# \t 水平制表(HT) （跳到下一个TAB位置）train_set = pd.read_csv('./data/1/train_set.csv', sep='\t')
2020-07-21 23:22:52
242
原创 【JanusGraph入门】（第三天，先从Core包开始）
20200709 第三天 先从Core包开始JanusGraph Core|_ example/ 示例，演示诸神图谱|_ core/ 核心包， 例如：继承TinkerPop图结构的 JanusGraph，JanusVertex等 还有自己的类 SchemaManager JanusGraphQuery 等|_ diskstorage/ 磁盘存储相关 Backend 这个类感觉满关键的 Orchestrates and configures all backend
2020-07-10 00:00:44
312
2
原创 【JanusGraph入门】（第二天，了解概况）
20200708 第二天 JanusGraph了解概况上手开始一步步看源码时，第一块先了解一下软件背景、软件结构、软件功能、软件工具、设计思路，第二块对源码结构进行拆分，可以参考他人的源码分析。JanusGraph 官网1 看看有哪些特点scalable 可伸缩transactional 支持事务 ACIDOpen source 开源，这就不多说了Data Storage 支持的存储库Apache CassandraApache HBaseGoogle Cloud Bigtable
2020-07-09 01:35:10
287
原创 【JanusGraph入门】（第一天，下载项目）
20200707 第一天 下载项目fork 了一下仓库https://github.com/guangyuzhihun/janusgraph/tree/v0.3阅读目的实际项目中用到了，希望通过源码解决十亿级别快速入数问题，项目是 3.1 的所以看一下最近的源码 3.4 的JanusGraph 作为分布式图数据库，而且是开源的，那么作为以后想搞好图数据库这块，还是需要看一下该类型数据库的设计及源码（Neo4j作为原生图存储的开源的社区版也要看）今天收获clone 项目和下载 pom
2020-07-08 00:46:48
238
原创 Azkaban-搭建及任务编写
Azkaban-搭建及任务编写目录常用网址软件安装下载及构建独立运行集群运行Job编写Flow编写常用网址官网文档软件安装下载及构建下载地址构建# Build and install distributions./gradlew installDist独立运行下载项目源码# 可直接克隆项目git clone https://github.com/azkaban/azkaban.git# 或者下载最新的稳定版源码wget https://
2020-06-27 23:04:50
364
原创 阿里云安装 minikube v1.9.2
阿里云安装 minikube v1.9.2日期：2020年5月6日一、环境阿里云 centos8 2c4g二、安装dockercentos官方安装教程 https://docs.docker.com/engine/install/centos/国内阿里云centos8安装参考资料 https://yq.aliyun.com/articles/748412安装完后可做的操作 http...
2020-05-06 22:54:49
2686
原创 mybatis详解（原理、常用配置、源码、案例、相关工具）
mybatisv20190523目录一、框架概述 二、Mybatis概述 三、Mybatis开发 四、mybatis-config.xml 五、Mybatis源码专题 六、关联查询/延迟加载 七、动态SQL 八、缓存 九、Mybatis相关工具和插件 十、扩展知识 十一、参考一、框架概述1 什么是框架？一个框架是一个可复用的设计构件 整体设计、依赖关系、...
2019-05-24 00:13:16
256
原创 IP地址基础
IP地址基础版本 v201904101 什么是IP地址1.1 维基说法互联网协议地址（英语：Internet Protocol Address，又译为网际协议地址）缩写为IP地址（英语：IP Address）， 是分配给网络上使用网际协议（英语：Internet Protocol, IP）的设备的数字标签1.2 简单说法 互联网 = 地球 IP地址 = 住址 ...
2019-04-10 13:49:02
447
mr word count 测试jar
2020-12-09
hadoop-3.3.0-src.tar.gz
2020-12-07
graphin-demo.zip
2020-08-16
kicbase_v0.0.8.tar.gz
2020-05-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人