- 博客(27)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Kafka Connect JdbcSinkConnector的schema处理
1.使用Confluent Schema Registry 在写入kafka时，就用Avro、Protobuf 或 JSON Schema的converter进行schema的转换。kafka connect当写入到Mysql这类的关系型数据库时，使用JdbcSinkConnector，且kafka中的数据需要具备schemas，否则是无法写入的。使用JdbcSourceConnector接入数据时，就使用AvroConverter进行处理，并指定schema.registry的服务器。
2023-06-16 00:23:07
1481
原创 Spark On kubernetes连接kerberos认证的hive
Spark通过yarn、kubernetes连接kerberos 认证的Hive
2023-05-15 10:30:56
590
原创 在子进程中创建sharedMemory所导致的异常
为了防止内存泄露，目前的multiprocessing模块，当一个process在创建sharedMemory和semaphore时，如果父进程没有resource tracker,则会创建一个属于本process的resource tracker。这种pattern会导致一个问题，就是当使用multi process-multi consumer模型的时候，如果没在main process先初始化一个resource tracker，会导致不同的process有不同的tracker。这样会有什么问题呢
2022-05-03 17:21:05
547
原创 关于numpy的多线程计算
numpy在启动时默认会启动与逻辑cpu数量一致的计算线程，但是通过测试表明，这个线程的数量恐怕并不合适1.OMP_NUM_THREADS是openmp设置线程数的环境变量，openmp是numpy科学计算库openblas需要使用的2.关于OMP_NUM_THREADS对性能的影响，我自己对于我们的计算模块做了一些测试。设置不同的OMP_NUM_THREADS，这里仅列出几组数据。由于测试环境的cpu有40个逻辑核心，不设置时numpy的一个进程会产生40个线程。可以看到默认情况下有大量
2021-10-24 16:52:34
5288
1
原创 A股3年杂谈
很久很久没有写博客了，一方面是由于工作繁忙，另一方面也是自己懒，工作累了以后更是啥都不想做，天天宅在家里打游戏，也没出门锻炼，最近开始有点反思这样的生活，要开始改变一下了。我很喜欢的一句话是，今天不做的事，明天也不会做了，所以便从今天晚上开始做吧https://blog.csdn.net/im_cheer/article/details/89898519 这篇随笔是19年5月份写的，到今天已经一年半有余，看过去还是感触良多。那时候的自己只有20W的仓位，或许手上还有个十几万的资金？加起来估计也就30来.
2021-01-16 18:40:26
133
3
转载 (转）Java 内存分配全面浅析
转载于https://blog.csdn.net/shimiso/article/details/8595564本文将由浅入深详细介绍Java内存分配的原理，以帮助新手更轻松的学习Java。这类文章网上有很多，但大多比较零碎。本文从认知过程角度出发，将带给读者一个系统的介绍。进入正题前首先要知道的是Java程序运行在JVM(Java Virtual Machine，Java虚拟机)上，可以...
2019-08-01 01:00:02
166
原创 Elasticsearch内存优化
众所周知ES的java heap通常设置为32G以下，因为大于某个阈值（根据系统不同而不同，根据oracle官网https://docs.oracle.com/javase/8/docs/technotes/guides/vm/performance-enhancements-7.html#zeroBasedCompressedOop最小可到26G），Zero-Based Compress...
2019-06-16 19:08:13
2371
1
原创 关于股市
昨天晚上美国对岸Trump一则推特，让今天的A股上证指数一度跌了6%，着实可怕，不过这次下跌，虽然自己也拿着20W左右的仓位，吃了1W3的下跌，但是心态很好，因为今年目前为止盈利还行，且还有很多仓位可以补仓，放一年前，这样大跌一下是受不了的。 炒股两年多来，最大的感受就是，中国的韭菜太多了，且不长记性，割不完的。并且让我感到很意外的是，很多高学历的人对于炒股这件事也像上了年纪的大...
2019-05-07 00:19:32
187
1
原创 基于log的数据同步与算法
At its heart a Kafka partition is a replicated log. The replicated log is one of the most basic primitives in distributed data systems, and there are many approaches for implementing one. A replicated...
2019-05-05 17:21:48
296
原创 关于磁盘随机读写与顺序读写
今天看kafka官网的文档，关于性能方面的讨论时，又提到了磁盘随机读写和顺序读写性能方面的事，借此机会整理一下。现在的大数据工具一般都会设计为append only的形式，既文件只能追加写，其它的删、改都只能建立在append only的基础上，如删一条数据只能append一个记录，把要删的数据标记为删除，而不能从磁盘中删除原数据，这样的机制主要就是尽可能保证磁盘是顺序读写。这里就有两个问题，...
2019-05-04 10:29:13
22698
4
转载 lucene字典Finite State Transducers(FST)和Postings List
下面内容转自http://www.cnblogs.com/LBSer/p/4119841.html以及https://blog.csdn.net/AAA821/article/details/82014792使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现...
2019-04-28 18:01:59
396
原创 shell是如何启动进程的
如图是一段shell脚本，这段程序，启动后会有5个进程(排除掉echo)：ping、循环体、sleep $2、sleep$1，以及test.sh进程自身。脚本名为test.sh，则对于其它4个进程来说，在test.sh执行完成之前，父进程就是test.sh，而当test.sh结束之后，父进程的ppid就变成了1.1是init进程，由内核创建，任何进程的父进程结束之后，子进程都不会被主动...
2018-12-19 16:27:23
4499
原创 对linux内核、用户空间、内核态、用户态的理解
首先，linux系统有内核和用户空间之分基本上可以理解成用户空间就是我们平常运行着的一个个的进程，而内核不是进程，内核是进程的管理者，同时有操作硬件的能力。内核还运行着一些内核线程（内核无内核进程的概念，内核线程主要做一些类似定时将页写回硬盘的操作，是守护线程）用户空间的程序想要操作硬件设备，就必须使用内核态来运行进程，要通过系统调用来从用户态陷入到内核态，然后进行系统调用操作硬件设备
2017-10-31 23:57:42
2520
转载 为什么内存映射要比IO读写更加快速
转帖：原帖地址http://blog.csdn.net/yangle4695/article/details/52139585常规文件系统操作（调用read/fread等类函数）中，函数的调用过程：1、进程发起读文件请求。2、内核通过查找进程文件符表，定位到内核已打开文件集上的文件信息，从而找到此文件的inode。3、inode在address_sp
2017-10-31 23:54:19
4649
原创 阿里菜鸟网络二面
原以为一面已经挂了。。没想到来了二面。但是估计二面真挂了。能过有鬼咯！有本事你就给我过啊，敢吗？！一上来问了项目的事，没什么多说的。然后是Collection定义了哪些接口？ final类的含义，JAVA异常分为RUNTIME和Checked异常。List的定义，Set的定义。set与list除了不能包含相同元素还有什么差别。Map的定义，如何实现Map，除了数组，用什么树实现Map好
2017-08-23 11:28:24
2496
转载 java动态代理（JDK和cglib）
原贴：http://www.cnblogs.com/jqyp/archive/2010/08/20/1805041.htmljava动态代理（JDK和cglib）JAVA的动态代理 代理模式 代理模式是常用的java设计模式，他的特征是代理类与委托类有同样的接口，代理类主要负责为委托类预处理消息、过滤消息、把消息转发给委托类，以及事后处理消息等。代理类与委托类之间通常会
2017-08-17 14:56:58
192
转载 java线程池
原贴地址：http://cuisuqiang.iteye.com/blog/2019372Java四种线程池的使用博客分类： JDKjava线程线程池监控 Java通过Executors提供四种线程池，分别为：newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。n
2017-08-16 19:39:43
144
原创 Mysql中的索引
Mysql中的索引，包含b+tree，hash索引，fulltext索引，R-tree索引四种。b-tree一个节点中包含n个关键字，则其可以有n+1个孩子，关键字既是分隔点。其中innodb默认的索引是b+tree。通过对b-tree的结构稍加改造，让所有与关键字关联的卫星数据放在叶节点中，内部节点只包含关键字和孩子指针，最大化了分支因子，来减少磁盘的IO（通过把尽量多的相同关键字域下的信息
2017-08-16 11:03:33
200
转载 InnoDB和MyISAM区别
作者：Oscarwin链接：https://www.zhihu.com/question/20596402/answer/211492971来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。区别：1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言
2017-08-16 10:38:19
639
转载 数据库事务的四大特性以及事务的隔离级别
原文地址：http://www.cnblogs.com/fjdingsd/p/5273008.html 本篇讲诉数据库中事务的四大特性（ACID），并且将会详细地说明事务的隔离级别。 如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下四个特性：⑴ 原子性（Atomicity） 原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客
2017-08-16 10:22:01
177
原创 阿里内推一面记录
晚上7点半，在实验室里学习ING，突然接到浙江杭州的电话，心里就觉得可能是阿里的电话面，果然。。本来水平就不高，没想过能直接内推，所以就当做一次锻炼吧，为之后的校招做好准备。最后面试官给出的评价是，基础不错，但是需要多见见世面，可以出去实习一下什么的问了很多问题，java虚拟机，java类，数据结构，算法，实际项目，数据库，场景题，记录一些答得不好的明天速度学习。java虚拟机问了
2017-08-15 20:42:33
932
转载 标签： javajvmjavadoc多线程object工作
原文：http://www.ibm.com/developerworks/cn/java/j-jtp10264/index.html多线程和并发性并不是什么新内容，但是 Java 语言设计中的创新之一就是，它是第一个直接把跨平台线程模型和正规的内存模型集成到语言中的主流语言。核心类库包含一个 Thread 类，可以用它来构建、启动和操纵线程，Java 语言包括了跨线程传达并发性约束的构
2017-08-15 16:48:18
143
原创 HashTable,HashMap,LinkedHashMap,TreeMap之间的区别。
HashTable是线程安全的，用了synchronized限制了每个方法，并且Key和Value都不能是Null.其它和HashMap没什么差别。Hashmap用对象的hashCode()对数组长度进行取模来决定放在哪个bucket中，并且1.8中当一个bucket中的链表过长是，该会转换成红黑树，变短时也会退化回链表。另一个区别是HashMap的迭代器(Iterator)是fail-f
2017-08-11 17:05:21
376
原创 java中的Observable
java中的Observable的实现除了notifyObservers方法中只用synchronized锁了部分代码块，其它方法都是同步的。public void notifyObservers(Object arg) { /* * a temporary array buffer, used as a snapshot of the state of
2017-05-28 14:50:12
858
原创 Django1.8静态文件配置
最近开始学一下网站的开发，用PYTHON+DJANGO，遇到得第一个问题就是静态文件的配置。 我将静态文件放在static文件夹里，并且与其他APP放在同一级目录下，DJANGO读取静态文件时会先搜索SETTINGS里 STATIC_ROOT设置的APP下的STATIC文件夹但是我并没有将STATIC放在APP里，所以要用STATICFILES_DIR将STATIC包含进去，才能在模
2016-03-30 12:48:37
263
空空如也
为什么有时候我的链接会部分被编码？
2016-12-21
安卓下建立socket就崩溃，分到子线程仍然不行，求助啊
2015-03-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人