- 博客(1036)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Flink源码剖析：Jar包任务提交流程
Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3)1Flink run 提交Jar包流程分析首先分析run脚本可以找到入口类CliFrontend，这个类在main方法中解析参数，基于第二个参数定位到run方法:try { // do action...
2021-01-19 21:19:00
950
原创 Flink基础：时间和水印
往期推荐：Flink基础：入门介绍Flink基础：DataStream APIFlink基础：实时处理管道与ETLFlink深入浅出：资源管理Flink深入浅出：部署模式Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析本篇终...
2020-11-14 23:36:00
1368
5
原创 Flink基础：实时处理管道与ETL
往期推荐：Flink基础：入门介绍Flink基础：DataStream APIFlink深入浅出：资源管理Flink深入浅出：部署模式Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析Flink的经典使用场景是ETL，即Extra...
2020-11-11 21:23:00
665
原创 《大画汽车：图解汽车奥秘》—— 读书笔记
——图片来自绿洲·AE86 ——本书是看过最浅显易懂的汽车书了，从汽车发展的历史，讲到发动机、变速箱等重要组件，从汽车行驶到安全，最后介绍了汽车的设计与制造流程，整体对汽车的认识更近了一步。1 汽车的发展马车时代：最初的车辆源自于马车，由马牵引两轮的车辆行驶，因此当时的车夫和马匹是最重要的交通组成。蒸汽机时代：18世纪西方进入蒸汽机的时代，英格兰人利用煤炭将水烧开，...
2020-10-14 08:14:00
500
原创 Flink深入浅出: 资源管理(v1.11)
—— 图片来自 《国家地理中文网》——往期推荐：Flink深入浅出：部署模式Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在资源管理上可以分为两层：集群资源和自身...
2020-10-13 08:13:00
337
原创 Flink深入浅出: 应用部署与原理图解(v1.11)
往期推荐：Flink深入浅出：内存模型Flink深入浅出：JDBC Source从理论到实战Flink深入浅出：Sql Gateway源码分析Flink深入浅出：JDBC Connector源码分析什么是Flink 之 架构篇什么是Flink 之 应用篇Flink在1.11版本新增了一种部署模式，目前支持三种：Session 模式、Per job 模式、Applicati...
2020-10-10 17:46:00
309
原创 Kubeflow实战: 入门介绍与部署实践
更多内容关注专辑:机器学习实战1 介绍Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合，内部集成的方式融合机器学习中的很多领域的开源项目，比如Jupyter、tfserving、Katib、Fairing、Argo等。可以针对机器学习的不同阶段：数据预处理、模型训练、模型预测、服务管理等进行管理。只要安装了k8s，可以在本地、机房、云环境中...
2020-08-07 22:10:00
8312
3
原创 来自马铁大神的Spark10年回忆录
本篇分享来自Martei在Spark AI Submit 2020的开场分享。马铁是谁什么！你不知道马铁是谁？Martei Zaharia（说实话，不知道谁给起的中文名字叫马铁，跟着叫就是了），现任Databricks的CTO，也许Databricks你也不是很熟，Spark总是听过的吧？可以说Spark就出自Martei之手，项目开源后组了个公司专门基于Spark提供企业服务。...
2020-07-27 22:10:00
388
原创 Spark 3.0 新特性 之 自适应查询与分区动态裁剪
Spark憋了一年半的大招后，发布了3.0版本，新特性主要与Spark SQL和Python相关。这也恰恰说明了大数据方向的两大核心：BI与AI。下面是本次发布的主要特性，包括性能、API、生态升级、数据源、SQL兼容、监控和调试等方面的升级。本次主要整理了性能方面的优化，包括了自适应查询与动态分区裁剪。1 自适应查询AQE，Adaptive Query Execution，说的...
2020-07-26 17:43:00
665
原创 《Tornado介绍》—— 读后总结
《Tornado介绍》—— 读后总结 posted @ 2019-01-24 08:29 xingoo 阅读(...) 评论(...) 编辑 收藏
2019-01-24 08:29:00
225
原创 基于TensorFlow的深度学习系列教程 2——常量Constant
基于TensorFlow的深度学习系列教程 2——常量Constant 前面介绍过了Tensorflow的基本概念，比如如何使用tensorboard查看计算图。本篇则着重介绍和整理下Constant相关的内容。基于TensorFlow的深度学习系列教程 1——Hello World!常量的概念在tensorflow中，数据分为几种类型:...
2019-01-05 17:19:00
658
原创 深度学习Tensorflow生产环境部署（下·模型部署篇）
深度学习Tensorflow生产环境部署（下·模型部署篇） 前一篇讲过环境的部署篇，这一次就讲讲从代码角度如何导出pb模型，如何进行服务调用。1 hello world篇部署完docker后，如果是cpu环境，可以直接拉取tensorflow/serving，如果是GPU环境则麻烦点，具体参考前一篇，这里就不再赘述了。cpu版本的可以直接...
2019-01-03 21:05:00
5628
1
原创 深度学习Tensorflow生产环境部署（上·环境准备篇）
最近在研究Tensorflow Serving生产环境部署，尤其是在做服务器GPU环境部署时，遇到了不少坑。特意总结一下，当做前车之鉴。1 系统背景系统是ubuntu16.04ubuntu@ubuntu:/usr/bin$ cat /etc/issueUbuntu 16.04.5 LTS \n \l或者ubuntu@ubuntu:/usr/bin$ uname -m &a...
2019-01-03 20:21:00
718
原创 Crontab和sudo中无法使用TensorFlow ImportError libcublas.so.9.0
最近因为特殊的原因重新安装了python，但是引发了一个很严重的问题——TensorFlow不好使了。比如我下面这个执行文件test.py：import tensorflow as tfprint(tf.__version__)得到的结果：ubuntu@ubuntu:~/workspace$ sudo python test.pyTraceback (most recent ...
2019-01-02 21:27:00
263
原创 基于TensorFlow的深度学习系列教程 1——Hello World!
最近看到一份不错的深度学习资源——Stanford中的CS20SI：《TensorFlow for Deep Learning Research》，正好跟着学习一下TensorFlow的基础，还是收获颇丰，随手整理成博客随时翻阅。为什么选择TensorFlow?自从12年AlexNet获得ImageNet大赛的冠军后，深度学习开始流行起来，也因为硬件的快速发展GPU并行计算配合易...
2018-12-23 14:37:00
199
原创 想要接触人工智能吗？先要学会如何阅读论文
凭借着对算法和AI的向往，终于有机会接触到人工智能的领域。现在的主要工作就是在OCR文字识别，期间也看了不少的论文，从CTPN到Faster RCNN，再到EAST和FOTS。最开始因为刚接触这个领域，很多名词看不懂，论文阅读非常吃力，后来随着知识的积累和深入，现在阅读也变得轻松起来。最近关注爱可可老师的微博，刚好发现了这篇文章——《How to Read a Paper》，感觉非常适...
2018-12-22 17:15:00
222
原创 《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记
《数据挖掘与数据化运营实战 思路、方法、技巧与应用》—— 读书笔记 第一章 什么是数据化运营 posted @ 2018-12-09 20:27 xingoo 阅读(...) 评论(...) 编辑 收藏 ...
2018-12-09 20:27:00
1520
原创 《新参者》—— 读后总结
“新参者”在日语中是新加入的人的意思，在这里指代两个人，一个是书中的死者三井峰子；一个是刑警加贺恭一郎。三井峰子刚刚来到人形町附近就被杀害、而加贺恭一郎因工作原因被降职到人形町，通过与当地居民的聊天接触，从家长里短的聊天中发现了事情的真相。其中有很多感人的小故事，虽然最终证实都与凶案无关，但是每个细节都排除了一种作案动机，思路非常巧妙。不在现场时间错乱的保险销售员保险员从死者家...
2018-11-23 22:13:00
822
原创 《增长黑客》—— 读后总结
《增长黑客》—— 读后总结 之前读到四分之三的时候，手机丢了，无奈放弃微信读书就没继续读；后来换了手机，终于把这本书给续上了。第一章 增长黑客的崛起第二章 创造正确的产品第三章 获取用户第四章 激发活跃第五章 提高留存第六章 增加收入第七章 病毒传播第八章 完整案例附录——关注的指标...
2018-11-16 22:36:00
2945
原创 在Java Web中使用Spark MLlib训练的模型
在Java Web中使用Spark MLlib训练的模型 PMML是一种通用的配置文件，只要遵循标准的配置文件，就可以在Spark中训练机器学习模型，然后再web接口端去使用。目前应用最广的就是基于Jpmml来加载模型在javaweb中应用，这样就可以实现跨平台的机器学习应用了。训练模型首先在spark MLlib中使用mllib包下的逻...
2018-11-15 21:35:00
917
原创 《百面机器学习》—— 读后总结
《百面机器学习》—— 读后总结 posted @ 2018-10-27 15:52 xingoo 阅读(...) 评论(...) 编辑 收藏
2018-10-27 15:52:00
4017
1
原创 《歪笑小说》—— 读后总结
《歪笑小说》—— 读后总结 之前很少接触写作的人或者说周围很少有专职写作的人，因此没有想过作家的世界。通过这本书算是看到另一个陌生又残酷的世界，而这样的世界其实也存在于每个领域。出版社的角度对于出版社来说，最主要的目的其实还是为了赚钱，那么怎么赚钱呢？—— 当然是出畅销的书当然最赚钱啦，但是书在面世之前，是不知道能否热销的。因此最简单的方...
2018-10-26 22:14:00
496
原创 《影响力》—— 读后总结
《影响力》—— 读后总结 这本书在很久以前就想读了，一直到今天才读完，最大的感触就是：平时生活中容易陷入的陷阱在这里都做了科学的解释和论证。尤其是在买东西的时候，可以多一些谨慎，多买一些更有价值的东西，不能被别人的销售技巧给套住。粗略总结互惠：别人在想要你帮忙或者想要你买东西的时候，往往会先给一些优惠。套用那句俗语“那人家的手短，吃人家的...
2018-10-20 12:05:00
976
原创 《Opencv 3 计算机视觉 python语言实现》· 第二遍 —— 读后笔记
《Opencv 3 计算机视觉 python语言实现》· 第二遍 —— 读后笔记 概览代码实战https://github.com/xinghalo/ml-in-action/tree/master/book-opencv posted @ 2018-10-16 19:32 xing...
2018-10-16 19:32:00
232
原创 程序猿的日常——工作中常用的Shell脚本
程序猿的日常——工作中常用的Shell脚本 工作当中总是会有很多常用的linux或者命令，这里就做一个总结文件远程拷贝如果想把文件从本机拷贝到远程，或者从远程下载文件到本地。# 把本地的jar拷贝到远程机器xxxip的/home/source目录下scp a.jar root@xxxip:/home/source# 拷贝远程的文件到本...
2018-10-11 21:38:00
900
原创 《放学后》—— 读后总结
《放学后》—— 读后总结 这本书看了之后很上瘾，两三天就看完了，故事很反转，结局让人不知所措...故事梗概女子高中老师前岛最近发现有人想要谋杀他，幸好都躲过去了，比如差点在浴室被电死、差点被楼上掉落的花瓶砸死...直到有一天，前岛训练完射箭社后回到更衣室，发现教导主任村桥老师死在更衣室内。男性更衣室被一根木棒抵住，女更衣室虽然跟男更衣室一...
2018-10-07 00:04:00
611
原创 《美团机器学习实践》—— 读后总结
《美团机器学习实践》—— 读后总结 从9月23日开始整理思维导图，前前后后半个月左右，收获确实比第一次阅读要多一些，以后会尽量按这种方式阅读，提高效率。第一章 问题建模第二章 特征工程第三章 常用模型第四章 模型融合第五章 用户画像第六章 POI实体链接第七章 评论挖掘第八章 O2O场景下的查询理解和用户引导第...
2018-09-23 11:58:00
289
原创 MSRA-TD5000数据集使用详解
MSRA-TD5000数据集使用详解 中文检测的数据集，目前最火的应该是清华的CTW，https://ctwdataset.github.io/ 但是它的数据集只存储在微云和google driver，微云空间受限不能完全保存，所以下载的时候很蛋疼。我这边就挑了一个相对较小的数据集——MSRA TD5000，这个数据集支持中英文的倾斜文本检测。...
2018-09-03 18:06:00
537
1
原创 2017CS231n学习笔记——计算机视觉的概述
2017CS231n学习笔记——计算机视觉的概述 本节课主要讲述了cs231n课程的背景和计算机视觉的历史，也主要介绍了目前很重要的一个计算机视觉数据集——IMAGENET。更多内容参考我的AI学习之路课程简介这门课程是由stanford大学计算机视觉李飞飞以及她的学生制作的，也叫做CS231n，是偏专业性的深度学习+计算机视觉课程。目...
2018-09-01 15:37:00
210
原创 Java几种单例模式的实现与利弊
Java几种单例模式的实现与利弊 饿汉式提前new出来实例了，并不是在第一次调用get方法时才实例化，没有进行延迟加载public class Singleton1 { private static Singleton1 instance = new Singleton1(); private Singleton1(){}...
2018-09-01 10:34:00
146
原创 python项目实现配置统一管理的方法
python项目实现配置统一管理的方法 一个比较大的项目总是会涉及到很多的参数，最好的方法就是在一个地方统一管理这些参数。最近看了不少的python项目，总结了两种很有意思的配置管理方法。第一种 基于easydict实现的配置管理首先需要安装numpy、easydict以及yaml：pip install numpy pip install...
2018-08-23 18:20:00
1491
原创 我的AI之路 —— OCR文字识别快速体验版
我的AI之路 —— OCR文字识别快速体验版 OCR的全称是Optical Character Recoginition，光学字符识别技术。目前应用于各个领域方向，甚至这些应用就在我们的身边，比如身份证的识别、交通路牌的识别、车牌的自动识别等等。本篇就先讲一下基于开源软件和大厂服务的文字识别效果，后续会陆续讲解一下机器学习和深度学习实现的方案和原...
2018-08-09 22:44:00
386
原创 吴恩达机器学习笔记 —— 13 支持向量机
本章讲述了SVM，相比于《统计学习方法》，从逻辑回归的角度更容易理解了。更多内容参考 机器学习&深度学习从逻辑回归来看，看损失值与Z的值的关系：代入原来的是指，可以化简公式：总结来说：如果y=1，我们希望z的值大于等于1，如果y=0，我们希望z的值小于-1，这样损失函数的值都会为0.线性可分的决策边界：但是这种情况对于异常点是非常敏感的，比如有一个红点，那么...
2018-08-04 20:25:00
175
原创 吴恩达机器学习笔记 —— 18 大规模机器学习
吴恩达机器学习笔记 —— 18 大规模机器学习 本章讲了梯度下降的几种方式：batch梯度下降、mini-batch梯度下降、随机梯度下降。也讲解了如何利用mapreduce或者多cpu的思想加速模型的训练。更多内容参考 机器学习&深度学习有的时候数据量会影响算法的结果，如果样本数据量很大，使用梯度下降优化参数时，一次调整参数需要计...
2018-08-04 09:59:00
163
原创 我的AI之路 —— 从裸机搭建GPU版本的深度学习环境
我的AI之路 —— 从裸机搭建GPU版本的深度学习环境 之前一直在CPU上跑深度学习，由于做的是NLP方向所以也能勉强忍受。最近在做图像的时候，实在是扛不住了...还好领导们的支持买个虚拟机先体验下。由于刚买的机器，环境都得自己摸索，瞎搞过很多次，也走过很多弯路，所以我就记录下从裸机安装深度学习环境的正确过程。（全程root用户哦！）裸机简介...
2018-08-02 21:33:00
917
原创 吴恩达机器学习笔记 —— 17 推荐系统
吴恩达机器学习笔记 —— 17 推荐系统 本章讲述了推荐系统相关的知识，比如基于内容的推荐算法、基于协同过滤的推荐算法以及实践中遇到的问题。更多内容参考 机器学习&深度学习推荐系统是机器学习在工业界应用最广泛的方向，很多电子商务类、咨询类的平台都在做个性化推荐的工作，通过机器学习的算法让自己的平台个性定制，千人千面。比如我们拥有...
2018-08-01 21:03:00
255
原创 吴恩达机器学习笔记 —— 16 异常点检测
吴恩达机器学习笔记 —— 16 异常点检测 本篇介绍了异常点检测相关的知识更多内容参考 机器学习&深度学习我感觉这篇整理的很好很用心，可以详细参考：https://blog.csdn.net/Snail_Moved_Slowly/article/details/78826088什么是异常点检测？比如针对飞机的引擎做测试，x1代表...
2018-07-31 20:59:00
287
原创 吴恩达机器学习笔记 —— 15 降维
吴恩达机器学习笔记 —— 15 降维 本章重点讲述了降维方法以及其中最主要的PCA主成分分析的原理、使用更多内容参考 机器学习&深度学习降维的作用：数据压缩与可视化降维的第一个作用就是进行数据的压缩，解决磁盘和计算的问题。比如把二维数据降维到一维：或者数据从三维降维到2维。降维的另一个作用就是进行可视化，比如我们的数据有很...
2018-07-30 20:18:00
272
原创 吴恩达机器学习笔记 —— 19 应用举例：照片OCR（光学字符识别）
吴恩达机器学习笔记 —— 19 应用举例：照片OCR（光学字符识别） 本章讲述的是一个复杂的机器学习系统，通过它可以看到机器学习的系统是如何组装起来的；另外也说明了一个复杂的流水线系统如何定位瓶颈与分配资源。更多内容参考 机器学习&深度学习OCR的问题就是根据图片识别图片中的文字：这种OCR识别的问题可以理解成三个步骤：文本...
2018-07-26 20:34:00
473
原创 吴恩达机器学习笔记 —— 14 无监督学习
吴恩达机器学习笔记 —— 14 无监督学习 本章讲述的是第一个无监督的机器学习算法，在无监督的算法中，样本数据只有特征向量，并没有标注的y值。比如聚类算法，它可以用在市场分类、社交网络分析、天体数据分析等等。更多内容参考 机器学习&深度学习在做聚类时，最简单的算法就是k-means，一般的流程是:首先随机选择k个聚类中心点遍历...
2018-07-25 21:25:00
157
jmeter详细使用教程
2013-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人