- 博客(3)
- 收藏
- 关注
RSS订阅原创 Docker+Spark+Jupyter=文本数据处理逻辑测试平台容器化
写在前面之前写过一篇“Spark+Jupyter=在线文本数据处理逻辑测试平台” [http://www.jianshu.com/p/bbd4190089e7] 这几天要把这玩意儿放到我自己的阿里云上线，供一些正在学习Python文本处理的基友们试用，然后按着之前的步骤又配了一次环境。这台服务器配置渣网速慢，光编译scipy就假死了好几次。就算有着自己写的教程一步步来都要烦死了。
2016-08-04 15:24:36
1135
1
原创 Spark+Jupyter=在线文本数据处理逻辑测试平台
最近在学习Spark，除了原生的Scala以外，Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台，其中用到的numpy，scipy，matplotlib，pandas等文本/数据处理库让我觉得如果能和pyspark结合说不定是个不错的组合——可以直观的测试代码逻辑，比起shell不知道要高到哪里去了。
2016-08-04 15:23:59
2159
原创 谈谈exifread
在公司的时候曾经遇到过一个需求，需要读取用户上传的图片的exif信息并写入到数据库的一个tag里面，由于网站是基于Django搭建的，所以在Python.org上找到了这个exifread插件，功能简单粗暴：提供图片路径作为参数，返回所有的exif信息 然而在将返回的exif信息转化为json的时候出现了问题，可能是因为返回的并不全是字符串信息。所以就加了一个小功能，将返回的exif信息
2015-09-17 00:54:50
3146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人