Mr.Yun-CSDN博客

原创 python c++扩展入门(一图胜前言)

cmakelists.txt中编辑方式add_library(模块名 SHARED cpp/h文件路径)set_target_properties(模块名 PROPERTIES PREFIX “”)set_target_properties(模块名 PROPERTIES OUTPUT_NAME 模块名)...

2020-05-07 11:22:07 183

原创 CSDN-你防爬手段真的是弱爆了

早上闲来无事,给人回答问题,然后回答7,8个吧,接下来就出现,这个提示.还敏感词汇?你咋不上天呢?

2019-06-04 11:02:43 171

原创贴上一个mock小样例_

客串了一把测试工程师主要关于什么时候用retun_value,什么时候用side_effectclass Account(): list_a = [1, 2, 3, 4, 5, 6, 7, 8, 9] def get_account(self): return len(self.list_a)def _mock_get_account_side_effect(path

2017-08-11 10:17:51 278

原创 MapReduce_笔记1

Map Record reader:通过输入格式（inputformat）将输入split解析成记录，目的是将输入数据解析成记录，但不负责解析数据本身，将数据以键/值对的形式传送给mapper处理，通常“键”是数据在文件中的位置，值是组成的记录数据块。 Map：用户定义map函数通过处理Record reader处理的键/值，键/值得选择正确（即合理的inputformat）对

2016-08-16 19:42:42 342

原创 python_爬虫模拟登录微博

先附上源代码，随后得空再把开发思路附上 python_login_wiebops:在这吐槽下csdn的上传功能,传了3,4次没成功，我也是醉了

2016-03-24 16:36:44 604

原创用Python读写word

准备阶段本文使用的Python拓展包：python-docx 官方文件读word 代码如下# -*- coding: cp936 -*-import docxdocument = docx.Document(文件路径)docText = '\n\n'.join([ paragraph.text.encode('utf-8') for paragr

2016-03-14 17:50:56 24493 4

原创 Python_XlsxWriter_简介

XlsxWriter，可以生成excel文件（xlsx的哦），然后很重要的一点就是，它不仅仅只是生成数据，还能插入直方图，饼图….，使用条件格式，合并单元格等等这些操作。

2015-11-20 17:12:23 2476

原创 1.5 使用Sqoop从HDFS导出数据到MySQL

1.5 使用Sqoop从HDFS导出数据到MySQL

2015-11-03 14:38:19 4385

原创 1.4 使用Sqoop从MySQL数据库导入数据到HDFS

1.4 使用Sqoop从MySQL数据库导入数据到HDFS

2015-11-03 10:52:52 692

原创 1.2 使用Hadoop shell命令导入和导出数据到HDFS

使用Hadoop shell命令导入和导出数据到HDFS weblog_entries.txt

2015-11-03 10:08:02 9590

原创 Hadoop实战手册-学习记录

在这记录《Hadoop实战手册》（人民邮电出版社）书籍中的例子。这本书面对的人群就是”自学Hadood从部署hadoop集群环境+运行WordCount例子开始，而且大多数自学者也都终止在WordCount“后面会上传一份关于环境搭建的教程和已搭建好的环境。

2015-11-03 09:28:53 691

原创树莓派-迅雷远程下载

首先准备树莓派1个，U盘或者硬盘一个。然后先安装迅雷软件-下载接下来是安装步骤1.创建一个迅雷文件夹root@raspberrypi:/# mkdir xunlei2.然后将下载的迅雷文件压缩包解压到刚才创建的文件夹unzip 迅雷文件路径解压到的路径3.给文件赋权限chmod 0777 * -R4.这时候可以启动迅雷

2015-06-08 14:52:17 1562

原创搭建（win7）eclipse远程操作（Linux上）hadoop2.6.0_出错集

问题1：在DFS Lcation 上不能多文件进行操作：在hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： dfs.permissions false

2015-03-06 14:23:44 9216 2

原创编译Hadoop 2.6.0 的 eclipse插件

首先下载 hadoop2x-eclipse-plugin-master 先在 win7 下载 http://pan.baidu.com/s/1ntBmsDN解压hadoop2x-eclipse-plugin-master文件解压后将文件放入hadoop系统中（随便哪里）第二步：下载 eclipse（和win上的版本最好一致）安装方法如下http://b

2015-03-06 14:06:04 692 1