- 博客(22)
- 资源 (5)
- 问答 (2)
- 收藏
- 关注
RSS订阅转载 urllib2请求csdn时，显示： urllib2.HTTPError: HTTP Error 403: Forbidden
转载自：原文章 https://www.douban.com/note/131370224/出现urllib2.HTTPError: HTTP Error 403: Forbidden错误是由于网站禁止爬虫，可以在请求加上头信息，伪装成浏览器访问#伪装浏览器头headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Window
2016-01-25 16:15:11
709
转载 Python字符编码详解
转载自：点击打开链接 http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html1. 字符编码简介1.1. ASCIIASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的
2016-01-25 10:38:23
590
转载 使用Python Pandas处理亿级数据
转载自：http://www.justinablog.com/archives/1357在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类
2016-01-17 15:36:55
2539
原创 ubuntu 14.04 改网卡IP为静态IP
自己的网卡为eth21.$sudo ifdown eth2 //取消激活网卡，此时ifconfig将不会显示eth2 的信息2.修改/etc/network/interfaces这个文件auto eth2iface eth2 inet staticaddress 192.168.1.10 //静态IP地址netmask 255.255
2016-01-15 22:18:23
563
转载 静态语言和动态语言的区别
转载自：http://www.cnblogs.com/spmxlBlog/archive/2010/06/28/1766832.html一 、静态语言的优势到底在哪？来自robbin 摘自 http://www.javaeye.com/article/33971?page=7引用是像Java或者C＃这样强类型的准静态语言在实现复杂的业务逻辑、开发大型商业系统、以
2015-11-01 16:10:25
690
转载 HBase数据迁移（3）-自己编写MapReduce Job导入数据
转载自：http://www.importnew.com/3912.html（xukaics：这片文章主要针对的是，将hdfs中的数据迁移到Hbase中。不是之前大多数网上将HBase数据读出，再写入Hbase中）自定义Mapper，直接将数据写入到Hbase中，原文章不得转载，自己去看吧。
2015-10-27 13:53:43
361
转载 zookeeper简介 和 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
转载自：http://www.open-open.com/lib/view/open1415453633887.html转载自：http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html阅读目录1、 文件系统2、 通知机制1、 命名服务2、 配置管理3、 集群管理分布式与数
2015-10-22 22:39:06
1156
转载 ClassLoader 详解及用途
转载自：http://blog.chinaunix.net/uid-21227800-id-65885.htmlClassLoader主要对类的请求提供服务，当JVM需要某类时，它根据名称向ClassLoader要求这个类，然后由ClassLoader返回这个类的class对象。 1.1 几个相关概念ClassLoader负责载入系统的所有Resources（Cla
2015-10-19 15:36:23
306
转载 详解java类的生命周期（笔者按自己知识量有少量添加）
转载自：http://www.2cto.com/kf/201204/129386.html引言 最近有位细心的朋友在阅读笔者的文章时，对java类的生命周期问题有一些疑惑，笔者打开百度搜了一下相关的问题，看到网上的资料很少有把这个问题讲明白的，主要是因为目前国内java方面的教材大多只是告诉你“怎样做”，但至于“为什么这样做”却不多说，所以造成大家在基础和原理方面的知识比较匮
2015-10-18 22:20:39
379
转载 数据库稠密索引与稀疏索引
转载自：（原文档打不开） 百度快照显示的，请理解一、稠密索引如果记录是排好序的，我们就可以在记录上建立稠密索引，它是这样一系列存储块：块中只存放记录的键以及指向记录本身的指针，指针就是一个指向记录或存储块地址。稠密索引文件中的索引块保持键的顺序与文件中的排序顺序一致。既然我们假定查找键和指针所占存储空间远小于记录本身，我们就可以认为存储索引文件比存储数据文件所需存储块要少得多。
2015-10-17 14:59:36
2289
转载 Kafka文件存储机制那些事
转载自：http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了A
2015-10-17 14:56:42
502
原创 HBase完全分布式
一 实验环境：hadoop:pc1,pc2,pc3,pc4zookeeper:pc1,pc2,pc3。Hbase:pc1,pc2,pc3(集群结构，主节点(hmaster)是pc1，从节点(region server)是pc2,pc3)。二 修改配置文件：1.hadoop hadoop-env.sh：export HADOOP_CLASSPATH=$HBASE_HO
2015-10-10 09:22:15
537
转载 HBase的原理
从大家最熟悉的客户端发起请求开始讲起吧，这样大家能够深有体会的逐步了解原理。比如我们发起了一条PUT请求，客户端首先需要查找到需要响应请求的REGION SERVER。 记录region->region server映射是由HBASE系统表.META.记录的。所以我们只要知道. META.表的位置就能知道 每个region响应的key的范围 和region所在机器。但是.META.表又保存在哪
2015-09-21 10:30:29
786
3转载 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”---（为何数据会显示最后一个和二次迭代时，数据消失）
为何数据会显示最后一个和二次迭代时，数据消失
2015-09-14 08:45:45
1085
curl-7.38.0.tar.bz2
2014-11-04
xtables-addons-2.6.tar
2014-11-04
有关openwrt做开发的提问。如果您了解openwrt，希望您能给出一些建议，谢谢啦
2014-09-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人