- 博客(9)
- 收藏
- 关注
RSS订阅转载 Hadoop 参考（持续积累。。。）
一、开发环境，基于2.6.0Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置hadoop2.6.0的eclipse插件编译和设置Hadoop2.5 Eclipse插件制作、连接集群视频、及hadoop-eclipse-plugin-2.5.0插件下载 hadoop2.6-eclipse插件链接：http://pan.baidu.com/s/1bn8Nm
2015-04-19 15:19:46
234
原创 公众号开发初体验
最近有空玩了玩公众号，个人感觉公众号的生态控制的很不错，有闭有开，通过api接口可以让服务方接入较丰富的功能。虽然生态好，但各种限制也让人蛋碎，有意思的接口和玩法都要先做认证。 先来理解一下怎么接入吧。申请到公众号后，还需要做开发者认证，这个不难点点，按部就班。在开发者模式下需要配置你与微信对接的消息处理服务。微信会将开放的请求都转发到这个服务地址上。这个服务地址上GET和POST请求分别完
2015-03-24 11:20:27
327
原创 nutch的一些基础整理
一、关于配置文件：nutch-default.xml：爬虫的默认配置。在${nutch_home}/conf目录。nutch-site.xml：理论上是nutch-default.xml的覆盖。core-default.xml, hdfs-default.xml, mapred-default.xml：用于配置 Hadoop，与 hadoop-core-xxx.jar 相关。m
2015-03-22 18:18:01
419
原创 如何开始NUTCH
1、下载2、编译3、运行3.1 注入种子$ bin/nutch inject Usage: InjectorJob [-crawlId ] 3.2 爬去$ bin/crawl Missing seedDir : crawl 3.3 拆看爬去结果$hbase shell$scan 'crawlId_webpage'
2015-03-21 11:26:40
450
原创 mongoDB学习笔记3--python下使用
把常用的方式写出来了，比较简单，一看就明白了.........#!/usr/bin/env python#coding=utf-8from pymongo import Connectionimport datetimeclass MongoDBTest: def __init__(self): self.ConnectionToDB() def ConnectionToDB(self): print "Connection to db svr" se
2010-06-15 15:39:00
987
原创 mongoDB学习笔记2--安全认证
Mongodb默认启动是不带认证的，也没有账号，只要连接上服务就可以查询。启用安全认证的MongoDB服务：mongod.exe --auth--dbpath c:/data/db说明：运行—auth参数时，必须通过认证才可以查询数据。如果没有加—auth参数，即使配置了安全认证用户，也不需要认证谁都可以查询。配置安全认证用户：运行bin/mongo.exe> use admin> db.addUser("a", "1")认证：> db.auth("a", "1")查询已添加的用户：db.system.us
2010-06-15 15:26:00
1287
原创 mongoDB学习笔记1--安装
简单来讲，当然是在windows下试验比较好．所以先下载一个新版本吧http://www.mongodb.org/display/DOCS/Downloads第一次使用方式：这种安装是个相当简单的活，几下几步骤：1．创建数据库存储,例如：c:/data/db2．解压下载的.zip包到任意，最好是不包含中文或空格的目录3．在命令行下转到mongodb的目录4．执行bin/mongod run --dbpath c:/data/db到这一步已经完成了，如果要了解详细的启动参数可以在命令行输入“bin/mongo
2010-06-13 10:49:00
532
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人