- 博客(39)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 JVM入门
堆新生代， 老年代， 根据对象存活的年龄划分产生新的对象都会放在新生代的Eden Space区域。 垃圾回收，会 清理一部分对象，剩下的幸存者 放到 From Space（To Space是用来做腾挪用的） 经历了15次（可配置）回收，还幸存的 ，放到老年代里。 判断是否是垃圾：1.看对象B是否被对象A引用， 如果是，那么说明 B上有引用，说明B不是垃圾。 （有一个缺点：如果A，B互相
2017-03-24 20:56:43
270
原创 NIO入门笔记01
传统的I/O与NIO区别传统的I/O（同步阻塞的IO）：使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:File.read(fileDesc, buf, len); Socket.send(socket, buf, len); 会有较大的性能开销, 主要表现在一下两方面: 1. 上下文切换(context switch), 此处有4次用户态和内核态的切换
2017-03-18 18:00:58
290
原创 3-3序列化（Hadoop系列day03）
序列化概念序列化（Serialization）： 把结构化对象转化为字节流。反序列化(Deserialization)： 序列化的逆过程，即把字节流转回结构化对象。java序列化（java.io.Serializable）—-标记类型的接口，实现它并没有实现任何方法。只是告诉虚拟机，这个对象可以序列化。 不仅保存序列化信息，还要保存集成结构。Hadoop没有使用这套序列化机制。
2016-10-23 21:35:21
319
原创 3-2MR第一个例子（Hadoop系列day03）
一行数据解析为一个key-value,每个key-value调用一次map方法。启动HDFS、启动YARM（MapReduce运行在YARM上） 边解析，边运行： —并不是把文件内容全加载到内存再执行Map，，，是一边加载，，一边Map client向RM发送一个RPC请求（client告诉RM他要提交一个作业）RM返回给client一个JobId和一个存放jar包的路径
2016-10-23 20:26:19
335
原创 3-1MR介绍（Hadoop系列day03）
MR是什么MR是一个 分布式计算编程模型Google在2004年提出来MR模型，后来Hadoop借鉴了。我们通过他提供的一些接口和类就可以实现分布式计算。MR解决了海量数据的计算。 （Map并行计算；Reduce汇总） MR概述 用户只要写Map和Reduce的实现就可以了。 MR的输入和输出都是key、value对。 Hadoop1.0时代： MR老大叫JobTracker
2016-10-22 19:24:09
368
原创 爬取校内网早操刷卡记录
httpClient方式package com.jiuzhouchedai.qqhru;import java.io.IOException;import java.io.InputStream;import java.net.HttpURLConnection;import java.net.MalformedURLException;import java.net.ProtocolExc
2016-10-07 18:55:09
1066
原创 access_token
知识点 access_token是公众号的全局唯一票据，公众号调用各接口时都需使用access_token。开发者需要进行妥善保存。access_token的存储至少要保留512个字符空间。access_token的有效期目前为2个小时，需定时刷新，重复获取将导致上次获取的access_token失效。微信公众号只识别最新的access_token。 接口调用请求说明： http请求方式:
2016-10-04 21:50:34
468
原创 6.图文回复（微信公众号开发实战）
导入jar包： dom4j-1.6.1.jar xstream-1.3.1.jar上传两个图片： 00.jpg 11.pngBaseMessagepackage com.jiuzhouchedai.po;public class BaseMessage { private String ToUserName; //开发者微信号 private String FromUserN
2016-10-04 18:37:10
468
原创 5.使用 公众平台测试账号 进行开发（微信公众号开发实战）
由于个人号微信提供的接口太少。 以后开发在测试号中进行开发测试。下面是使用 测试号 的方法。
2016-10-04 17:08:31
314
原创 5.使用 公众平台测试账号 进行开发（微信公众号开发实战）
由于个人号微信提供的接口太少。 以后开发在测试号中进行开发测试。下面是使用 测试号 的方法。
2016-10-04 17:08:15
331
原创 4.第二个小程序（微信公众号开发实战）
导入jar包： dom4j-1.6.1.jar xstream-1.3.1.jarTextMessagepackage com.jiuzhouchedai.po;public class TextMessage { private String ToUserName; //开发者微信号 private String FromUserName; //发送方帐号（一个Open
2016-10-04 16:54:32
1085
1
原创 3.消息类型（微信公众号开发实战）
消息类型文本消息-text图片消息-image语音消息-voice视频消息-video链接消息-link地理位置消息-location事件推送-event（事件推送又分为三个） — 关注-subscribe — 取消关注-unsubscribe — 菜单点击-CLICK、VIEW
2016-10-04 14:04:42
574
原创 2.第一个小程序（微信公众号开发实战）
项目结构导入jar包：dom4j-1.6.1.jar xstream-1.3.1.jar话不多说，直接上代码。TextMessagepackage com.jiuzhouchedai.po;public class TextMessage { private String ToUserName; //开发者微信号 private String FromUserName;
2016-10-04 13:52:51
475
原创 1.开发模式接入（微信公众号开发实战）
准备阶段1.公网ip，域名，服务器 2.有一个自己的微信公众号服务器绑定公众号公众平台URL 写项目的入口。 token随便写一个，要和自己服务器代码中的token一致。等搭建完毕自己的服务器再点击提交。服务器代码package com.jiuzhouchedai.servlet;public class weixinServlet extends HttpServlet { public
2016-10-04 13:41:55
340
原创 1.1-Hive入门（Hive系列）
什么是Hive Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和
2016-10-03 10:12:47
277
原创 什么是Lucene，什么是Nutch
什么是LuceneLucene是java实现的、成熟的、开源免费的、 高性能、可伸缩、 可以为你的应用程序添加索引和搜索能力的 信息搜索（IR）库。注： 1.Lucene是一个IR库，而不是一个现成的产品。 Lucene是一个软件库，一个开发工具包，而不是一个具有完整特征的搜索应用程序。 Lucene本身只关注文本的索引和搜索，并且这些事情它完成的非常好。 把复
2016-10-03 09:33:46
478
原创 通过javaAPI来运行exe文件
package dsa;import java.io.IOException;public class runexe { public static void main(String[] args) throws IOException { Runtime.getRuntime().exec("C:/Users/centos/AppData/Roaming/baidu/Baidu
2016-10-01 16:22:02
286
原创 lucene第一个小程序
建立索引package dsa;import java.io.File;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.standard.StandardAnalyzer;import org.apache.lucene.docume
2016-10-01 15:53:19
240
原创 pdf转txt第一个小例子（PDFBOX）
注：不适用于扫描版不能和图片。package dsa;import java.io.File;import java.io.FileOutputStream;import java.io.OutputStreamWriter;import java.io.Writer;import org.apache.pdfbox.pdmodel.PDDocument;import org.apache
2016-10-01 15:46:01
544
转载 Apache PDFbox开发指南之PDF文本内容挖掘
转载请注明来源：http://blog.csdn.net/loongshawn/article/details/51550383相关文章：《Apache PDFbox开发指南之PDF文本内容挖掘》《 Apache PDFbox开发指南之PDF文档读取》1、场景说明上一篇文章《Apache PDFbox开发指南之PDF文档读取》讲述了如何读取PDF文档的内容，但这并不
2016-10-01 14:46:45
818
转载 Apache PDFbox开发指南之PDF文档读取
转载请注明来源：http://blog.csdn.net/loongshawn/article/details/51542309相关文章：《Apache PDFbox开发指南之PDF文本内容挖掘》《 Apache PDFbox开发指南之PDF文档读取》1、介绍Apache PDFbox是一个开源的、基于Java的、支持PDF文档生成的工具库，它可以用于创建新的PDF
2016-10-01 14:38:55
660
原创 2-7HDFS读取数据过程（Hadoop系列day02）
首先得到FileSystem类 通过get()方法。（读取配置信息，反射） 构建了一个DistributedFileSystem 调用 initialize()方法, 构建了DFSClient对象，作为DistributedFileSystem的成员变量DFSClient通过Hadoop的代理机制得到$Proxy代理对象 通过这个代理对象获得块信息
2016-09-25 16:03:47
276
原创 2-5HDFS的java接口（Hadoop系列day02）
java接口操作hdfs新建项目java project 保证jdk版本和以后Linux中jdk版本一直（大版本一致即可）导入jar包new folder lib 将jar包放在这个lib文件夹下 build path开始写程序 新建HDFSDemo类FileSystem 类 —org.apache.hadoop.fs (是一个抽象类，不能new)下载文件下载的简洁写法上传文
2016-09-24 19:01:35
221
原创 2-4.HDFS原理2（Hadoop系列day02）
块存放位置关于副本假如有一个保存副本的服务器宕机了。这个块就剩2份了。这个时候怎么办？ 宕掉一个，那副本的数量就小于默认配置的数量。NameNode就会给一些机器下发一些命令，让他把数据块再复制一份。 NameNode是怎么检测到机器宕掉的？ 答： 是通过一个心跳机制，小弟（DataNode）会主动将信息汇报给老大（NameNode），如果一个小弟长时间没有和老大联系，那么老大就认为这个小弟宕
2016-09-24 18:10:25
299
原创 2-3HDFS原理（Hadoop系列day02）
hdfs架构Metadata–>元数据元数据信息， 内存保留一份，磁盘保留一份 （为了快速读取，保存在内存； 为了防止丢失，序列化到硬盘一份）元数据存储细节元数据存储细节： 文件名，几个副本，分成几块，每块存放在哪台主机上 namenode是啥 namenode维护文件路径树。接收客服端请求。操作datanodefsimage:元数据镜像文件（内存中的元数据序列化到磁盘上的文件）NameNo
2016-09-24 17:42:33
280
原创 2-2.1.Hadoop2.0x HDFS shell命令（Hadoop系列day02）
Hadoop2 HDFS shell命令 1. hdfs dfs -appendToFile ... 可同时上传多个文件到HDFS里面 2. hdfs dfs -cat URI [URI ...] 查看文件内容 3. hdfs dfs -chgrp [-R] GROUP URI [URI ...] 修改文件所属组 4. hdfs df
2016-09-23 18:25:25
662
原创 2-2.HDFS的shell操作（Hadoop系列day02）
oohdfs：建立在Linux系统之上的一个分布式文件系统 通过命令行的方式来操作hdfs查看是否启动Hadoop 关闭Hadoop 单独启动hdfs查看启动的服务查看hdfs根目录查看hdfs根目录（简写）hdfs的管理界面Linux上文件上传到hdfs查看hdfs根目录的某个文件的内容分页查看hdfs根目录的某个文件的内容查看hdfs根目录下文件（包括文件夹中的文件），文件夹（包括文件
2016-09-23 18:06:02
704
原创 2-1.HDFS原理（Hadoop系列day02）
思考：自己设计一份分布式文件系统hdfs有两种角色： namenode， datanode. (secondarynamenode先不考虑)一个namenode，多个datanode。 namenode相当于仓库管理员，维护自己的一个账本datanode相当于仓库，负责存储数据client相当于送货员a.log:100M 货物 客户端向namenode发送一个上传数据的请求 name
2016-09-23 16:15:33
272
原创 1-7.配置ssh免密码登陆配置和ssh原理（Hadoop系列day01）
问题： 启动需要多次输入密码 关闭也需要输入多次密码 (需要输入密码的原因是底层走的是ssh协议) 一台机器给另一台机器发送命令，如果走的是ssh协议，必须输入密码，即使是ssh给本机发送指令 解决方式： 配置ssh免密码登陆配置 ssh: secure shell 安全的shell命令 SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利
2016-09-21 21:39:23
306
原创 1-5.将Hadoop添加到环境变量，初始化HDFS,启动Hadoop，测试hdfs（Hadoop系列day01）
>>将Hadoop添加到环境变量1.[root@itcast01 Hadoop]# vim /etc/profile2.#打开这个文件之后，在文件末尾添加以下代码（上次配置的JDK也在下方写了出来）export JAVA_HOME=/uer/java/jdk1.7.0_60export HADOOP_HOME=/itcast/hadoop-2.2.0export PATH =$PATH
2016-09-21 11:33:01
2412
原创 1-4.Hadoop安装配置-伪分布式（Hadoop系列day01）
http://archive.apache.org/dist/ （apache所有的项目都在这里）下载Hadoop到WindowssecureCRT 有上传功能 上传Hadoop到Linux，解压到指定目录上传成功！创建存放目录，解压到此目录 配置Hadoop修改的第一个配置文件 修改第二个配置文件 修改第三个配
2016-09-20 21:57:45
283
原创 1-3.linux下安装JDK（Hadoop系列day01）
复习： HDFS解决海量存储 MapReduce解决海量计算 YARN–其他计算模型也可以运行在YARN上伪分布式： Windows下装VM-启动起来-修改主机名、IP-关闭防火墙-修改主机名和IP的映射关系接下来-[安装JDK]=>1.下载jdk=》2.上传JDK >>方式一：设置共享文件夹（仅适用于虚拟机） Windows和虚拟机都可以访问这个共享文件夹>>方式二：上传到Linux
2016-09-19 21:36:45
272
原创 1-2.伪分布模式安装步骤（Hadoop系列之day01）
伪分布模式安装步骤关闭防火墙修改IP修改hostname设置ssh自动登录安装jdk安装Hadoop关闭防火墙如果是对外网提供服务的，当然不能关闭防火墙，容易被别人搞死。 那么Hadoop为什么要关闭防火墙呢？ 因为Hadoop集群一般是公司内部使用。公司内部有多台节点，通信需要占用端口，如果防火墙把那个端口保护起来，就没法进行通信了。/** 如果不想关闭防火墙，那么还有另外一
2016-09-19 12:48:47
369
原创 1-1.什么是Hadoop（Hadoop系列day01）
一：简介*1. 什么是Hadoop* What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.根据Hadoop官网介绍。Hadoop是一个开源的，分布式的，可靠的，灵活的 计算系统。很多大公司都
2016-09-18 21:51:27
322
空空如也
webClient模拟登录网站报错
2016-10-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人