- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 用Java实现WordCount
题目有一个文件，里面每一行都是一个IP地址，要对所有IP进行统计，并按降序排列。（先不考虑内存不够的情况）思路这个题，在不考虑内存不够的情况下，其实是很简单的，主要涉及到的知识点有两个： * Java IO * Comparator先看代码然后来看知识点代码 public static void wordCountAndSort() throws IOException {
2017-12-13 23:30:13
3630
原创 leetcode 33. Search in Rotated Sorted Array
原题描述Suppose an array sorted in ascending order is rotated at some pivot unknown to you beforehand.(i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1 2).You are given a target value to search. If found in th
2017-10-27 23:31:33
260
原创 Spark源码走读（三） —— Stage的划分和提交
Stage的划分继续上节的分析。handleJobSubmitted的源码如下：private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], callSite:
2017-10-22 23:06:52
313
原创 Spark源码走读（二） —— Job的提交
import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args: Array[String]) { if (args.length == 0) { System.exit(1) } val conf = new SparkConf().setAppName
2017-10-20 21:54:55
307
原创 Spark源码走读（一） —— Spark应用提交流程
Spark应用是使用spark-submit脚本提交，脚本内容如下，可知该脚本把SparkSubmit类作为参数传给spark-class脚本 略去spark-class脚本上面的加载配置等步骤，发现这里使用launcher.Main启动SparkSubmit的执行从而启动应用。 SparkSubmit中的main函数，主要是解析参数，根据参数执行不同行为。 submit函数主要分两步： 1、为提
2017-10-14 22:20:17
312
翻译 Spark学习（一）—— 论文翻译
Spark学习（一）—— 论文翻译================================弹性分布式数据集：基于内存集群计算的容错抽象摘要 我们提出了弹性分布式数据集（RDDs），一个让程序员在大型集群上以容错的方式执行基于内存计算的分布式内存抽象。RDDs是启发于两类用当前计算框架处理不高效的应用程序：迭代算法和交互式数据挖掘工具。这二者在内存中保存数据性能能
2016-04-10 20:53:52
2496
2
原创 数据结构之重要树总结（红黑树、B/B+树等）
众所周知，二叉树在数据结构中的分量举足轻重。之所以分量如此重，是因为在实际中有很多情况用此数据结构会产生很多好处。本文主要对二叉搜索树、平衡二叉树、红黑树、B（B+、B*）树进行总结。
2014-08-16 14:38:17
4020
原创 关于MFC中数据库操作中遇到的问题：Microsoft C++ 在xxx内存处出现问题_com_error的另一解决方案
首先，描述一下我遇到的问题：我自己封装ADO，将其封装成数据库操作类，在调用连接函数没有问题，是连接上Access数据库的，但我在调用查询或者插入等操作函数时问题出现了，出现的就是标题中的问题，在网上找了很久没有跟我相同情况的，今晚我解决了这个问题，所以想和大家分享一下，希望可以帮到大家。我的问题出现的原因：是因为在不同函数中所用的类不是一个对象。假设我我的类如下：class A{
2013-12-06 23:03:34
1792
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人