- 博客(111)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 IBM发布基于内存的人工智能计算架构
12月1日美国IBM公司发布消息称，该公司研究人员实现了在内存计算技术上的一次重大突破，发明了一种可以运行在100万个相变内存（PCM）上的无监督式机器学习算法，有望比传统计算机在计算速度和能耗利用效率方面提升200倍，非常适合实现人工智能应用中的高密度、低功耗、大规模的并行计算系统。这一成果发表在《自然·通讯》杂志上。内存计算或可计算储存，是近年来新兴的一个概念，其原理是
2017-12-02 22:56:10
813
2
转载 分布式系统distributed-system资料
分布式系统(Distributed System)资料希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多．《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)
2017-11-05 16:31:09
1741
转载 王川: 深度学习有多深, 学了究竟有几分?
上一篇文章提到了数据挖掘、机器学习、深度学习的区别：http://www.cnblogs.com/charlesblc/p/6159355.html深度学习具体的内容可以看这里：参考了这篇文章：https://zhuanlan.zhihu.com/p/20582907?refer=wangchuan 《王川: 深度学习有多深, 学了究竟有几分? (一)》笔记：神经网络的研
2017-11-01 21:09:32
1935
转载 5G时代的智能边缘计算AI-EC平台
5G时代的智能边缘计算AI-EC平台转自http://www.ccf.org.cn/c/2017-10-20/617329.shtml阅读量：1910月20日收藏本文2017年9月初华为透露：首款搭载AI芯片的商务手机将于10月发布并提出：Mobile AI=On_Device AI + Cloud AI。无独有偶，一周后苹果公司也发布了搭载A11可以人脸识别的
2017-10-20 21:28:55
3151
转载 Yarn资源调度策略
YARN资源调度策略转载2016-08-21 21:23:56标签：yarnYARN虽然是从MapReduce发展而来，但其实更偏底层，它在硬件和计算框架之间提供了一个抽象层，用户可以方便的基于YARN编写自己的分布式计算框架，而不用关心硬件的细节。由此可以看出YARN的核心功能：资源抽象、资源管理（包括调度、使用、监控、隔离等等）。从某种程度上说YARN类似于
2017-10-19 19:39:55
1760
原创 思考与学习方法
１．学习的时候，定义不同思考维度。让思维不要无路可循，利用机器学习的方法，定义多个维度去学习、思考。 如如何学习踢足球，定义维度 (转身，护球，背身拿球，传球...)，依次学习在不同维度的方法。 维度定义的范围大小，实际上跟人的学习能力有关，最简单的学习能力就是反射，（输入１， 输出1）, 稍微复杂可以（输入１，输出３）。最初逻辑建立都是(1 v 1 )，熟练之后，可以跳转多步逻辑 ，做
2017-09-27 16:53:16
603
转载 Spark内核的10大问题
问题1：reduce task数目不合适解决方案：需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太小，任务运行缓慢。所以要合理修改reduce的task数目即spark.default.parallelism问题2：shuffle
2017-09-20 17:13:42
382
转载 sort-based shuffle的核心：org.apache.spark.util.collection.ExternalSorter
依据Spark 1.4版在哪里会用到它ExternalSorter是Spark的sort形式的shuffle实现的关键。SortShuffleWriter使用它，把RDD分区中的数据写入文件。 override def write(records: Iterator[Product2[K, V]]): Unit = { if (dep.mapSideCom
2017-09-14 17:18:17
736
转载 spark源码之Job执行(1)stage划分与提交
目录(?)[+]1 从reduce看Job执行流程1.1 reduce操作以reduce操作为例，看看作业执行的流程def reduce(f: (T, T) => T): T = withScope { val cleanF = sc.clean(f) val reducePartition: Iterator[T] => Option[T] = iter
2017-09-12 21:55:57
475
转载 B-tree/B+tree/B*tree
B~树 1.前言：动态查找树主要有：二叉查找树（Binary Search Tree），平衡二叉查找树（Balanced Binary Search Tree），红黑树 (Red-Black Tree )，B-tree/B+-tree/ B*-tree(B~Tree)。前三者是典型的二叉查找树结构，其查找的时间复杂度O(log2N)与树的深度相关，那么降低树的深
2017-08-31 17:11:50
681
转载 稀疏矩阵存储格式总结+存储效率对比:COO,CSR,DIA,ELL,HYB
稀疏矩阵是指矩阵中的元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上都是稀疏矩阵，很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式：COO,CSR,DIA,ELL,HYB。 （1）Coordinate（COO）这是最简单的一种格式，每一个元素需要用一个三元组来表示，分别是（行号，列号，数值），对应上图右边的一列。这种方式简单，但
2017-08-29 22:02:58
846
转载 大数据平台系统概览
开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的生态系统。每一天，都有一大堆“新”框架、“新”类库或“新”工具，犹如雨后春笋般涌出，乱花渐欲“迷”人眼。为了掌控住这些“新玩意”，数据分析的达人们不得不“殚精竭虑”地“学而时习之
2017-07-19 17:36:04
2491
转载 Linux下JNI调用简单实例操作全过程
开发环境：Linux(Ubuntu 11.04) + JDK 7实例说明：利用JNI调用本地代码的方法来实现一个计算Int数组总和的功能使用JNI调用本地代码，整个开发流程主要包括以下几个步骤：1、创建一个Java类（IntArray.java）；2、使用javac编译该类（生成IntArray.class）；3、使用javah -jni 产生头文件（生成IntArra
2017-07-17 22:09:35
946
原创 windows下搭建Spark1.6源码调试阅读环境
**零.看源代码宗旨** 1.有目的性，要知道自己看什么。 2.先看系统流程，知道各个组件功能及交互关系。 3.深入某个组件，比如yarn资源调度平台。 4.准备好纸笔，边看边写边画一、相关组件及安装顺序0.默认jdk1.8,java已经安装1.scala 2.10.6[download](http://www.scala-lang.org/download
2017-05-27 17:37:36
665
原创 安装Gensim，测试node2vec
0.pip install wheel1.从网上下载与python27对应的 numpy-1.12.1+mkl-cp27-cp27m-win32.whl，用pip命令安装2.pip install scipy3.pip install gensim常见问题：1.ImportError: cannot import name NUMPY_M
2017-05-23 20:19:31
3820
原创 Machine Learning Record（1-1）Polynomial curve fitting
本系列文章是本人阅读 《Partern recognition and Machine Learning》系列文章一文章一 多变量曲线拟合1.1Polynomial curve fittingReal model : sin(2πx).We sample points from real model with a Gaussian model no
2017-02-25 15:43:22
1215
原创 时空轨迹数据压缩
本文内容是对微软亚洲研究院郑宇博士的书籍《TextBook_computing with spatial trajectories》进行的学习总结。 Perpendicular Euclidean distancec does’t consider the temporal factor. 第一部分 轨迹压缩压缩算法一、批量压缩 批量压缩算法是基于全局数据进行操作 Here it use
2017-02-23 17:45:55
4992
转载 简单易学的机器学习算法——Metropolis-Hastings算法
在简单易学的机器学习算法——马尔可夫链蒙特卡罗方法MCMC中简单介绍了马尔可夫链蒙特卡罗MCMC方法的基本原理，介绍了Metropolis采样算法的基本过程，这一部分，主要介绍Metropolis-Hastings采样算法，Metropolis-Hastings采样算法也是基于MCMC的采样算法，是Metropolis采样算法的推广形式。一、Metropolis-Hastings算法的基本
2016-08-31 16:05:39
2334
转载 对数线性模型之一(逻辑回归), 广义线性模型学习总结
经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：1
2016-07-22 13:32:50
793
转载 广义线性模型
今天我来介绍一种在机器学习中应用的比较多的模型，叫做广义线性模型（GLM）。这种模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。 Contents 1.
2016-07-21 22:51:28
609
转载 雅克比矩阵&行列式——单纯的矩阵和算子
最近接触了一点雅克比的东西，以前学习雅克比矩阵和雅克比行列式是在高数上，就知道个二重积分的时候可以用一下，其他的真没遇到过。最近在学习随机过程，在涉及到随机变量转化求解概率密度函数时，猛然冒出雅克比行列式让我刮目相看，于是再次学习这些东西。 首先介绍定义，雅克比矩阵是一阶偏导数以一定的方式排列成的矩阵，当其实方阵时，行列式称为雅克比行列式。设有m个n元函数组成的函数组：，称之
2016-07-19 21:15:49
2048
转载 做论文必须知道什么叫review
老师听到老师学长说到文献综述，也就是review，突然有点莫名起来，数字资源资料库里面我该如何搜索呢？好像很多人的本科论文都是瞎混混过来的，我也是，有看过期刊和一些论文，却不明白到底如何来找文献综述。以下是我从网上找的关于文献综述运用的参考，写的不错，拿来分享一下！1.找一篇本研究领域的文献综述（review）。 这一步很关键，要找一篇有影响的（我主要是看引用次数的高低）综述有时不
2016-07-06 16:56:33
16976
转载 有趣的 Scala 语言: 函数成了一等公民
Scala 是一种有趣的语言。它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃 Java 这个强大的平台，它运行在 JVM 之上，轻松实现和丰富的 Java 类库互联互通。它既支持面向对象的编程方式，又支持函数式编程。它写出的程序像动态语言一样简洁，但事实上它却是严格意义上的静态语言。Scala 就像一位武林中的集大成者，将过去几十年计算机语言发展历史中的精萃集于一身，化繁为简，为程序员们
2016-03-09 15:13:05
634
原创 Error: Cannot find configuration directory: /etc/hadoop
在安装Hadoop2.7.2部署伪分布式集群时，使用命令 start-all.sh 或者 start-dfs.sh 启动时，出现 Error: Cannot find configuration directory: /etc/hadoop 错误。解决方法：在系统为ubuntu12.04时，修改系统文件/etc/profile，添加内容：export HADOOP_HOME=/usr/
2016-02-29 17:32:15
9927
转载 Qt中QTabWidget常用
table->setSelectionMode(QAbstractItemView::SingleSelection) table.horizontalHeader()->setResizeMode(QheaderView::Fixed); table.horizontalHeader()->setStretchLastSection(true); table.setEditTr
2015-10-23 12:17:29
9234
4
原创 linux设置程序开机启动
网上看到共有三个方法，这里仅介绍最简单一种--修改 /etc/rc.local 文件：1）在命令行下切到该etc目录下，然后输入命令: sudo gedit rc.local2)在rc.local 文件最后一行的 exit 0 前面加上运行程序的绝对路径即可，如图蓝色部分，HelloWorld为程序：3）保存，退出。重启计算机程序即已经执行
2015-07-26 11:55:55
1016
原创 ubuntu 14.04 安装chrome及给chromium 安装 flash player
在网上尝试很多方法，大多数是拷贝 libflashplayer.so，尝试之后，没有用。最后还是从大牛处找到了办法，其实就是chromium提示的安装方法，不过chromium推荐用软件更新器做，远没有命令方便。简单点说，打开terminal:sudo apt-get install pepperflashplugin-nonfreesudo update-pepperflashp
2014-11-25 14:19:41
1777
原创 c/c++使用VS2013连接MySQL与ubuntu下c链接mysql
vs连接数据库其实就是将mysql数据库.h头文件接口、lib链接文件和dll执行文件加入到项目中。下面是配置如何加入。转于http://www.cnblogs.com/justinzhang/archive/2011/09/23/2185963.html一、VS2013工程设置工作首先，建立一个windows应用程序的工程，将C/C++->预处理器->预处理器
2014-11-20 12:28:54
2074
转载 linux线程私有数据
1.为什么需要线程私有数据：原因一：有时候需要维护基于每个线程的数据，用线程ID作为索引。因为线程ID不能保证是小而连续的整数，所以不能简单的分配一个线程数据数组，用线程ID作为数组的索引。即使线程ID确实是小而连续的整数，可能还希望有一些额外的保护，以防止某个线程的数据和其它线程的数据相混淆。原因二：可以让基于进程的接口适应多线程环境，比如errno，线程出现以前errno被定义成进程环
2014-10-21 22:07:57
794
原创 Ubuntu 14.04 解决 QQ 问题：pidgin-lwqq
之前一直在想，怎么解决 linux 中使用 QQ 的问题，老是用 webQQ 也不是一个办法，太麻烦了，总是开着一个网页，就是觉得不爽。在 wine 中使用 QQ 就不说了，你都在使用 linux 了，还搞一个 wine 干嘛，况且，wine 中的 QQ 还一大把 bug...曾经还想自己写一个 QQ for Linux，当时想的是，老子就算不发布，自己用也好啊，虽然多半写不出来...可是刚看见这
2014-09-28 21:41:54
4143
原创 在windows下安装python
首先鄙人是略带愤怒的写下这篇博文，原因很简单，当网上的资料全部都是模棱两可的复制粘贴而却没有实质性的帮助导致你屡屡碰壁的时候，血液自然会有点儿澎湃。楼主其实刚刚接触python，今天下午在阅读完入门级的《python入门》的前两章后，想下载来看看，google完“windows下python安装”，略傻眼，不是从环境变量开始讲起，就是说类似于一路next下去就好了。我是在想外文网站的资
2014-09-21 21:25:06
1129
原创 qt动画入门
Qt-4.6新增了Animation Framework(动画框架),让我们能够方便的写一些生动的程序。不必像以前的版本一样，所有的控件都枯燥的呆在伟大光荣的QLayout里，也许它们可以唱个歌，跳个舞。 所谓动画就是在一个时间段内的不同时间点有不同的状态，只要定义好这样状态，实现动画就是水到渠成的事情。当然做这件事情，最好用的就是状态机，没错Qt-4.6.0提供了QStateMachi
2014-09-04 00:05:57
1258
1
转载 Qt之界面实现技巧
总结一下，在开发Qt的过程中的一些技巧！可遇而不可求。。。一、主界面1、窗口 最小化 最大化 关闭按钮、显示状态自定义 setWindowFlags(Qt::CustomizeWindowHint); setWindowFlags(Qt::WindowCloseButtonHint); //只要关闭按钮 setWindowFlags(Qt::WindowFl
2014-09-03 15:02:49
1273
转载 QWidget、QMainWindow、QDialog和QFrame的区别
继承关系:在Qt中所有的类都有一个共同的基类QObject ，QWidget直接继承与QPaintDevice类，QDialog、QMainWindow、QFrame直接继承QWidget 类。QWidget类是所有用户界面对象的基类。窗口部件（QWidget）是用户界面的一个基本单元：它从窗口系统接收鼠标，键盘和其他事件，并且在屏幕上绘制自己。每个窗口部件都是矩形的，并且它们
2014-09-02 20:06:58
896
原创 QT 打开文件对话框总结
一： Qstring fileName = QFileDialog::getOpenFileName(this, tr("open file"), " ", tr("Allfile(*.*);;mp3file(*.mp3)")); 说明：这样就会产生一个对话框，和系统的资源管理器差不多的。返回的是你选择文件的 绝对路径。参数1：父窗口参数2：对话框的标题参数3：
2014-09-01 23:36:14
8298
原创 ffmpeg+sdl编程----给ffmpeg加入左右声道切换功能(原创)
这几天忽然相给ffmpeg做的简单播放器加入左右声道切换的功能, 在网上搜索了一下, 居然豪无结果。 网络上有关音轨左右声道切换功能的文章很少, 无论是Google还是百度,很少有相关的收录。有点郁闷，可能是高手们认为太简单不值得一提，新手们有不知所措。求人不如求已， 既然没有人写相关博客，为何不自己尝试一下呢。还好之前有幸看到过来一篇博客有关声道切换filter的代码，它的核心函数是：HRE
2014-08-31 21:31:15
4422
2
转载 qt 窗口圆角问题
最近在用qss做界面美化的工作，发现一个问题就是qss不能对顶级窗口设置边角圆弧，于是得另辟蹊径。据网上搜索可得到的方法我实现了三种：1.[cpp] view plaincopy setWindowFlags(Qt::FramelessWindowHint); QBitmap bmp(this->size()); bmp.fill();
2014-08-30 11:43:20
1088
原创 Qt开发设置技巧
Qt在开发桌面客户端方面有很多方面做的很好，功能很强大，在免费并能跨平台的开发库里，做到了可以很好的满足一般客户端开发的需求。Qt库不光在界面上，而且在XML解析，JSON数据解析，网络通讯等各个功能点，都已经具备了好用的开发类库。Qt尤其在图形化处理方面有着自己很不一般的体验，和功能。 下面我结合我的开发经历，对Qt的一些功能点和用法进行一些小结，希望给开发者提供一些有用
2014-08-16 14:32:38
1399
转载 ffmpeg+sdl教程----编写一个简单的播放器5(同步视频到音频)
个人认为，这这部分教程的新增代码量虽然不是最多的，难度却是最大的，重复看了多次才明白，因为有两个问题的困扰，搞得还不清楚：1.音频和视频既然都有各自的时间戳，各自按各自的时间戳来播放不就行了，为什么还需要同步呢？2.如果要把视频同步到音频，怎么同步？或者说以什么标准来同步？ 第一个问题的答案可能是，一是音频和视频的开始播放的时间是不一样，二是播放每帧音频或视频时可能必须把解码数据
2014-08-12 22:48:26
1776
原创 想做web前端工程师应该学习些什么？
偶然间看到这篇文章，感觉博主写的挺不错的，如果你想做web前端工程师的话，建议您阅读以下这篇文章，其实web前端工程师所做的工作其实就是网站设计，有些小公司的美工其实就是做web前端的。这篇文章对于想学web前端工作的人有很大的帮助，如果您是做SEO的，也建议您学习下博主推荐的这些课程，或许对你以后的职业、薪资都有很大的帮助!遇到很多新手，都会问，如果要学习web前端开发，需要学习什么?难不难
2014-07-15 16:17:44
5705
2
编写程序，使用两个线程，一个队列，其中一个线程从键盘读取数据，放入到队列中，直到读取的数据是字符串quit则结束
2014-07-03
jQuery 移动网络应用开发 核心技术
2014-04-03
DELPHI XE5 UP2 破解
2014-04-03
Google官方下拉刷新组件SwipeRefreshLay
2014-04-03
W3School离线手册
2014-04-03
控制台游戏之推箱子及地图编辑器.zip
2014-04-03
控制台游戏之推箱子及地图编辑器
2014-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人