涯若-CSDN博客

原创 Spark SQL，DataFrame 和Datasets 指南--Spak2.4.3

目录SQLDatasets和DataFrame出发吧：SparkSession创建DataFrameUntyped Dataset操作（即DataFrame操作）SQL查询全局临时视图创建Dataset与RDD交互使用反射机制进行推理schema编程指定schema聚合ubtyped 用户自定义聚合函数类型安全的用户自定义聚合函数Spark SQL是一个结构化数据处理模块。不像Spark RDD...

2019-06-15 23:40:24 700

原创 Spark Streaming 指南--Spark2.4.3

目录总览快速入门基本概念连接初始化StreamingContext离散Streams(DStreams)输入DStreams和接收器基本数据源高级数据源Receiver的可靠性DStreams上的transformationsUpdateStateByKey 操作transformation操作window操作Join操作Stream-stream joinStream-dataset joinD...

2019-06-15 00:19:36 1333

原创 gragh embedding相关论文小结（四）

本篇针对dynamic graph相关的论文做一个总结Time Evolution of the Importance of Nodes in dynamic NetworksDynamic Network Embedding:An Extended Approach for Skip-gram based Network Embedding************T...

2019-03-26 19:08:00 1036

原创 graph embedding相关论文小结（三）

GNN模型拟合PageRank等ranking算法The Graph Neural Network ModelGraph Neural Network for Ranking Web PagesAdaptive Page Ranking with Neural NetworkRanking Web Pages using Machine Learning Approaches...

2018-10-09 21:37:27 809 3

原创 gragh embedding相关论文小结（二）

-Net2Net:ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER -DynGEM:Deep Embedding Method for Dynamic Graphs -DepthLGP: Learning Embedding of Out-of-Sample Nodes in Dynamic Networks -Inductive Represen...

2018-08-15 09:25:45 1309

原创 tensorflow学习笔记三

分布式tensorflow就是多台服务器参加一个tensorflow图的分布式执行，分布式我感觉就是原来在一台计算机上面运行好几个进程这些进程交互是由OS控制的，而分布式就是把这些进程放在了不同的机器上面运行，他们之间的交互是由分布式框架控制的，实际分布式的核心或者说基本点还是运行的进程。一提到分布式就会有客服端进程和服务端进程概念，TensorFlow 的分布式集群由多个服务器进程和客户端进程组...

2018-07-16 09:17:54 357

原创 gragh embedding相关论文小结（一）

以下是对所读过的各篇论文中的思想简短总结A Comprehensive Survey of Graph Embedding-problems,Techniques and ApplicationsDeepWalk: Online Learning of Social Representationscode2vec: Learning Distributed Representations...

2018-07-04 20:54:09 3282

原创 DL&ML基础学习六

Google发表的<The Case for Learned Index Structures>论文采用神经网络取代数据库经典的索引方法例如B-Tree/Hash-Index/Bloom FIlter,论文中先是使用很native的两层前馈神经网络来学习已经排序的records数据的分布情况,而结果是比BTree索引慢了两个数量级.作者分析出了四条原因,其中有两条值得思考.一个是神经网...

2018-06-30 00:01:45 401

原创 linux（二）

whatis command查看命令简要说明，同时whatis支持-w选项使用正则表达式。更加详细的文档在info command，man num command查看说明文档，分为9个类别，即num取1~9.查看命令的安装路径：which command，查看linux对命令的搜索路径whereis command。文件操作：创建目录mkdir dir_name；删除目录rm -rf di

2018-06-29 23:59:22 268

原创比赛总结

刚刚参加完第四届高校云计算应用与创新大赛，得了命题赛二的二等奖，作品则是一个依图写诗的应用，按照用户上传的图片识别其中的关键物体，之后生成一首七言或五言诗，并且在网页中展示出来。网址http://neupoet.cn，可能有时会访问不了，因为部署在实验室服务器上，如果服务器不连外网则无法访问。整个比赛持续时间还是比较长的，而且分为预赛，复赛和决赛。我们参加的命题赛二的比赛，要求完成k8s的搭建过程...

2018-05-06 15:42:35 3250

原创 tensorflow学习笔记二

batchX_placeholder = tf.placeholder(tf.float32, [batch_size, truncated_backprop_length])batchY_placeholder = tf.placeholder(tf.int32, [batch_size, truncated_backprop_length])init_state = tf.placehol...

2018-04-05 22:44:55 256

原创 windows基于anaconda安装tensorflow小结

anaconda（python=3.6）版本内置了诸多开发包，包括常用的numpy，scipy，matplot，pandas等，但是没有tensorflow。通过conda install tensorflow试了几次也不成功，之后安装网上的教程安装上了但是在pycharm中不能用。之前在ubuntu 16.04中安装过tensorflow，也是通过anaconda安装。如果在windows上通过...

2018-04-03 21:19:11 275

原创 TensorFlow学习笔记一

Tensorflow：一个用于计算的框架。Tensorflow架构中分为设备管理和通信层、数据操作层、图计算层、API接口层、应用层。Tensorflow使用的符号编程而不是一般的命令编程，符号式编程将计算过程抽象为计算图，计算流图可以方便的描述计算过程，所有输入节点、运算节点、输出节点均符号化处理。计算图通过建立输入节点到输出节点的传递闭包，从输入节点出发，沿着传递闭包完成数值计算和数据流动，直...

2018-03-28 10:02:52 470

原创 DL&ML基础学习三

机器学习中泛化误差等于偏差的平方+方差+噪声。传统的机器学习方法难点在于一个是解决过拟合和欠拟合问题，另一个所有的传统机器学习方法都需要提供数据的特征，而特征需要人为定义，特征定义的好坏直接决定模型的性能。以神经网络为代表深度学习技术一大特点就在于不用事先定义特征，因为神经网络可以自己抽取特征，而且效果很好，但是仍然具有不可解释性，而且也是面临过拟合欠拟合的问题。另外统计学习学习的必须是有规律的事

2018-01-31 11:36:14 517

原创 python方法

python可以用for迭代的都是Iterable,可以next()的都是Iterator。集合类是Iterable而非Iterator。python中类是一个模板，必须绑定的属性强制填写进类中，而实例instance可以自由绑定属性，可以删除更改。__init__(self,args)中的args就是属性，建立实例时需要必须填写的。所有实例方法都需要第一个参数为self。通过help(objec...

2018-01-28 20:36:49 425

原创 DL&ML基础学习五

CNN应用在NLP自然语言处理上面，基本原理是输入是一句话，将一句话分词，每个词表示成一个向量，作为矩阵的一行，所以一句话形成一个矩阵，这个矩阵就类似于图片的像素点矩阵作为输入。该矩阵作为CNN的输入数据。此时CNN的卷积核的特点在于其每个卷积核的宽度都和输入数据的长度相同，宽度仍然是超参。其他原理相同。CNN的优势一个是快速，他可以并行运算，而且前后不具有依赖性。他的表示效果更有效。CNN的卷积...

2018-01-26 00:15:50 678

原创 DL&ML基础学习四

DL&ML

2018-01-10 10:55:09 829

原创数学知识（一）

数学知识

2017-12-29 21:30:53 814

原创 An overview of gradient descent optimization algorithms

《An overview of gradient descent optimization algorithms 》论文2017年发表，是一篇综述类论文，介绍了很多基于梯度下降方法的改进方法以及分布式执行的方法。其中先是介绍了三种典型的梯度下降算法：批量梯度下降、随机梯度下降和微批量梯度下降，区别在于他们的更新参数的时间点不同，计算梯度的方法相同。这是基础知识。重点在于后面。文中提出四个至今仍

2017-12-29 20:25:08 570

原创 linux（一）

linux中，存放配置文件的是在/etc目录下，而存放命令的则是在/bin /sbin / usr/bin / usr/sbin中，命令当然都是以文件形式存放的。/sbin/中存放的是基本系统命令例如ifconfig、dump等，只有root可以执行，是super bin。而/bin存放的是普通命令例如ls 、chmod、kill等，root和普通用户都可以执行。/usr/bin里面存放的用户后期

2017-12-07 16:24:46 963

原创 neural networks and deep learning 学习笔记

neural network and deep learning笔记

2017-09-12 14:04:34 539

原创 DL&ML基础学习二

对于神经网络的解释有很多，多是从不同的视角进行阐述，包括生物学的视角、空间变换的视角、数学的角度、特征工程的角度等等。如果从生物学的角度看，神经网络是模拟人的神经元工作激励，当所受刺激信号达到一定程度之后会向下传递信号，从而完成各层的信号传递，但是梯度下降法训练可能在人脑中没有，有的是当我们为之前做出的决定或反应所极大地伤害或者说我们的利益因为决定而受损则导致我们在下一次调整决策的策略，可是实际生

2017-09-09 11:47:24 597

原创 DL&ML基础学习一

神经网络中常用的激活函数sigmoid，tanh等，第一次听到sigmoid函数是在逻辑回归的部分，实际从该角度看神经网络是高级的分类模型，而逻辑回归也是为了分类目标，他们可以使用相同的loss function，而神经网络则是即为灵活的模型，模型自身结构可以变化，参数设定可以变，单元之间的机制可以改变，使用的激活函数、损失函数可以变化等等。激活函数是为了引入非线性性质，进行非线性分类。sigmo

2017-09-09 11:19:25 1499

原创南京大学MOOC用python玩转数据课程笔记

常用的python数据处理库：numpy，pandas，matplotlib，IPython，SciPy，scikit-learn，Theano。对于python自身属性的定义，可以视作为胶水语言可以与其他语言集成开发，是一门脚本语言，是一门OOP语言。python官网上的PyPI页面代表python软件包索引，一般使用pip命令进行安装python库，一般python环境都具备pip命令

2017-08-16 16:05:01 2936

原创 leetcode两道题

leetcode

2017-04-22 17:18:38 531

原创 Linux kernel development

linux

2017-01-06 14:53:56 6738 1

原创汇编语言Assembly（二）

汇编语言

2017-01-02 11:59:04 2458

原创汇编语言Assembly（一）

汇编语言

2017-01-02 01:54:39 10355

原创阅读笔记（8）

思维思考

2016-12-28 21:37:41 450

原创 python基础总结

python基础

2016-12-28 21:29:02 654

原创不能错过的资源链接持续更新

1 IT技术优秀文章汇总 http://www.xuanfengge.com/it-article.html2 100个java个高质量开发者博客 http://www.programcreek.com/2012/11/top-100-java-developers-blogs/3 码农周刊 http://weekly.manong.io/issues/?ref=blog4 编程...

2016-11-13 00:22:15 725

转载 python总结

python总结

2016-10-21 23:15:00 386

转载质因数分解算法

质因数分解

2016-10-21 22:44:30 12642

原创 java基础知识总结

面向对象软件开发的优点有哪些？答：开发模块化，更易维护和修改；代码之间可以复用；增强代码的可靠性、灵活性和可理解性。多态的定义？答：多态是编程语言给不同的底层数据类型做相同的接口展示的一种能力。一个多态类型上的操作可以应用到其他类型的值上面。继承的定义？答：继承给对象提供了从基类获取字段和方法的能力。继承提供了代码的重用行，也可以在不修改类的情况下给现存的

2016-10-06 22:41:20 714

原创 java代码片段

java

2016-09-21 23:11:25 641

原创 java实现生产者与消费者

package concurrent;import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.BlockingQueue;/** * Created by geekgao on 16-3-4. */public class ProducerAndConsumer2 {

2016-09-09 01:35:29 712

原创编程之美中的NIM游戏及异或性质应用

最近看《编程之美》一书，感叹思维之妙，不过看过之后又在很多数学方面的书里面找到了同样的解法例如《组合数学》、《图论导引》等，之后才知道其实很多书上的算法都是源自数学、图论、博弈论知识，同时也一直有一种感觉：未来是数据的天下，同时也是数学威力大大展现的时候。在《编程之美》1.11~1.13中讲的都是NIM游戏。所以在网上查查资料，汇总如下，以备review。给出n列珍珠，两人轮流取珍珠，每次

2016-09-09 01:05:16 3383 1

原创剪枝搜索心得

剪枝搜索

2016-08-31 23:33:57 2107

原创现代操作系统读书笔记

现代操作系统

2016-08-26 23:33:15 3499

转载动态规划算法

自己感觉算法方面动态规划尤其难，但是dp，分治，递归用处极大，例如LIS , LCS , 最短路径等方面，所以即使再难也要学会。而且个人认为动态规划不是一蹴而就的知识，需要不断理解其中的内涵。DP实际上就是枚举算法，姑且叫做“智能枚举”，在枚举的过程中利用已经计算的子问题的解来计算新的更大规模的解，一步一步地递推到N。当然前提是问题可以分解为小的子问题，并且解决子问题时会有大量重复计算，进而可以利...

2016-08-16 00:44:39 924

图Graph研究领域介绍文章

这里的图代表是节点与节点相连的Graph,而不是Image图片。这是图领域介绍性的文章，值得读一读。

2019-04-30

看清趋势的164种图谱

看清趋势的164种图谱，主要讲解股市种短期，中期，长期的大盘走势情况和趋势，帮助你抄底赚翻。

2019-03-31

140个机器学习公式

包含140个机器学习相关公式，涵盖主要的矩阵，概率论等公式，当作字典查询。

2019-01-21

深度学习入门知识整理

整理的深度学习资料，共30页，不可多得的资料，都是入门级别的，比较容易懂。进阶之后需要深度学习。

2018-11-05

谱方法算法分析与应用

这本书是谱方法的经典之作，Springer出版社出版。谱方法是机器学习中重要的一种方法，利用特征值特征向量，奇异值分解等方法。本书讲述的是其应用，算法和分析。道客巴巴上下载需要16，另一个书籍下载网上需要50，csdn上有另一个人传输的这本书只有136页，而本书应该是486页，这是全文版本。数学书籍决定你未来能走多远。

2018-10-15