- 博客(1008)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 真正的完全图解Seq2Seq Attention模型
转载：真正的完全图解Seq2Seq Attention模型本文通过图片，详细地画出了seq2seq+attention模型的全部流程，帮助小伙伴们无痛理解机器翻译等任务的重要模型。seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成...
2019-10-16 21:27:08
722
转载 numpy.linalg.norm
1、linalg=linear（线性）+algebra（代数），norm则表示范数。2、函数参数x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False)①x: 表示矩阵（也可以是一维）②ord：范数类型向量的范数：矩阵的范数：ord=1：列和的最大值ord=2：|λE-ATA|=0，求特征值，然后求最...
2019-07-14 23:42:49
3100
转载 Numpy中的axis
Numpy操作中的axis这是我参考的连接numpy模块中的axis理解最近发现，numpy的很多操作都是和axis联系在一起的，以前只是遇到了稍微记一下，过后又忘了，这次做好笔记，加深理解。首先为什么会有axis这个概念？因为在numpy模块中，大多数处理的是矩阵或者多维数组，同时，对多维数组或者矩阵的操作有多种可能，为了帮助实现对数组或矩阵各种各样的功能，就有了axis下面举...
2019-07-07 16:48:42
320
原创 吴恩达机器学习课程作业 Exercise 1：Linear Regression
吴恩达机器学习课程作业 Exercise 1：Linear Regression线性回归编程作业新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc...
2019-06-23 16:41:54
934
转载 Ansible常用模块介绍
转自：Ansible常用模块介绍ansible 默认提供了很多模块来供我们使用。在 Linux 中，我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块，通过 ansible-doc -s 模块名 又可以查看该模块有哪些参数可以使用。官网文档：http://docs.ansible.com/ansible/latest/list_of_all_modul...
2019-04-25 16:17:21
203
转载 机器学习——极大似然估计与贝叶斯估计
转自：机器学习——极大似然估计与贝叶斯估计极大似然估计极大似然估计是频率派提出的参数的点估计方法。基于参数theta是固定的这一条件, 即使得当前数据集D出现概率最大的参数就是实际参数。具体求解方法就是对似然函数求导。贝叶斯参数估计贝叶斯参数估计是贝叶斯派提出的参数估计方法。可分为贝叶斯点估计，贝叶斯区间估计，本文暂不涉及区间估计。基于参数theta是服从一定先验分...
2019-03-30 13:46:03
852
转载 kubernetes之StatefulSet详解
转自：kubernetes之StatefulSet详解概述RC、Deployment、DaemonSet都是面向无状态的服务，它们所管理的Pod的IP、名字，启停顺序等都是随机的，而StatefulSet是什么？顾名思义，有状态的集合，管理所有有状态的服务，比如MySQL、MongoDB集群等。StatefulSet本质上是Deployment的一种变体，在v1.9版本中已成为GA版本，...
2018-12-26 22:17:55
4765
转载 Docker Daemon
转自：Docker实战－Docker Daemon一、修改Docker Daemon DockerDaemon是Docker的守护进程，Docker Client通过命令行与Docker Damon通信，完成Docker相关操作 Docker Daemon有不同的修改方式：命令行修改，修改启动项，修改配置文件。其中仅仅只是研究或一次使用Docker Daemon的不同选...
2018-08-25 11:38:18
38283
1
转载 无状态服务
一、定义无状态服务（stateless service）对单次请求的处理，不依赖其他请求，也就是说，处理一次请求所需的全部信息，要么都包含在这个请求里，要么可以从外部获取到（比如说数据库），服务器本身不存储任何信息有状态服务（stateful service）则相反，它会在自身保存一些数据，先后的请求是有关联的二、优劣有状态服务常常用于实现事务（并不是唯一办法，下文有另外的方案）。举一个常...
2018-08-17 14:45:05
1340
原创 leetcode 回文数
题目描述：判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。示例 1:输入: 121输出: true示例 2:输入: -121输出: false解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。示例 3:输入: 10输出: false解释: 从右向左读, 为 01 。因此...
2018-08-01 21:58:11
307
原创 leetcode 字符串转整数 (atoi)
题目描述：实现 atoi，将字符串转为整数。在找到第一个非空字符之前，需要移除掉字符串中的空格字符。如果第一个非空字符是正号或负号，选取该符号，并将其与后面尽可能多的连续的数字组合起来，这部分字符即为整数的值。如果第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。字符串可以在形成整数的字符后面包括多余的字符，这些字符可以被忽略，它们对于函数没有影响。当字符串中...
2018-07-28 21:45:25
197
原创 重启之战
毕业两年，工作两年，离开ACM已经很久了，心中满是怀念。两年的时间做了很多事情，在人生的路上不断摸索，不断成长，这些收获对我而言十分珍贵，人、事、学业、生活，我都将不断的努力，怀着炽热的心，不断前行！打算重新开始更新自己的博客，一方面做些自己喜欢的事情，更新一些leetcode或者牛客网上题目，希望对面试的同学有所帮助；另一方面也会不定期更新一些自己学习的技术内容，或者转载一些相关的优秀博...
2018-07-27 23:25:31
312
1
转载 Docker Machine讲解
本文转发自：Docker Machine 简介本文在Docker Machine几个使用场景上讲的比较好，能很好的理解Docker Machine的作用，另外也涉及了如何操作远程机器上的docker daemon，并通过TLS加密。Docker Machine 是 Docker 官方提供的一个工具，它可以帮助我们在远程的机器上安装 Docker，或者在虚拟机 host 上直接安装虚拟机并在...
2018-07-27 21:56:44
317
原创 ssh和ssl的区别
官方原文写的比较清楚：SSH (Secure Shell) and SSL (Secure Sockets Layer) can both be used to secure communications across the Internet. This page tries to explain the differences between the two in easily underst...
2018-07-12 14:29:18
1033
原创 二叉树后继
二叉树后继如果有指向父亲的结点，则：1.如果当前结点有右儿子，或者当前结点是根结点，则后继结点为右子树的最左叶节点；2.否则，如果当前结点是父结点的左儿子，则后继结点就是父结点；(其实是第三种情况的一个特例，即自己是第0代祖先，返回第一代祖先)3.否则，向上遍历，直到n-1代祖先是n代祖先的左儿子，则后继结点为n代祖先；或者遍历到根节点后未找到符合的n代结点，则该结点为中序遍历的最后结点，没有后
2017-07-21 21:48:13
1008
1
原创 Good Bye 2016
一年多没有搞ACM了，怀念原来沉浸在ACM的每时每刻，怀念它带给我的点点滴滴 －－序言 闲来无事想重温一下，发现思维有些卡顿了，以后还是要多做做cf，开拓思维。 C题： 题意：Limak参加了N场cf比赛，给出每一场的rating和，当场的division，问参加完N场之后，最多有多少分。 思路：从最后
2017-01-08 14:29:23
474
原创 awk统计目录下最大的文件
首先简单介绍一下，awk如何使用外部变量：awk中使用shell中的变量一: "'$var'"这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:var="test"awk 'BEGIN{print "'$var'"}'这种写法其实际是双括号变为单括号的常量,传递给了awk.如果var中含空格,为了shell不把空
2017-01-04 13:34:58
1062
原创 Linux常用管道命令
1.cut,将一行内的数据进行分解cut -d '分隔符' -f fieldscut -c 字符范围-f 取出第几段的意思 ，从1开始例：echo $PATH | cut -d ':' -f 3,5export | cut -c 12-2.grep 分析一行数据grep [-acinv] [--color=auto] 'string' filename-c
2016-10-15 16:38:11
1406
原创 Linux文件目录操作相关命令
查看文件内容命令： 1.cat 从第一行开始显示文件内容 -b 列出行号，除空白行 -n，列出行号，包括空白行 -A 列出所有的特殊字符2.tac 从最后一行开始反过来显示3.nl 添加行号显示 -b a，空行也会列出行号 -b t，空行不会列出行号，默认 -n ln，行号在最左边显示 -n rz，最右边，加0 -n rn，最右边，不加0 -w n，定义行号占得位数为n4. mo
2016-09-25 17:26:10
472
原创 Codeforces Round #368 (Div. 2)
C - Pythagorean Triples 题意：如何构造勾股数 设 (a,b,c) 是勾股数，当 a 为大于 1 的奇数 2n+1 时， b=2n2+2n,c=2n2+2n+1 ，当 a为大于 4 的偶数 2n 时， b=n2−1,c=n2+1 。D - Persistent Bookcase 将状态作为节点进行dfs，这样对于操作4就可以很方便的进行统计，详细见：Codeforce
2016-08-29 15:21:13
448
原创 hadoop划分为多个输出文件
现在我们见到的MapReduce作业的输出都是一组文件，那如果我想输出多组文件怎么办，比如说我想统计每个国家的专利情况，想以国家名作为文件名来输出。我们可以使用MultipleOutputFormat，它内部有一个方法generateFileNameForKeyValue，只要Override他，就可以根据自己的需要划分文件。他还有一些子类，像MultipleTextOutputFormat，Mul
2016-03-28 15:14:49
1220
原创 BloomFilter
BloomFilter是一个大数据处理的算法，它用来判断某个元素是否在集合中。它在空间和时间效率上很高，但是存在移动的误报率。如果返回false，说明元素肯定不在集合中，也就是说不会漏报；但如果返回true，怎可能存在错误。BloomFilter算法： 1）位数组： 假设Bloom Filter使用一个m比特的数组来保存信息，初始状态时，Bloom Filter是一个包含m位的位数组，每一
2016-03-26 15:43:14
448
原创 链接hadoop作业
有时候一个复杂的任务不能只用一个MapReduce作业完成，需要分解成多个子任务，每个子任务是一个单独的MapReduce作业。这个时候就需要将多个MapReduce作业连接起来让你真正明白什么是MapReduce组合式，迭代式，链式 多个mapreduce工作相互依赖处理方法完整实例（JobControl） Hadoop 依赖关系作业 MapReduce JobControl 错误纠正 1
2016-03-25 17:19:36
487
原创 Hadoop使用DATAJOIN软件包链接不同来源的数据
具体参见《Hadoop in action》 这里说一下几个问题：这几个问题在stackoverflow 得到了解决 （1）如何输入多个文件将多个文件放入一个文件夹，输入路径写文件夹的路径MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class,MapClass.class);（2）TaggedWri
2016-03-24 22:26:48
438
原创 MapReduce实现TopK
Hadoop inaction上面的练习。刚开始考虑，每个分片应该是在所有的记录处理完之后，把这个分片的前K大输出给reduce，但是map函数是每个记录调用一遍，把怎么在所有记录调用完之后处理呢？setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一
2016-03-23 21:58:26
3322
原创 Hadoop 使用combiner提升性能
combiner的工作是在mapper结束之后，在本机上先进行的reducer操作，这样可以减轻数据网络传输的负担，提高性能。比如wordcount程序，mapper输出的是< key,1>这样的简直对，表示每个单词出现了一次，然后进行reduce，在数据量非常大的情况下，非常多的相同key的输出，在传送过程中会造成很大负担，所以我们可以在map节点上先进行combiner，将key相同的这些加起来
2016-03-23 17:04:06
501
原创 Hadoop模板（新API）
跟原来的API稍有不同，其实也差不多import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;i
2016-03-22 17:01:51
323
原创 Hadoop程序基础模板
输入文件格式为：X,Y，表示X引用Y； 本程序目的为将引用数据进行倒排，对于每一个专利找到引用他的那些专利import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import
2016-03-22 17:00:45
282
原创 第一个Hadoop程序WordCount
首先说一下在eclipse下搭建Hadoop开发环境准备工具：eclipse ，hadoop插件，注意版本要一致 eclipse可以去官网下载 插件我上传了一个，hadoop-eclipse-plugin-2.7.2.jar 将插件cp到eclipse/plugins下面Window -> Open Perspective -> Other 选择Map/Reduce在eclipse
2016-03-19 16:42:37
358
转载 Hadoop集群搭建
在这里先感谢下面几篇博客： 一步步教你Hadoop多节点集群安装配置 Linux下安装搭建Hadoop集群 SSH原理与运用 我的安装过程和其中遇到的问题都是参考上面的几篇博客，还有我上一篇博客中提到的 yarn详解 。 既然有上面详细的搭建过程，我这就不再详述了，简单的记录一下，以便自己以后用到。我实在虚拟机中搭建的，一个master，一个slave1（无奈太卡，后来又改成了伪分布模式）
2016-03-19 11:31:54
318
转载 yarn详解
最近搭建了hadoop集群，启动之后，发现只有NameNode，ResourceManager，SecondaryNameNode并没有JobTracker，所以发现了yarn，就可以解释了 下面内容转自：yarn详解 背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最
2016-03-11 11:21:37
391
原创 Codeforces Round #343 (Div. 2)C. Famil Door and Brackets DP
转自：Codeforces Round #343 (Div. 2) 解题报告 题意：给你一个由括号组成的字符串，长度为m，现在希望获得一个长度为n（全由括号组成）的字符串,0<=n-m<=2000这个长度为n的字符串要求有两个性质：就是任意前缀，左括号数量大于右括号数量字符串中左括号的数量等于右括号现在让你可以在长度为m的原串前加一个括号串p,在原串后加一个括号串q 最后p+m+q=n问有多
2016-02-27 11:13:10
379
原创 Codeforces Round #343 (Div. 2)D - Babaei and Birthday Cake 线段树
D. Babaei and Birthday CakeAs you know, every birthday party has a cake! This time, Babaei is going to prepare the very special birthday party’s cake.Simple cake is a cylinder of some radius and height
2016-02-25 17:28:08
751
转载 python分布式进程
转自：分布式进程 在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信。由于man
2016-01-25 12:04:05
686
转载 python ThreadLocal
在多线程环境下，每个线程都有自己的数据。一个线程使用自己的 局部变量比使用全局变量好，因为局部变量只有线程自己能看见，不会影响其他线程，而全局变量的修改必须加锁。但是局部变量也有问题，就是在函数调用的时候，传递起来很麻烦： 如果用一个全局dict存放所有的Student对象，然后以thread自身作为key获得线程对应的Student对象如何？global_dict = {}def std_th
2016-01-24 16:04:04
997
转载 python多进程
Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getp
2016-01-23 16:41:04
570
原创 pyhton序列化
#coding=utf-8import pickled=dict(name='Bob',age=20,score=100)f=open('in1.txt','wb')pickle.dump(d,f)f.close()f=open('in1.txt','rb')d=pickle.load(f)print(d)f.close()Python序列化
2015-12-22 22:21:50
388
原创 python flask框架
简单介绍请参考：廖雪峰的网站（Web框架）__author__ = 'qingjin'from flask import Flaskfrom flask import requestapp=Flask(__name__)@app.route('/',methods=['GET','POST'])def home(): return '<h1>Home<h1>'@app.route('
2015-11-19 22:15:00
493
转载 python urllib模块
urllib提供了一系列用于操作URL的功能。Geturllib的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应：方法是用urlopen函数，它的参数是url字符串或者是Request对象，他返回一个HTTPResponse对象 例如，对豆瓣的一个URLhttps://api.douban.com/v2/book/2129650进行抓取
2015-11-18 22:36:46
1107
原创 python多线程编程
python提供了几个用于多线程编程的模块，thread，threading，Queue等。其中thread模块提供了基本的线程和锁的支持，threading提供了更高级别的功能，Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。 因为thread有下面几个缺点，所以建议使用threading模块： 1.threading更为先进 2.thread模块的同步原语很少
2015-11-17 21:06:33
398
Kubernetes实战－英文版
2019-02-01
高效awk编程
2018-06-03
hadoop-eclipse-plugin-2.7.2.jar
2016-03-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人