- 博客(38)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 论文|记忆网络之Memory Networks
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2019/06/14/1-13/Memory NetWorks介绍在文本的处理上，由于很多地方对记忆的需要，因此诞生了RNN及LSTM。但RNN和LSTM也只能用于短时间内的记忆（一般...
2019-06-15 10:06:18
521
原创 梳理|对话系统中的DST
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2019/06/09/1-12/最近看了任务型对话中的SLU和DST部分，感觉里面方法结构很多，论文看多了以后脑袋就乱了。所以写篇文章给自己梳理一下，这篇文章先写DST部分，其他部分以后会再更新...
2019-06-15 10:05:11
4235
原创 论文阅读|How Does Batch Normalization Help Optimization
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2019/05/23/1-11/前言Batch Normalization在2015年被谷歌提出，因为能够加速训练及减少学习率的敏感度而被广泛使用。但论文中对Batch Norm工作原理的...
2019-06-14 21:56:22
524
原创 学习规划|机器学习和NLP入门规划
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2019/03/20/1-10/每天来博客的人不太多，但稀稀拉拉也有一些固定的人群。自从上次发表了那篇面试的博客以后，陆陆续续就有一些同学来问我机器学习及NLP的学习路线，emm....因为有些问...
2019-06-14 21:55:27
839
原创 面试体会|微软、头条、滴滴、爱奇艺NLP面试感想
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2019/03/10/1-9/前段时间感觉自己的学习速度已经有了明显的放缓，自己也分析了很久，感觉主要是有这么些个原因： 基本的工具已经学会了，心里面不太满足于只是去学工具，还是很想看一看...
2019-06-14 21:54:47
1239
1
原创 统计学习方法|支持向量机(SVM)原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/12/16/1-8/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我的...
2019-06-14 21:54:00
1068
1
原创 统计学习方法|最大熵原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/12/05/1-7/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我...
2019-06-14 21:52:56
3302
2
原创 统计学习方法|逻辑斯蒂原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/12/03/1-6/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我...
2019-06-14 21:51:10
620
原创 统计学习方法|决策树原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/11/30/1-5/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我...
2019-06-14 21:50:01
690
原创 统计学习方法|朴素贝叶斯原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/11/21/1-3/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我的...
2019-06-14 21:47:51
610
原创 统计学习方法|K近邻原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/11/19/1-2/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我的...
2019-06-14 21:45:49
397
原创 统计学习方法|感知机原理剖析及实现
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。原始blog链接：http://www.pkudodo.com/2018/11/18/1-4/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。以下是我的...
2019-06-14 21:43:55
710
原创 python爬取网易云歌单
背景这学期报了一门海量数据处理，在数据处理前需要爬取一些内容。所以做了一个小练习，爬取网易云的歌单。其中包括歌单名称，播放量和url地址。网易云还是具有一些反爬措施的，这里主要说以下几个方面以及我的应对措施。无法直接访问我没有实践过直接访问网易云音乐会不会被报404，所以这一条本质上不太确定的，我的做法是直接在浏览器中通过F12查看请求头，在代码中将请求头加入其中以此来模拟我是浏览器访...
2018-10-22 21:06:51
2126
原创 IO流操作HDFS
上传文件Demo@Testpublic void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException { //1.获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = F...
2018-08-23 11:32:26
699
原创 JAVA操作Hadoop
一、客户端环境准备1.jar 包及Eclipse 准备该部分可网上查阅相关资料2.相关Demo1.获取文件系统//1.获取文件系统@Testpublic void initHDFS() throws IOException { // 1获取文件系统 Configuration configuration = new Configuration();...
2018-08-22 17:41:43
1354
原创 Hadoop伪分布式运行案例
1.分析1）准备一台客户机 2）安装jdk 3）配置环境变量 4）配置集群 5）启动、测试集群增、删、查 6）执行wordcount案例2.执行步骤1）配置文件a.配置hadoop-env.sh Linux 系统中获取 jdk 的安装路径：echo $JAVA_HOME得到路径：/opt/module/jdk1.8.0_144 修改 JAVA_HO...
2018-08-13 17:44:54
2155
原创 Hadoop环境搭建
1.虚拟机网络模式设置为NAT2.克隆虚拟机3.修改为静态ip1）复制本机物理地址：vi /etc/udev/rules.d/70-persistent-net.rules 文本内容如下：# PCI device 0x8086:0x100f (e1000)SUBSYSTEM=="net", ACTION=="add", DRIVE
2018-08-13 16:27:58
147
原创 linux 其他常用命令
用户组管理命令drwxr-xr-x. 2 root root 4096 8月 10 10:45 gaibang -rw-r–r–. 1 root root 30 8月 10 11:01 log.txt第1位： -：表示文件 d：表示文件夹第2-4位：用户主的权限： r：读 w：写 x：执行 -：表示没有权限第5-7位...
2018-08-12 14:24:39
101
原创 linux 解压缩常用命令
gzip/gunzip 压缩1） 基本语法：gzip+文件 （功能描述： 压缩文件，只能将文件压缩为*.gz 文件）gunzip+文件.gz （功能描述： 解压缩文件命令）2） 特点： （1） 只能压缩文件不能压缩目录 （2） 不保留原来的文件zip/unzip 压缩zip + 参数 + XXX.zip + 将要压缩的内容 （功能描述： 压缩文件和目录的命令，...
2018-08-12 14:21:45
134
原创 linux 时间日期类常用命令
显示当前时间：（1） date （功能描述： 显示当前时间）（2） date +%Y （功能描述： 显示当前年份）（3） date +%m （功能描述： 显示当前月份）（4） date +%d （功能描述： 显示当前是哪一天）（5） date +%Y%m%d date +%Y/%m/%d … （功能描述： 显示当前年月日各种格式 ）（6） date "+%Y-%m-%d %H:%M:...
2018-08-12 14:19:36
240
原创 linux vi文本类常用命令
一般模式：1） yy （功能描述： 复制光标当前一行） y数字y （功能描述： 复制一段(从第几行到第几行)）2） p （功能描述： 箭头移动到目的行粘贴）3） u （功能描述： 撤销上一步）4） dd （功能描述： 删除光标当前行） d数字d （功能描述： 删除光标(含)后多少行）5） x （功能描述： 删除一个字母， 相当于del） X （功能描...
2018-08-12 14:19:07
98
原创 linux文件目录类常用命令
pwd //显示当前工作目录的绝对路径lsls -a //查看全部文件，包括隐藏的（开头为.的文件）一起列出来ls -d //仅列出目录本身，而不是列出目录内的文件数据ls -l //长数据串列出，包含文件的属性与权限等等数据（也可以用 ll）ls -al //全部文件以最详细方式展现mkdir //创建文件夹mkdir [name] //创建文件夹mkd...
2018-08-12 14:18:36
365
原创 linux用户管理类常用命令：
useradd 添加新用户useradd [name]userdel 删除用户userdel [name] //删除用户但保存用户主目录userdel -r [name] //用户和用户主目录都删除passwd 设置用户密码passwd [name]回车后输入设置密码id 判断用户是否存在id [name]su 切换用户su ...
2018-08-12 14:18:02
166
原创 linux IP类常用命令
查看主机名：hostname修改主机名： vi /etc/sysconfig/network修改其中的HOSTNAME宏定义IP地址 eg. 用hadoop102表示192.168.10.102vi /etc/hosts将以下样例粘贴至文本内192.168.11.101 hadoop101192.168.11.102 hadoop1021...
2018-08-12 14:17:23
380
原创 Linux目录结构
linux与windows文件目录结构不同，在root用户登录模式下，文件目录结构呈以下的样式（本文使用的为CentOS6.8）。/bin 用于存放系统中必备的执行命令，就像window中安装JDK后内部也有bin文件一样。/boot 文件像电脑的boot一样，内部存放启动linux时的一些核心文件，用于linux启动用。/dev 是device（设备）的...
2018-08-09 16:12:36
190
原创 s3c2440移植MQTT
因为项目需要从机接收MQTT广播，网上有关2440的MQTT移植文章非常少，懵逼死我了，所以移植成功以后先把它写出来，给有需要的人看。我当时是参考了下面几篇文章，但是都不能顺利完成，几篇文章写得很好，需要相互借鉴。http://blog.sina.com.cn/s/blog_951adad70101tnyg.html http://zhuzhouhong8.blog.163.com/blog/st
2016-09-16 04:06:34
3387
2
原创 移植uboot第十步：制作uboot补丁
1.进入linux虚拟机，找到uboot文件夹u-boot-2012.04.012.清除编译过程文件make distcleanrm u-boot.dis //反汇编也清除掉3.在上一层目录输入命令mv u-boot-2012.04.01 u-boot-2012.04.01_jz2440将原先的uboot复制一份，重新起个名字4.解压原版uboottar xjf u-boot-2012
2016-08-14 02:56:39
1053
原创 移植uboot第九步：支持yaffs映像烧写
uboot启动以后，先烧写jffss看看能不能用tftp 30000000 fs_mini_mdev.jffs2nand erase.part rootfsnand write.jffs2 30000000 0x00260000 5b89a8“5b89a8”是实际文件的大小，下载以后会显示的，直接copy过来就可以了。这个时候还不能直接启动，uboot传给内核的参数需要修改bootargs=co
2016-08-14 02:56:04
595
原创 移植uboot第八步：裁剪、修改默认参数、分区
到这里uboot差不多已经结束了，再完成最后一步，就能启动内核啦。一. 首先先解决启动时的一个警告，这个和裁剪无关，只是先把警告消除掉*** Warning - bad CRC, using default environment这句话意思就是环境没有配置，搜索这句话是哪里打出来的 a.在env_common.c文件内的下面这个函数void set_default_env(const char
2016-08-14 00:44:02
4011
原创 移植uboot第七步：支持DM9000
一. 在Uboot中搜索DM9000，可以找到dm9000x.c，说明uboot是可以支持dm9000的。该文件的路径为：drivers\net\Dm9000x.c，找到net目录下的MakefileCOBJS-$(CONFIG_DRIVER_DM9000) += dm9000x.odm9000x是否编译取决于宏CONFIG_DRIVER_DM9000，同样，uboot原先默认的网卡是cs8900
2016-08-13 19:40:30
1987
原创 移植uboot第六步：支持NANDFlash
前面已经让板子能够支持NORFlash了，还没有支持NANDFlash。一. 找到之前第一步注释掉的NAND相关的宏定义//#define CONFIG_S3C2410 /* specifically a SAMSUNG S3C2410 SoC */#ifdef CONFIG_S3C2410#define CONFIG_NAND_S3C2410#define CONFIG_SY
2016-08-13 15:57:09
1978
原创 移植uboot第五步：支持NORFlash
之前已经将板子设为NAND启动了，但这只是能从NANDcopy代码，不代表板子就支持了以后对NANDFlash的读写操作。 启动板子以后输出信息：CPUID: 32440001FCLK: 400 MHzHCLK: 100 MHzPCLK: 50 MHzDRAM: 64 MiBWARNING: Caches not enabledFlash: *** f
2016-08-12 00:50:59
2086
原创 移植uboot第四步：设置NAND启动
移植的uboot使用NOR启动，不支持NAND，这次就是修改代码以支持NAND。 之前uboot的Makefile里面有-pie，前面写到了，这是为了生成位置无关码，代码可以copy到任何地方。因为代码段里面是有变量的，程序去读取变量的时候要知道变量的存放地址，你移到别的地方，变量的存储位置肯定会变。位置无关就是额外在一块内存区域中存放变量的地址信息，当移动代码的时候，要去读取这块区域，重新修改变
2016-08-11 01:12:18
2528
原创 移植uboot第三步：修改时钟
这个步骤弄死我了，弄了一宿，有很多原因，老是这里那里有问题。 因为是基于s3c2410改的boot，2410和2440在使用上区别不大，所以暂时修改不大。 1.还是从start.S依次往下看。 a.设置管理模式的代码都没有条件编译，肯定差不多，跳过。 b.关闭看门狗的条件编译是CONFIG_S3C24X0，都一样的，跳过 c.设置分频，这里需要改，2410和2440有区别。（先做个标记）
2016-08-10 15:07:20
1634
原创 移植uboot第二步：分析uboot
1.在make的过程中，最后会显示链接文件，如下 UNDEF_SYM=arm-linux-objdump -x board/samsung/smdk2410/libsmdk2410.o api/libapi.o arch/arm/cpu/arm920t/libarm920t.o arch/arm/cpu/arm920t/s3c24x0/libs3c24x0.o arch/arm/lib/libar
2016-08-10 15:03:17
779
原创 移植uboot第一步：下载，编译，烧到板子上试验
一直在看韦东山的二期视频，打算跟着移植一个uboot，百度uboot，进入官网，左侧SourceCode下载最新的源码，此次用的是和韦东山同款的u-boot-2012.04.01。步骤：1.建立Source ubsight工程，把2440要用到的东西添加进去，如果记不清，就全加，SI只是用来阅读代码的，全加没有坏影响，只是查找函数之类的时候会找到你不需要的文件里面去。2.把压缩文件通过FTP放入虚拟
2016-08-10 15:01:52
1598
原创 自己写一个最简单的bootloader_jz2440
boot是为了启动内核，本质上也就是一个裸板程序，就是为了引导内核的启动。所以打算自己写一个boot，功能只有引导内核启动。首先是汇编的代码段，是为了关闭看门狗，设置时钟以及代码的重定位，这些都是在main函数之前执行的。之前学习单片机的时候，我们只看到main函数，实际上是main之前的执行步骤都被包起来了。整个汇编文件的开头要写上 .text @这是为了表示这是一个
2016-08-10 14:57:05
1657
原创 NFS挂载失败（Kernel Panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0））
之前学了一个礼拜的JZ2440，跟着韦东山老师学的第一期，之前该学的也都学了，NFS当时也挂载上了，虽然懵懵懂懂不知道这到底有啥用。 后来有一些事就把学习耽搁了，昨天才把这东西重新捡起来，突然发现NFS挂不上了，当时没留下什么东西，所以也不知道是为什么挂不上，感觉可能是IP地址变了。当时要继续学下去的话感觉NFS挺重要的，就打算把NFS重新挂上去。 把配置的都照着以前的打上去，挂载的时候弹出`
2016-06-05 22:18:03
19890
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人