一花一世界 一叶一菩提

原创 ubuntu系统多gcc版本管理 gcc9

ubuntu gcc9多版本升级和管理

原创 CMakeFiles.txt 中比较常见的函数

1、aux_source_directory在 aux_source_directory(path tag_name) 在path目录中查找所有源文件 并将文件整合到tag_name里例:aux_source_directory(src/board SRCS)add_executable(TestBin ${SRCS} src/main.cc)2、list 可以在tag_names的list中去除比如main.cc的tag例：aux_source_directory(src SRCS)au

转载 Ubuntu 16.04升级gcc 到 gcc7.2.0

引用说明：https://blog.csdn.net/xiaomayi1994/article/details/105325872在此基础上进行加工修改最近在跑编译的时候提示：error: cannot convert ‘const std::__cxx11::basic_string’ to ‘const char*’使用gcc -v查看gcc的版本，发现gcc的版本太低，需要升级gcc的版本。本来打算使用sudo apt-get upgrade升级，但是使用该命令的时候出现错误：libstdc+

原创 Transformer的MultiHeadedAttention pytorch代码

class MultiHeadedAttention(nn.Module): """Multi-Head Attention layer :param int n_head: the number of head s :param int n_feat: the number of features :param float dropout_rate: dropout rate """ def __init__(self, n_head, n_feat,

原创 互联网大厂的路上，我拒绝了多少诱惑

送给每一个研究生毕业或未毕业，准备实习或犹豫选择去哪个公司的程序员们。我将从以下几点，分享一些程序员小白的经历。研究生篇：想必看到这篇文章的同学，大部分都是程序员出身，在各自的学校或实验室都经历过写论文，敲代码的阶段。从我个人的经历来看，写论文是毕业的必要条件，敲代码是将来成为技术大牛的必要条件。我记着在毕业的前1年，我的很多同学，都已经找到了不错的实习单位，头条，京东，百度，阿里，美团，微...

原创 LAS 开源框架实例

LAS 开源框架梳理 （kaldi+pytorch版本）参考开源框架github地址W. Chan, N. Jaitly, Q. Le, and O. Vinyals, “Listen, attend and spell: Aneural network for large vocabulary conversational speech recognition,”in ICASSP 2...

原创 一图读懂C++ 指针与引用

转载 SSH 跳板机到目标机

ssh username@目标机器ip -p 22 -o ProxyCommand='ssh -p 22 username@跳板机ip -W %h:%p'也可以修改配置文件 ~/.ssh/config ， 若没有则创建：Host tiaoban #任意名字，随便使用 HostName 192.168.1.1 #这个是跳板机的IP，支持域名 Port 22 ...

原创 使用estimator结构训练tf模型

。。。

原创 CTC,RNN-Transducer, LAS

CTCRNN-Transducer网络结构LAS

转载 HMM 模型笔记

参考网址HMM模型的5元组每个模型都有自己相关的概念，弄清算法之前我们先来看看这个模型的基本概念，5元组。（S,K,π,A,B）：以上分别对应了HMM中的5个重要概念S：隐藏状态的集合（Sun Cloud Rain），N为隐状态个数 N=3K : 输出状态或者说观测状态的集合（Soggy Damp Dryish Dry），M为观测状态个数M=4π : 对应隐藏状态的初始化概率 （sun...

原创 FM、FMM、DeepFM整理（pytorch）

FM的模型方程为:y=w0+∑i=1nwixixj+∑i=1n∑j=1n&lt;vi,vj&gt;xixjy=w_0 + \sum_{i=1}^{n}{w_ix_ix_j}+\sum_{i=1}^{n}\sum_{j=1}^{n}{&lt;v_i,v_j&gt;x_ix_j}y=w0​+i=1∑n​wi​xi​xj​+i=1∑n​j=1∑n​<vi​,v...

原创 awk指令实例笔记

awk实例awk "/kkkk/" test.csv #显示含kkkk的行。awk -F ":" '{print $1,$2}' test.csv　　#以“:”为分割（不写-F ':'默认以空格分割）,显示test.csv每一行的第1和第2个字段。$1代表第1个字段，$2代表第2个字段，其他类推。输出默认以空格分割.awk -F "[,.:]" '{print $1,$2}' test.c...

原创 python中multiprocessing、multiprocessing.dummy和threading用法笔记

multiprocessing1、子进程无返回值# -*- coding:utf-8 -*-from multiprocessing import Pool as Poolimport timedef func(msg): print 'msg:', msg time.sleep(2) print 'end:' pool = Pool(processe...

原创 2018年9月3日 贝壳笔试题（线段树+二分查找）

题目： 算法思路： 考虑每一个骨牌：倒下后产生区间[xi,xi+hi−1][xi,xi+hi−1][x_i,x_i+h_i-1]。 区间内会连带后面未知长度区间的骨牌倒下。假设最后倒下的区间为[xi,farthesti][xi,farthesti][x_i, farthest_i ]。 首先很容易写出时间复杂度为O(n2)O(n2)O(n^2)（肯定超时）的动规方程：dpi=maxkj=...

原创 ACM常用接口整理 (模板)

0. C++常用接口1. 二分查找左边界#include &amp;amp;amp;lt;cstdio&amp;amp;amp;gt;#include &amp;amp;amp;lt;cstring&amp;amp;amp;gt;#include &amp;amp;amp;lt;iostream&amp;amp;amp;gt;#include &amp;amp;amp;lt;algorithm&amp;amp;am

原创 小模板（C++、Python）

此模板限于MAC上的ClionC++ 模 板#include &amp;amp;amp;lt;cstdio&amp;amp;amp;gt;#include &amp;amp;amp;lt;cstring&amp;amp;amp;gt;#include &amp;amp;amp;lt;iostream&amp;amp;amp;gt;#include &amp;amp;amp;lt;algorithm&amp;amp;amp;gt;

原创 信息检索 DCG、NDCG、AUC、BM25、F1-Score、AP

1、DCG例子: 文章库内有4个文章 d1d1d_1、d2d2d_2、d3d3d_3、d4d4d_4。针对查询Q，每个文档的打分别为：d1=0分d1=0分d_1=0分、d2=1分d2=1分d_2=1分、d3=2分d3=2分d_3=2分、d4=2分d4=2分d_4=2分。 查询Q在系统S中返回的结果顺序为: d3d3d_3、d2d2d_2、d4d4d_4、d1d1d_1。解：DCG公式为：...

原创 算法岗面试题目整理

鄙人才疏学浅。有整理不到位的，勿喷。整理的题目为大类型，面试中可能极可能会出现类似的变形，大同小异，认真思考就会出结果（勿慌）。 1、链表操作最基本C++ 指针与引用类继承，多态（不懂的百度吧）正则表达式(矩阵)快速幂筛素数（了解）二叉树前、中、后序遍历（递归、非递归形式(较难)）第一节 链表操作相关注: 该节需要写代码实现 1. 反转链表（前插） 2. 遍...

原创 datetime; timedelta

from datetime import datetime, timedelta日期转换字符串now = datetime.now().strftime(“%Y-%m-%d %H:%M:%S”)print(now)字符串转日期now = datetime.strptime(now,”%Y-%m-%d %H:%M:%S”) print(now)日期运算now...

转载 Thrift笔记

Thrift 笔记参考地址: https://blog.csdn.net/dutsoft/article/details/71178655hello.thrift文件的内容service HelloService { string say(1:string msg)}server.py文件内容如下import socketimport sysfrom he...

原创 image caption初探

看图说话怎么玩1、首先你需要一些有标题的数据集比如coco的image caption。Flickr8k数据集也不错。2、基础模型框架可以参考这个作者写的代码(初级)：https://github.com/anuragmishracse/caption_generator该作者使用的数据集vocab_size字典库的大小为8256. 模型的输入X的其中一部分是(224,224,3)的图像经过Vgg...

原创 各种GAN结构（笔记）

参考网站: https://github.com/znxlwm/pytorch-generative-model-collectionsGAN的发展史及paper: http://blog.csdn.net/u013369277/article/details/609541701、CGAN （Condition GAN）2、ACGAN  (Auxiliary Classifier GAN)3、GA...

原创 utils.py

我的utils.py#!/usr/bin/env python# -*- coding: UTF-8 -*-from datetime import datetimefrom datetime import timedeltaimport dateutilimport dateutil.tzimport pandas as pdimport os, copy, math, ti...

原创 tweepy 爬去twitter数据

demo参考地址：http://www.cnblogs.com/webRobot/p/6281556.html?utm_source=itdadao&utm_medium=referral配置参考地址：http://blog.csdn.net/Andy_Shan/article/details/51878803

原创 mac配置texshop以及latex语法

第一步：mac安装basictex$ brew cask install basictex第二步：下载texshop官网链接：http://pages.uoregon.edu/koch/texshop/第三步：打开texshop建立模板发布论文时，各大期刊或会议官网提供latex的相关论文格式文件包,下载下来直接在demo中改即可。第四步：常用数学公式编辑参考网址：

原创 hive相关语法与操作

第一点：导入txt文件到hive参考网址：http://blog.csdn.net/wisgood/article/details/40560799hive操作参考网址：http://blog.csdn.net/fengshi_fengshi/article/details/51395198模板代码：create database if not exists dw_

转载 hive 各配置参数用法

1、hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true2、hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 12

原创 集群下安装Hive

部署参考网址：http://blog.csdn.net/w12345_ww/article/details/51910030hive概念参考网站：http://blog.csdn.net/liyongke89/article/details/51392910强烈建议参考：http://blog.csdn.net/t1dmzks/article/details/72026876Hadoo...

原创 NLP、Language Model、LSTM、Attention model

参考代码：https://github.com/yunjey/pytorch-tutorial/tree/master/tutorials/02-intermediate/language_modellstm简单介绍：https://zhuanlan.zhihu.com/p/24720659一、RNN与LSTM结构1) RNN: ...

原创 生成对抗网络（GAN）初探

参考网址：https://github.com/yunjey/pytorch-tutorial数据参考网址： 后期补上gan的缺点：其实使用过GAN的人应该知道，训练GAN有很多头疼的问题。例如：GAN的训练对超参数特别敏感，需要精心设计。GAN中关于生成模型和判别模型的迭代也很有问题，按照通常理解，如果判别模型训练地很好，应该对生成的提高有很大作用，但实际中恰恰相反，如果将判

原创 hadoop生态系统初探

参考网址1：http://blog.csdn.net/woshiwanxin102213/article/details/19688393参考网址2：http://blog.csdn.net/u010270403/article/details/51493191Hadoop的生态系统-概述1) Nutch，互联网数据及Nutch搜索引擎应用2) HD

原创 深度学习领域PyTorch项目-git源码整理

原文地址: http://www.sohu.com/a/164171974_741733 本文收集了大量基于 PyTorch 实现的代码链接，其中有适用于深度学习新手的“入门指导系列”，也有适用于老司机的论文代码实现，包括 Attention Based CNN、A3C、WGAN等等。所有代码均按照所属技术领域分类，包括机器视觉/图像相关、自然语言处理相关、强化学习相关等等。所以如果你打算入手这风

原创 MongoDB: Linux or Windows

下载地址：https://www.mongodb.com/download-center#community windows 安装MongoDB参考网址：http://jingyan.baidu.com/article/d5c4b52bef7268da560dc5f8.html Linux安装MongoDB参考网址: http://www.cnblogs.com/grimm/p/5301135

原创 Django开发in Windows or Linux

1、windows上开发参考网址:http://www.cnblogs.com/hongten/p/hongten_django_install.html 依赖：win + python2.7环境。 注意若是Linux环境先安装:sqlite-develsudo apt-get install sqlite-devel第一步:安装官方下载Django压缩包官方网址：ht...

原创 Pytorch学习笔记

强烈推荐学习网站：https://sherlockliao.github.io/2017/05/01/logistic_regression/ 10分钟学会Pytorch（1~10）都应该学会。几个重要函数：torch.utils.data.DataLoader： 首先DataLoader是导入图片的操作，里面有一些参数，比如batch_size和shuffle等，默认load进去的图片类型是

原创 RedHat配置GPU计算环境

第一步:安装nvidia显卡驱动安装文件下载网址：http://www.nvidia.cn/Download/index.aspx?lang=cn选择对应的显卡型号:down$ wget -r -O xxxx.rpm "download_url"指令集如下：Once you accept the download please follow the steps liste

原创 keras中ImageDataGenerator用法

keras函数讲解连接：http://keras-cn.readthedocs.io/en/latest/preprocessing/image/keras.preprocessing.image.ImageDataGenerator(featurewise_center=False, samplewise_center=False, featurewise_std_normaliz

原创 模型融合：bagging、Boosting、Blending、Stacking

Ensemble GenerationEnsemble Learning 是指将多个不同的 Base Model 组合成一个 Ensemble Model 的方法。它可以同时降低最终模型的 Bias 和 Variance（证明可以参考这篇论文，我最近在研究类似的理论，可能之后会写新文章详述)，从而在提高分数的同时又降低 Overfitting 的风险。在现在的 Kaggle 比赛中不用 Ensemb

转载 java 堆内与堆外内存；java的栈内存和堆内存

堆内存完全由JVM负责分配和释放，如果程序没有缺陷代码导致内存泄露，那么就不会遇到java.lang.OutOfMemoryError这个错误。使用堆外内存，就是为了能直接分配和释放内存，提高效率。JDK5.0之后，代码中能直接操作本地内存的方式有2种：使用未公开的Unsafe和NIO包下ByteBuffer。堆外内存的好处是：1、可以扩展至更大的内存空间。比如超过1TB甚至比主存还大的空间。