qq_15906905的博客

原创 AUC原理与计算（转）

转自：http://www.pianshen.com/article/5296267003/

原创 零样本学习和小样本学习（转）

2018年还剩不到10天，回顾一下今年CV（Computer Vision，计算机视觉）领域的进展，在技术上并没有迎来什么革命性的新突破。几个头部企业的业务重点，除了强化现有算法的精度，更多还是将精力投掷在商业布局上。似乎每家公司都在为这个看得见的“赛点”争分夺秒地发掘新应用场景。不过，还是有很多新技术的进步值得我们专门用一篇文章来说一说，比如今天要讲的Zero-Shot L...

原创 零次学习（Zero-Shot Learning）入门(转)

很久没有更文章了，主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的文章，且中间有一段时间在考虑要不要继续做这个题目，再加上我懒 (￢_￢)，所以一直拖到了现在。最近科研没什么进展，就想着写一个ZSL的入门性的文章，目的是为了帮助完全没有接触过这方面，并有些兴趣的同学，能在较短的时间对ZSL有一定的认识，并且对目前的发展情况有一定的把握。在此之前，需...

转载 BM25公式（转）

原创 直接从git下载来的java代码无法运行

一.假设我们类的路径是asd/com/stackoverflow/Test.java这样的；对于Test.java而言，包名是：com.stackoverflow则，我们就要把asd设置为Sources如下所示：二、然后发现错误：IDEA错误：Cannot start compilation: the output path is not specified for module "T...

转载 Siamese network 孪生神经网络--一个简单神奇的结构（转）

转：https://www.jianshu.com/p/92d7f6eaacf5

转载 embedding是个全连接层（转）

先来看看什么是embedding，我们可以简单的理解为，将一个特征转换为一个向量。在推荐系统当中，我们经常会遇到离散特征，如userid、itemid。对于离散特征，我们一般的做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况下，我们的通常做法就是将其转换为embedding。embedding的过程是什么...

转载 Focal Loss理解（转）

总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概...

转载 Tensorflow TFRecords及多线程训练介绍 ——详细(转)

先修知识——protocol bufferTF框架中多处使用了protocol buffer，protocol buffer全称Google Protocol Buffer，简称Protobuf，是一种结构化数据存储格式，类似于常见的Json和xml，而且这种格式经过编译可以生成对应C++或Java或Python类的形式，即可以用编程语言读取或修改数据，不仅如此，还可以进一步将定义的结构化数据进...

转载 监督学习、无监督学习、自监督学习和强化学习（转）

监督学习监督学习是目前最常见的机器学习类型。给定一组样本（通常由人工标注），他可以学会将输入数据映射到已知目标。一般来说，近年来过度关注的深度学习应用几乎都属于监督学习，比如光学字符识别、语音识别、图像分类和语言翻译。监督学习主要包括分类和回归，但还有更多的奇特变体，主要包括如下几种：1、序列生成（sequence generation）。给定一张图像，预测描述图像的文字。序列生成有时可以被...

转载 【DL】模型蒸馏Distillation

过去一直follow着transformer系列模型的进展，从BERT到GPT2再到XLNet。然而随着模型体积增大，线上性能也越来越差，所以决定开一条新线，开始follow模型压缩之模型蒸馏的故事线。Hinton在NIPS2014[1]提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部...

转载 知识蒸馏

知识蒸馏Distilling the Knowledge in a Neural Network这篇文章是2015年Hiton大神完成的一项黑科技技术，其第一次涉及了知识蒸馏（暗知识提取）的概念。可以从迁移学习和模型压缩的角度去理解这件事。重点在于提出soft target来辅助hard target一起训练，而soft target来自于大模型的预测输出，为什么要用soft target？...

原创 各种语言中排序算法内部实现

各种语言中排序算法内部实现：java：双轴快速排序和插入排序https://blog.csdn.net/xlgen157387/article/details/79863301python：归并排序https://blog.51cto.com/13460911/2147410...

转载 python中的del用法（转）

python中的del用法比较特殊，新手学习往往产生误解，弄清del的用法，可以帮助深入理解python的内存方面的问题。python的del不同于C的free和C++的delete。由于python都是引用，而python有GC机制，所以，del语句作用在变量上，而不是数据对象上。if __name__=='__main__': a=1 # 对象 1 被 变量a引用...

转载 MR全局变量的设置

mapreduce全局变量设置这两天正好在做倒排索引，需要利用总文档数来完成一项job，但是发现通过在最外层类设置static变量进行全局变量的共享时，发现并没用，在main函数给static变量赋值后，mapper类中取出的是0或者null。后面发现可能是由于每个mapper和reducer并不是存在同一个线程，所以导致无法共享static变量。后来在网上查了一下，大概有这么三种方法，共享全...

转载 idea将主程序和依赖jar包打包在一起（转）

1.右击项目打开open module settings2.依次打开3.选择你的程序主入口JAR files from libraies①和设置库中的jar文件选择第一个打包时会把依赖库(lib)一块打包,②选择第二个则会和lib下的库分开打包4.build5.继续build6.会在out文件下生成jar...

转载 Haddoop中的hdfs、hbase、 hive区别与联系

Hive：Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。HDFS:HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提...

原创 java正则表达式

java正则表达式分为两种1.查找匹配模式：得到匹配成功的字符串import java.util.regex.Matcher;import java.util.regex.Pattern;public class Learn { private static void regexLearn(){ String params = "我想租房我想买车我想"; //需要...

转载 linux下vim 选择文本，删除，复制，粘贴（转）

vim 选择文本，删除，复制，粘贴文本的选择，对于编辑器来说，是很基本的东西，也经常被用到，总结如下：v 从光标当前位置开始，光标所经过的地方会被选中，再按一下v结束。V 从光标当前行开始，光标经过的行都会被选中，再按一下Ｖ结束。Ctrl + v 从光标当前位置开始，选中光标起点和终点所构成的矩形区域，再按一下Ｃtrl + v结束。ggVG 选中全部的文本， 其中gg为跳...

原创 namedtuple的用法

Python的Collections模块提供了不少好用的数据容器类型，其中一个精品当属namedtuple。namedtuple能够用来创建类似于元祖的数据类型，除了能够用索引来访问数据，能够迭代，更能够方便的通过属性名来访问数据。在python中，传统的tuple类似于数组，只能通过下标来访问各个元素，我们还需要注释每个下标代表什么数据。通过使用namedtuple，每个元素有了自己的名字，...

原创 python读取各种文件的方式

1 读取xlsimport xlrddef get_xls_content(): data = xlrd.open_workbook('./test.xls') # 打开xls sheet = data.sheets()[0] # 读取第一个sheet nrows = sheet.nrows # 获取行数 for i in range(1,nrows):...

原创 shell脚本易错点总结

shell脚本总结1.等号两边不能有空格例如：获取七天前的日期：before_7_day=`date -d "7 days ago" +%Y-%m-%d`2.自定义函数只能返回数值，不能返回数组、字符串等内容。如果需要生成字符串等结果，可以声明为全局变量，然后将值赋给全局变量，这样就可以在函数外访问get_string(){ number1=1 number2=2...

原创 python 根据文件的编码格式读取文件

因为各种文件的不同格式，导致导致文件打开失败，这时，我们可以先判断文件的编码吗格式，然后再根据文件的编码格式进行读取文件举例：有一个data.txt文件，我们不知道它的编码格式，现在我们需要读取文件的编码格式：　　import chardetdef get_data(): path = r'data.txt' f = open(path,'rb') # 先...

原创 shell脚本注意点

1.等号两边不能有空格，例如：获取七天前的日期：before_7_day=`date -d "7 days ago" +%Y-%m-%d`2.自定义函数只能返回数值，不能返回数组、字符串等内容。如果需要生成字符串等结果，可以声明为全局变量，然后将值赋给全局变量，这样就可以在函数外访问get_string(){ number1=1 number2=2...

原创 Git恢复之前版本的两种方法reset、revert（图文详解）（转）

一、问题描述在利用github实现多人合作程序开发的过程中，我们有时会出现错误提交的情况，此时我们希望能撤销提交操作，让程序回到提交前的样子，本文总结了两种解决方法：回退（reset）、反做（revert）。二、背景知识git的版本管理，及HEAD的理解使用git的每次提交，Git都会自动把它们串成一条时间线，这条时间线就是一个分支。如果没有新建分支，那么只有一条时间线，即只有一个分支，在Gi...

原创 win10下MYSQL的下载、安装以及配置超详解教程（转）

下载MYSQL官网下载MYSQL5.7.21版本，链接地址https://www.mysql.com/downloads/。下载流程图如下：进入官网点击Community，下载社区版。找到MYSQL Community Server，点击下方DOWNLOAD，进入下载页面。滑动到页面底部，官网提供了不同电脑位数（32/64位）的下载版本，我的电脑是win10-64位的，选择对应版本下载解压...

原创 python 正则表达式

Python正则式的基本用法1.1基本规则1.2重复1.2.1最小匹配与精确匹配1.3前向界定与后向界定1.4组的基本知识2．re模块的基本函数2.1使用compile加速2.2 match和search2.3 finditer2.4字符串的修改与替换3．更深入的了解re的组与对象3.1编译后的Pattern对象3.2组与Matc...

原创 python 错误

1.原因：json的属性名称必须要用双引号括起来。需要找到第一行的1705的数据，将属性用双引号括起来

原创 java bug集锦

1.

原创 java json解析（转）

转自：https://www.cnblogs.com/sunnywindycloudy/p/8343013.html给服务端发送请求后，服务端会返回一连串的数据，这些数据在大部分情况下都是XML格式或者JSON格式。然后JSON相对XML来说解析相对方便一些，所以先说说JSON的解析。JSON的基本数据格式有这几种：1.一个JSON对象——JSONObject{"name":...

原创 Python常用字符编码（转）

Python常用字符编码字符编码的常用种类介绍　　第一种：ASCII码　　　　ASCII（American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。如下图所示：...

原创 特殊符号集锦（转）

QQ起昵称专用特效字符︻︼︽︾〒↑↓☉⊙●〇◎¤★☆■▓「」『』◆◇▲△▼▽◣◥◢◣◤ ◥№↑↓→←↘↙Ψ※㊣∑⌒∩【】〖〗＠ξζω□∮〓※》∏卐√ ╳々♀♂∞①ㄨ≡╬╭╮╰╯╱╲ ▂ ▂ ▃ ▄ ▅ ▆ ▇ █ ▂▃▅▆█ ▁▂▃▄▅▆▇█▇▆▅▄▃▂▁贴图字符大全A、希腊字母大写 ΑΒΓΔΕΖΗΘΙΚ∧ΜΝΞΟ∏Ρ∑ΤΥΦΧΨΩB、希腊字母小写 α β γ δ ε ζ η θ ι κ λ μ ...

原创 neo4j性能调优（转）

最近在公司实习做的就是优化neo4j图形数据库查询效率的事，公司提供的是一个在Linux上搭建且拥有几亿个节点的数据库。开始一段时间主要是熟悉该数据库的一些基本操作，直到上周才正式开始步入了优化数据库查询效率的阶段，然而庆幸的是在这周就已经把数据库的查询效率优化的可以商用了。 刚开始时，在公司的neo4j数据库中进行关联查询时，有些查询指令甚至长达两小时都未返回待查结果，以致无法满...

原创 需要转义的java字符（转）

特别字符说明$匹配输入字符串的结尾位置。如果设置了RegExp对象的Multiline属性，则$也匹配‘\n'或‘\r'。要匹配$字符本身，请使用\$。( )标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用\(和\)。*...

原创 hadoop fs -text和hadoop fs -cat的区别（转）

转自：https://www.jianshu.com/p/4462613d3f57

原创 docker和dockerfile极简入门（转）

转自：https://blog.csdn.net/qq_33256688/article/details/80319673

原创 docker原理（转）

可能是把Docker的概念讲的最清楚的一篇文章【编者的话】本文只是对Docker的概念做了较为详细的介绍，并不涉及一些像Docker环境的安装以及Docker的一些常见操作和命令。Docker是世界领先的软件容器平台，所以想要搞懂Docker的概念我们必须先从容器开始说起。先从认识容器开始什么是容器？先来看看容器较为官方的解释：一句话概括容器：容器就是将软件打包成标...

原创 neo4j配置（转）

我的neo4j配置# 修改第9行，去掉#，修改数据库名dbms.active_database=wkq_graph.db# 修改第12行，去掉#。修改路径，改成绝对路径dbms.directories.data=C:/WorkSpaces/Neo4j/# 修改9行和12行后，neo4j数据存放在 C:/WorkSpaces/Neo4j/databases/wkq_graph...

原创 maven项目（转）

我记得在搞懂maven之前看了几次重复的maven的教学视频。不知道是自己悟性太低还是怎么滴，就是搞不清楚，现在弄清楚了，基本上入门了。写该篇博文，就是为了帮助那些和我一样对于maven迷迷糊糊的人。有福了，看完基本上你就会发现原来这么简单。　　　　　　参考博文：通俗理解maven　　　　　　该篇文章篇幅很长，大概的思路如下　　　　　　　　　　maven的介绍，初步认识，获取jar包...

原创 py2neo的使用（转）

转自：https://blog.csdn.net/sinat_26917383/article/details/79901207#24-%E7%B1%BB%E4%BC%BCset%E7%9A%84%E9%87%8D%E8%AE%BE-pushsetdefaultupdate图数据库常规的有：neo4j（支持超多语言）、JanusGraph/Titan（分布式）、Orientdb，goog...