暗焰之珩的博客

原创 TransE如何进行向量更新？

目录算法伪代码SGD中的向量更新代码实现关于TransE，博客上各种博文漫天飞，对于原理我就不做重复性劳动，只多说一句，TransE是知识表示算法翻译算法系列中的最基础算法，此处还有TransH、TransD等等；个人觉得翻译算法的叫法是不太合适的，translating，叫做平移或者变换算法可能更加符合作者的原本意图，利用向量的平移不变性去做链路预测。了解原理个人觉得以下两篇足够...

原创 MongoDB-$project操作符根据条件修改字段

在$project中直接使用$cond操作符即可，如下，如果current_operator字段为空或者为空列表，那么就把这个字段展示为["-"]db.alarm.aggregate([ // {'$match':{"create_time":{"$gt":ISODate("2021-05-12T15:23:12+08:00"),"$lt":ISODate("2021-12-23T17:51:15.964+08:00")}}}, { '$project': {

转载 CentOS7恢复rm -rf 误删的xfs系统

误删除文件 删除前查看都有哪些文件或者压缩文件 ]# df -h文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/centos-root 50G 1.5G 49G 3% /devtmpfs ...

原创 MongoDB $unwind保留空数组

MongoDB的aggregate的pipeline中，有$unwind操作符，该操作符用于延展某一个数组类型的元素，作用与Python中的flatten(拍平)类似。但是在实际使用中，$unwind有一个非常明显的问题，就是如果要unwind的字段为空数组或者不存在时，则不会输出该文档。这样会引发pipeline中的计数有问题或者文档条目数莫名的减少。方法一在MongoDB 3.2和更高版本中，$unwind运算符现在具有一些选项，其中特别是preserveNullAndEmptyArra...

原创 Shell学习整理

目录Shell学习整理Shell变量Shell中的字符串Shell数组Shell字符串截取的八种方法Vim快速注释多行与快速去注释多行Shell传递参数Shell数组Shell基本运算符echo命令Printf命令shell流程控制For循环While语句Until循环Case语句Shell函数开发脚本中遇到的问题Help函数的书写脚本中使用rm/mv/cp会提示overwritemv路径时提示Shell学习整理记录

翻译 MongoDB筛选数组中每一条数据都满足条件的文档

假设存在如下的数据date: Dateusers: [ { user: 1, group: 1 } { user: 5, group: 2 }]date: Dateusers: [ { user: 1, group: 1 } { user: 3, group: 2 }]我想查询该集合以查找所有满足如下条件的文档：用户数组中的每个用户ID（即user）都位于[1、5、7]中。 在此示例中，仅第一个文档匹配；可以使用如下的语句满足对应需求，但是会存在性能问题：$whe

原创 mongoDB杂项

db.expert.update({"migrate_flag":{"$exists":true}},{$unset:{"migrate_flag":""}},{multi:true});

原创 MongoDB利用$elemMatch对内嵌文档进行多条件查询

目录背景内嵌文档单条件查询多条件查询背景问题：遇到如下类型的数据，想要查询出所有文档中 满足members中任意一条的name以"Bule"开头且其中的gender为"M" 的文档。// collection: test{ "_id" : ObjectId("5fc4646a2b7bfb044c042e52"), "id" : 1, "members" : [ { "name" : "BuleRiver1", "age" : 27, "gender"

原创 mongoDB拷贝数据库

nosqlBooster免费版不支持copyDatabase命令，只好自己动手，写个简单for循环脚本，效率不高 还是建议安装的时候装一个破解版var t=db.getCollectionNames()t.forEach(function(item){ var bulk = db.getSiblingDB('copy_to_database')[item].initializeUnorderedBulkOp(); db.getCollection(item).find().forEach(fun

转载 debug时提示 pause the process to use the command line

Pycharm 断点调试（Debug）时使用控制台（Console）打印或操作变量（类似于wing6.0） 1 准备2 断点调试3 进入控制台 原文链接： https://blog.csdn.net/qq_36743482/article/details/9473753...

转载 Pycharm上传工程到远程服务器

       原文链接：https://blog.csdn.net/qq_24193303/article/details/80902322        现在机器学习可谓是最火热的一门学科，很多程序猿们或多或少的都有接触过这方面的经历。如果你对这领域还算有些了解的话，肯定知道模型的训练，是机器学习中最...

原创 MongoDB聚合语句

许久没有再写博客，发生了很多事。最近在学习MongoDB，简单记录一下mongoDB的聚合语句：db.alarm.aggregate( [ // {$match:{'$and': [{'event_status': {'$in': ['white', 'rejected']}}]}}, // {$unwind: "$tag"}, //这里要特别注意不能够使用unwind {'$project': {'emergency_degree': 1, 'tag3': 1, 'busine

原创 Java调用Python的方法

Java调用Python的方法方法一：Runtime.getRuntime()首先，add_test.py代码如下def add(a,b):return a + bres = add(3,4)print(res)Java代码：package first;import java.io.*;public class invoke {public static void main(String[] args) throws IOException,Inter...

原创 AdaBoost公式简单版本的推导

读书随处净土，闭门即是深山。假期夜时，突然想到了《小窗幽记》这句话，补上这一篇很久之前就应该记录的笔记。背景集成学习在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的...

原创 逻辑回归梯度下降推导

目录什么是逻辑回归逻辑回归的代价函数是怎么来的？逻辑回归求导参考什么是逻辑回归 逻辑回归（Logistic Regression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。之所以顶着一个回归的马甲是因为和线性回归的联系太紧密了，我们常见的线性回归，预测函数如右：。在它后面接上一个sigm...

原创 InfluxDB学习整理

目录1 InfluxDB特点2 InfluxDB概念2.1 数据格式Line Protocol2.2 Point2.3 Series2.4 Shard3 存储引擎-TSM Tree3.1 Shard3.2 Cache3.3 WAL3.4 TSM file3.5 Compactor4 目录与文件结构4.1 整体目录结构4.2 WAL文件...

原创 安装quagga与配置quagga ospf

Quagga安装首先要求探测机服务器能够连接外网源，Centos能够使用外网yum源，Ubuntu能够使用外网apt源，能够使用外网源直接下载运行相关软件。1、首先查看探测机服务器的系统类型：# cat /etc/issue2、如果是Centos/RedHat类系统，使用#yum install -y quagga命令安装quagga，如果是Ubuntu系统，使用#sud...

原创 Java中个人疑问点总结

简单声明，这一篇仅仅是个人的云笔记，简单记录了之前自己遇到的一些Java问题。希望看到这篇笔记的读者可以直接退出，记得很杂乱，Java连皮毛都没学到，不喜勿喷。1 Maven1.1 问题1.1.1 什么是classpath顾名思义其即为class的path，就是类的路径。在指定一些配置/资源文件的时候会使用到classpath。1.1.2 Maven scope的配置项意义...

原创 socket可以监听到对应数据但是tcpdump监听不到

前段时间抓包时遇到的一个小问题，还是记录一下，根源还是对于网络不太熟悉。自己写了一个简单的Python脚本监听对应的udp端口，发现socket可以监听到对应数据，但是tcpdump监听不到。Python代码如下：#! /usr/bin/pythonimport socketHOST = ''PORT = 1111s = socket.socket(socket.AF_INET,...

原创 Python多进程

目录多进程访问冲突多进程通信mp.Queuemp.PipeValue\ArrayManager共享Value、Array、dict、list、Lock、Semaphore等mp.Manager共享自定义类的实例对象Python进程池参考上接Python多线程，简单记录一下多进程中遇到的问题，本文中将multiprocessing简写为mp。多进程访问冲...

转载 深度学习EMA的注意事项

目录EMA介绍概念弥补不足：初始数据积累不足的情况深度学习训练中的作用实现典型步骤一个EMA影子变量的例子进一步接近真实情景，让w1变动例2:global_step的trai...

原创 深度学习中EMA的使用场景

在复习《Tensorflow实战Google深度学习框架（第2版）》一书的第5章，第97页时，遇到了一个问题。EMA，大家都知道，指数滑动平均，好处在于1.平滑数据、2.可以存储近似n个时刻的平均值，而不用在内存中保留n个时刻的历史数据，减少了内存消耗。但是，EMA在深度学习中的使用场景是什么？参与了训练过程还是测试过程？哪些场景不需要使用ema？什么是EMA ...

原创 LeetCode-树

写这一系列的笔记，是为了分类整理LeetCode里面的算法题目，以及涉及到的算法的知识点。树天然就是一种递归结构，所以与树相关的问题，通常都是以下三步：1、明确递归停止的条件(何时return)；2、递归的本质是栈式调用，明确从树的叶子节点到根节点的主要的代码逻辑；3、二叉树分左右两棵子树递归。多叉树for循环递归。在Python中，为了减少参数个数，一般树的递归或者dfs通常会和闭包混合使用...

原创 Python多线程

Python的多线程一直想对Python的多线程和多进程做一个简单的总结，毕竟开发到后面始终都是会用到并发和并行的设计知识的，现简单总结如下。 基本概念 并行与并发 并行：同时处理多个任务的能力，指的是任务数小于等于cpu核数，任务真的是一起执行的。 并发：交替处理多个任务的能力。指的是任务数多于cpu核数，通过操作系统的各种任务调度算法，实现用多个任务“一起”执行...

原创 Kibana7导出数据到csv

转载 VirtualBox实现虚拟机互通

<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"> ...

原创 C语言实现条件编译

在某些情况下，我们会有条件编译的需求，即我们希望代码能够在编译时走不同的分支，但是又不希望写两份代码，这会使得后期维护的代价增加。C不太熟，简单说一下我理解的条件编译。修改Makefile定义宏进行条件编译写一个简单的C程序hello.c：#include<stdio.h>void main(){#ifdef DEBUGprintf("#ifdef DEBUG i...

原创 Centos7安装DPDK

目录Centos7安装DPDK1系统准备工作1.1查看Linux机器是否为NUMA结构1.2大页内存的挂载和分配1.3加载启动dpdk需要的uio功能1.4网络端口绑定和解绑定到内核驱动模块2.安装依赖包3.解压与编译运行4.问题与解决方法4.1make: *** /lib/modules/3.10.0-229.el7.x86_64/build: 没有那个文...

原创 CentOS6离线安装CDH5.10.0

目录CDH5.10.0离线安装手册1.yum源配置（所有节点）2.网络配置（所有节点）3.免密传输与简单传输脚本的使用(主节点)4.安装Oracle的Java（所有节点）5.安装配置MySQL（主节点）6.关闭防火墙和SELinux(所有节点)7.配置NTP服务(所有节点)8.安装Cloudera Manager Server 和Agent9.CDH5.10...

原创 Centos7上用Ambari+HDP2.6.4安装大数据环境

目录1概述2系统环境配置2.1Hdp所需软件下载2.2主机规划2.3部署2.3.1修改主机名与关闭防火墙、SElinux2.3.2配置ambari-server（ams）免密登录其他节点2.3.3配置阿里yum源（所有节点）2.3.4配置J...

原创 《TensorFlow实战Google深度学习框架》API整理（五）

目录Ch7 图像数据处理TfRecord相关API图像处理APItf.train.Coordinator() 与 tf.train.start_queue_runner()tf.train.match_filenames_once()Dataset数据集的使用方法参考Ch7 图像数据处理TfRecord相关APItf.train.Feature()...

原创 《TensorFlow实战Google深度学习框架》API整理（四）

目录Ch6 图像识别与卷积神经网络基础知识回顾tf.nn.max_pool()/ tf.nn.avg_pool()tf.nn.bias_add()/ tf.add_n()/tf.add()pool2.get_shape().as_list()/tf.sahpe()tf.add_to_collection()np.array()/np.asarray()os.w...

原创 《TensorFlow实战Google深度学习框架》API整理（三）

目录Ch5:MNIST数字识别问题from tensorflow.examples.tutorials.mnist import input_datatf.nn.relu()tf.truncated_normal()tf.argmax()tf.nn.sparse_softmax_cross_entropy_with_logits()tf.contrib.layer...

原创 《TensorFlow实战Google深度学习框架》API整理（二）

目录Ch4 深层神经网络tf.greater()/tf.greater_equal()/tf.equal()tf.where()tf.train.Optimizer(learning_rate).minimize()tf.losses.mean_squared_error()tf.square()指数滑动平均Ch4 深层神经网络tf.greater()/tf.g...

原创 《TensorFlow实战Google深度学习框架》API整理（一）

最近在学习深度学习的相关知识，建议将学习吴恩达老师深度学习视频与学习《TensorFlow实战Google深度学习框架》一书结合起来交错进行。同时推荐一个学习吴恩达老师深度学习的GitHub地址，能够方便地对授课内容进行回顾总结，https://github.com/fengdu78/deeplearning_ai_books。这一系列笔记，主要是对《TensorFlow实战Google深度学习框...

原创 Python的exec

目录exec()简单使用动态执行简单的字符串代码动态执行较复杂的代码执行文件中的Python代码在exec中传参​使用中遇到的问题参考exec()简单使用个人比较喜欢用Python里面的exec()，可以用来动态执行字符串代码，在for循环里面能快速执行大量类似于list1= 1，list2=2，list3=3..这样的语句，使代码显得更加简洁。首...

原创 Python print(end=\r)实现屏幕数值进度条滚动

\r 代表回车，也就是打印头归位，回到某一行的开头。在Linux中执行一个简单的Python脚本，可以查看到每一次的打印都会回到本行的开头，由于速度太快人眼认为滚动输出。但是不知道为什么windows的Pycharm做不到这一点。...

原创 Python剑指offer与LeetCode

https://github.com/haidfs/Sword2Offer_Pythonhttps://github.com/haidfs/LeetCode

原创 Python中的os.walk()

菜鸟教程对绝大多数的api介绍都比较详细：http://www.runoob.com/python/os-walk.html语法walk()方法语法格式如下：os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])参数 top-- 是你所要遍历的目录的地址, 返回的是一个三元组(root,dir...

转载 Python实现字符串排列

支持原创，转载链接如下：https://blog.csdn.net/u010005281/article/details/79920046题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述:输入一个字符串,长度不超过9(可能有字符重复),字...