- 博客(64)
- 收藏
- 关注
RSS订阅转载 numba与numpy对比
numba相对于numpy一个非常明显的优势：numba可以把各种具有很大loop的函数加到很快的速度，但numpy的加速只适用于numpy自带的函数。但要注意的是，numba对没有循环或者只有非常小循环的函数加速效果并不明显，用不用都一样。（偷偷告诉你，numba的loop甚至常常比numpy的矩阵运算还要快）...
2022-01-28 21:05:44
962
1
原创 c++实现图像padding same模式算法
int const image_new_width = (image_width + conv_width_step -1)/conv_width_step; //image new width after conv and ceil int const image_new_height = (image_height + conv_height_step -...
2019-09-20 16:48:00
1755
原创 python层和c++分别实现图像维度转置算法：
HWCN --> NCHW python实现：import numpy as npimport tensorflow as tfdata_org = np.arange(1,28,1 )data_resh = np.reshape(data_org, [3, 3, 1, 3])print(data_resh[1, 2, 0, 2])data1 = np.reshape...
2019-09-20 16:26:14
1109
1
原创 在kubernetes集群上使用ks搭建kubeflow
安装ks：$ wget https://github.com/ksonnet/ksonnet/releases/download/v0.9.2/ks_0.9.2_linux_amd64.tar.gz$ tar xvf ks_0.11.0_linux_amd64.tar.gz$ sudo cp ks_0.11.0_linux_amd64/ks /usr/local/bin/$ ks ...
2019-09-03 10:26:07
1877
原创 使用kubeadm工具搭建kubernetes集群
关闭swap分区：Swapoff –aSetenforce 0Kubernetes 部署：###########################kube源##############################apt-get update && apt-get install -y apt-transport-httpscurl https://...
2019-09-03 10:20:31
462
原创 pip 下载加速
pip3.6 install *** -i https://pypi.doubanio.com/simple从豆瓣网仓库下载相应的软件包
2019-06-14 17:38:22
620
转载 tensorflow模型优化--量化
量化的概念：量化(quantitative)，这里不是指金融上的量化交易，而是指离散化。量化是一个总括术语，是用比 32 位浮点数更少的空间来存储和运行模型，并且 TensorFlow 量化的实现屏蔽了存储和运行细节。神经网络训练时要求速度和准确率，训练通常在 GPU 上进行，所以使用浮点数影响不大。但是在预测阶段，使用浮点数会影响速度。量化可以在加快速度的同时，保持较高的精度。量化网络...
2019-05-10 14:46:57
750
原创 tensorflow 模型固化文件--checkpoint 和 pb
tensorflow通过tf.train.Saver()保存模型得到了四个文件：checkpoint 检查点文件model.ckpt.data-xxx 保存的是参数的值model.ckpt.index 保存的是各个参数model.ckpt.meta 保存的是图的结构可通过saver.restore()恢复整个神经...
2019-05-08 16:30:45
2758
原创 Python与c/c++混合编程
Python时现在很火的一种语言，在云计算、人工智能、自动化测试等领域使用率非常高。之所以有这么大的市场使用率，python也是有它自己的独特之处，首先python易学，并且是一种解释性语言，不需要经过编译，并且它有着非常丰富的第三方库，可以帮助你处理各种工作，包括：电子邮件、数据库、web、GUI、单元测试等。Python采用强制缩进的方式使得代码有着极佳的可读性。 ...
2019-03-28 18:35:26
31705
原创 tensorflow源码分析（八）- 打印log
import tensorflow as tfimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '0'os.environ['TF_CPP_MIN_VLOG_LEVEL'] = '3'from tensorflow import logginglogging.set_verbosity(logging.INFO)with tf.device...
2019-03-26 18:31:04
947
原创 grpc和protocol buffer介绍&实例
Grpc protoc的简单使用Grpc：3.6.1 protoc：3.6.1 centos7.4 通过本篇文档可以了解protocol buffer内部的编解码机制，学习到如何源码编译安装，学习如何在一个.proto文件内定义服务，如何跟.proto文件使用protocol buffer的编译器生成客户端和服务端代码，学习如何使用grpc的c++接口为服务实现一个简单的客户端和服...
2019-02-27 11:28:09
2264
原创 tensorflow源码分析（七）-优化函数
Tensorflow系统中的优化函数主要根据传入的损失函数的梯度计算出损失函数的极值，在计算过程中会根据传入的学习率不断的修改模型中的参数，从而使神经模型在训练数据上的损失函数尽可能小，从而得到一个质量比较好的模型。Tensorflow中实现了很多的优化函数：GradientDescentOptimizer AdagradDAOptimizer AdamOptimizer AdagradO...
2018-12-27 18:10:01
1036
原创 tensorflow源码分析（六）设备管理
接下来介绍一下tensorflow对设备devices的发现和管理，负责运行kernel的具体硬件设备抽象成为devices；实现某种操作的算法叫做kernel，可以将kernel看做是一段能够跑在具体硬件设备上的算法程序，所以相同的算法实现，在gpu上有一套实现，在cpu上有一套实现。在session初始化时会调用add_device接口，把cpu gpu设备添加到sessi...
2018-12-20 09:13:14
699
原创 tensorflow源码分析（五）session.run()
接下里分析session.run()接口，执行一次run就执行了一遍数据流图，在tensorflow代码中通常在一个循环中调用run接口，一次run就是训练过程中的一步：1）session.run() 客户端通过该接口执行一步训练2）BaseSession.Run（）fetches参数可以是单个元素，或者是一个列表，一个字典，一个元组，都是可以的，但是要有个前提，最...
2018-12-14 11:24:55
4393
原创 tensorflow 源代码分析（4）-自定义op
添加自定义op本文介绍如何在tensorflow中增加一个新得OP以及op对应得kernel，还有如何编译和使用新增加得op。1.新增加op对应得kernel实现，新的op ZeroOutOp类继承自OpKernel，重新实现Compute接口，在该接口内实现op对应得kernel（tensorflow/core/user_ops/zero_out.cc cpu设备上的实现）：RE...
2018-12-06 17:12:43
1465
原创 tensorflow源代码分析（3）-mnist cnn卷积神经网络模型源代码
# coding=utf-8from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport argparseimport sysimport tempfilefrom tensorflow.examples.tutor...
2018-12-05 11:29:18
245
原创 tensorflow源码分析（2）
Session类：Session是连接client和tensorflow系统的中间件，负责两者之间的交互；Session后台得实现由两种：DirectSession和GrpcSession。DirectSession在本地环境中使用，GrpcSession在分布式环境中使用，来计算相应得graph，两种方式分别对应两个不同的object实现。Client通过Session与Master...
2018-12-02 13:41:24
1043
原创 tensorflow源码分析（1）
variable类： 通过实例化Variable类可以添加一个变量到graph，在使用变量之前必须对变量显示的初始化，初始化可以使用assign为变量赋值也可以通过变量本身的initializer方法。 上图主要是介绍在graph中默认有两个变量得colletion，其中一个是gloable variable collection，会存放所有得变量，...
2018-12-02 13:29:23
1105
1
原创 linux系统虚拟地址 物理地址 总线地址
在linux内核书籍中，介绍内存管理的部分，频繁出现三个概念，物理地址、虚拟地址、总线地址他们区别如下：物理地址：MMU看到的内存的地址虚拟地址：cpu，程序员操作的地址总线地址：设备看到的地址struct pci_device_id结构体用于定义该驱动程序支持的不同类型的pci设备列表PCI_DEVICE(vendor, device)创建一个仅和vid did相匹配的struct pci_de...
2018-07-12 17:06:16
1161
原创 etcd服务开启时flag和env设置
通过./bin/etcd启动etcd服务时可以在后面加很多flag，这里主要介绍后面flag或env的作用。--name： 该节点的名字 默认：‘default’ env变量：ETCD_NAME 在同一个集群内name必须唯一--data-dir： etcd数据的存储目录 默认：'${name}.etcd' env变量：ETCD_DATA_DIR--heart...
2018-05-20 16:41:35
2090
原创 etcd源码编译和简单使用
正在学习go语言编程，已经对go语言的语法有一定的了解，想选择一个go项目深入了解go编程，最后选择etcd作为自己go编程的处女项目，会逐渐深入了解etcd代码，分析etcd的实现机制。 etcd是一个分布式、强一致性的服务发现存储系统，在云计算时代使用者越来越多。 首先介绍一下源码编译，下载etcd-3.2.18.tar.gz源码包（https://githu...
2018-05-20 14:51:44
5063
原创 fabric初探
Fabric是一个Python库，可以通过SSH在多个host上批量执行任务。你可以编写任务脚本，然后通过Fabric在本地就可以使用SSH在大量远程服务器上自动运行。这些功能非常适合应用的自动化部署，或者执行系统管理任务目标：跨越跳板机远程执行命令并返回直接结果fanbric：1.14.0 os：centos7 python：2.71）centos7自带python2.7，使用如下命令安装fa...
2018-05-19 20:40:47
913
转载 openstack oslo_config解析
oslo_config简明教程Openstack中的oslo库，旨在独立出系统中的可重用功能，其中oslo.config库是一个广泛使用的库，该项目主要用于解析openstack中的命令，配置文件等信息。首先，我们通过一个简单的例子，掌握使用oslo.config的总体感觉。在Oslo的cfg模块载入的时候(from Oslo.config import cfg)，会自
2018-01-30 15:11:16
545
转载 docker入门绝佳资源
转载自：http://blog.csdn.net/CSDNJACK_/article/details/47143163官方文档说明：[plain] view plain copyhttp://docs.docker.com/ 官方博客：[plain] view plain copy
2016-02-02 18:12:30
409
转载 rancheros 系统介绍
RancherOS 是 Rancher Labs 的一个开源项目，旨在提供一种在生产环境中大规模运行 Docker 的最小最简单的方式。它只包含运行 Docker 必须的软件，其二进制下载包只有大约 20MB。 在 RancherOS 中，一切都是由 Docker 管理的容器。RancherOS 会启动两个 Docker 实例。一个称为系统 Docker，是内核启动的第一个进程，即
2016-02-02 15:24:15
1312
转载 openstack 创建虚拟机实例过程
[一条nova boot引发的血案]nova boot –flavor 1 –key_name mykey –image 9e5c2bee-0373-414c-b4af-b91b0246ad3b –security_group default cirrOSnova命令来自python-novaclient[到python-novaclient]寻找最开始的源先到这里
2015-12-14 18:21:59
5061
原创 kvm libvirt qga 使用和扩展
QGA是一个运行在虚拟机内部的普通应用程序（可执行文件名称默认为qemu-ga，服务名称默认为qemu-guest-agent），其目的是实现一种宿主机和虚拟机进行交互的方式，这种方式不依赖于网络，而是依赖于virtio-serial（默认首选方式）或者isa-serial，而qemu则提供了串口设备的模拟及数据交换的通道，最终呈现出来的是一个串口设备（虚拟机内部）和一个unix socket
2015-12-03 15:57:42
4387
1
原创 kvm libvirt qemu 磁盘 NIC 热添加和删除
guest os为centos：1）进入guest，执行fdisk -l ，发现只有一块磁盘sda2）在host上新建一块qcow2格式磁盘 qemu-img create -f qcow2 test_disk.qcow2 10G 并且编写对应的xml文件test_disk.xml：
2015-12-02 15:19:42
3161
原创 clonezilla克隆系统并使用Tuxboot-0.8.3.exe制作启动盘
【CloneZilla U盘制作工具】1. Windows 运行 Tuxboot-0.8.3.exe2. ISO->...->clonezilla-live-2.4.2-32-amd64.zip3. Type：USB Drive->Drive:选择U盘->OK4. ->>完成【方法1：用CloneZilla和DD烧系统】1. BIOS -> USB启动2. 开机->
2015-12-01 17:12:35
6192
原创 kvm libvirt mem 热添加
guest os 为centos71）修改guest的xml配置文件： 4000 2000 这些设置的意思是该虚拟机最大可用的内存是4000M， 但是开机默认的内存大小是2000M2）virsh define test.xml 然后通过virsh dominfo test 可以看到以下内容： Id: -名称：
2015-12-01 17:10:19
2234
原创 kvm libvirt cpu 热添加
guest os 为centos71)配置虚拟机的xml文件： vcpu placement='auto' current="1">4vcpu>设置虚拟机默认使用的cpu个数是1个 ， 但是最大可以添加到4个2）启动虚拟机，在guest中查看虚拟机个数： ls /sys/devices/system/cpu
2015-12-01 17:08:32
3463
原创 linux centos7 cgroup 命令行操作
1， lssubsys -am 查看系统中已经存在的参cgroup子系统以及子系统的挂载点： cpuset /sys/fs/cgroup/cpusetcpu,cpuacct /sys/fs/cgroup/cpu,cpuacctmemory /sys/fs/cgroup/memorydevices /sys/fs/cgroup/devicesfreezer /
2015-11-22 14:42:15
12692
1
原创 kvm qemu pci passthough
1, 宿主机需要打开iommu特性 验证host有没有打开iommu可以通过dmesg | grep iommu 查看2, 通过lspci查看pci设备信息，得到pci设备的domain ，bus， slot， function信息(例如：0000.04.00.0)3, 也可以通过virsh的命令得到pci设备信息： 1） virsh node
2015-11-21 21:50:36
812
1
原创 kvm qemu 文件夹穿透
1， qemu 中编译添加virtFs的支持： ./configure --enable-virtfs2, 在libvirt的xml文件中添加： ...> ... ...> type='mount' accessmode='passthrough'> dir='/home/tony/work'/> dir='t
2015-11-20 16:44:52
1219
原创 cannot access storage file (as uid:107, gid:107)permission denied
今天自己编译了spice-protocol spice-gtk spice qemu,然后想用virsh去创建一个虚机：# virsh define demo.xml 定义域 demo（从 demo.xml）# virsh start demo cannot access storage file (as uid:107, gid:107) permi
2015-11-20 16:41:59
13699
4
原创 python函数基础知识
1， 函数返回值有多个： def func（）： ip = “127.0.0.1” port = “3389” return ip，port ip，port = func（） 即可得到ip和port的值2，函数legb 参数寻找顺序 l: lo
2015-10-19 15:54:57
613
原创 dpkg包管理查看系统所有包的大小并排序
dpkg-query -W --showformat='${Installed-Size} ${Package} ${Status}\n'|grep -v deinstall|sort -n|awk '{print $1" "$2}'这个脚本可以列出所有已安装包的大小并排序，有兴趣的可以继续完善．
2015-04-20 10:59:55
4630
2
原创 迷你型无线USB网卡 TL-WN823N linux系统安装驱动usb
最近组装了一台台式机，但是没有买无线网卡，想着整一个usb接口的无线网卡就可以了，PCI或PCIE的比较麻烦，所以就在某购物网站买了一个TL-WN823N的usb无线网卡，因为要玩linux系统，就研究了以下linux下如何适配usb无线网卡，现在把它记录下来． １，首先应该把无线网卡插在usb3.0的接口（不知道怎么回事，插在2.0上系统监测不到，所以就插在3.0上吧，原因以后再研究）．
2015-04-16 10:38:56
9606
转载 使用truss、strace或ltrace诊断软件的"疑难杂症"
简介进程无法启动，软件运行速度突然变慢，程序的"Segment Fault"等等都是让每个Unix系统用户头痛的问题，本文通过三个实际案例演示如何使用truss、strace和ltrace这三个常用的调试工具来快速诊断软件的"疑难杂症"。truss和strace用来 跟踪一个进程的系统调用或信号产生的情况，而 ltrace用来 跟踪进程调用库函数的情况。truss是早期为Syste
2015-04-15 15:24:14
444
转载 linux cpio解压initrd.img
2.6内核及其以上版本的initrd.img采用cpio压缩，不再是2.4内核使用的ext2格式，无法使用mount -o loop 挂载。需要使用gunzip解压缩，然后再使用cpio解包cp /boot/initrd-***.img initrd.img.gzgunzip initrd.img.gzmkdir initrdmv initrd.img initrdcd i
2015-04-15 14:37:14
2107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人