- 博客(58)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 警惕数值计算中的一个问题——不确定尾数
在python和很多编程语言中都会发生类似的状况这里我以python为例0.1+0.2结果：0.30000000000000004这对于常规的计算似乎影响不是很大，但是如果是深度学习算法这样庞大的数据计算可能就会产生蝴蝶效应，所以我们有必要知道它背后的原因及其解决办法。具体原因：浮点数间运算存在不确定尾数（不是BUG）那么为什么会出现不确定尾数呢？这涉及到了编程语言对数字运算的内部实现原理：计算机中所有数据本质上都要用二进制来存储以python语言为例，对于浮点数，采用53位二进制表
2020-12-08 17:01:38
1324
转载 分享一段ETL工具的使用心得（哲学高度）
现在有很多成熟的工具提供ETL功能，且不说他们的好坏。从应用角度来说，ETL的过程其实不是非常复杂，这些工具给数据仓库工程带来和很大的便利性，特别是开发的便利和维护的便利。但另一方面，开发人员容易迷失在这些工具中。举个例子，VB是一种非常简单的语言并且也是非常易用的编程工具，上手特别快，但是真正VB的高手有多少？微软设计的产品通常有个原则是“将使用者当作傻瓜”，在这个原则下，微软的东西确实非常好用，但是对于开发者，如果你自己也将自己当作傻瓜，那就真的傻了。ETL工具也是一样，这些工具为我们提供图形化界面，让
2020-12-03 17:51:42
199
转载 .pyc文件介绍
1、解释型语言和编译型语言的区别计算机是不能够识别高级语言的，所以当运行一个高级语言程序时，就需要一个“翻译机”来从事把高级语言转变成计算机能读懂的机器语言的过程。这个过程分成两类，第一种是编译，第二种是解释。（1）编译型语言：在程序执行之前，先会通过编译器对程序执行一个编译的过程，把程序转变成机器语言。运行时就不需要翻译，而直接执行就可以了。最典型的例子就是C语言。（2）解释型语言：没有编...
2020-05-06 10:20:48
722
转载 docker为什么适合devops？
一个本质的原因docker和devops的理念是相通的DevOps 概念的流行跟近来微服务架构的兴起应该有很大关系，微服务架构主张一个应用只做一件事，而 Docker 的应用哲学也是一个容器只负责一个功能，从一致的理念上来说 Docker确实是适合微服务架构的，说Docker适合DevOps，却不止理念一致这一原因。何为dovopsDevOps 是两个传统角色 Dev(Developmen...
2019-11-18 09:34:35
214
原创 云计算涉及到的缩写解析
BPM是“Business Process Management”，意为"业务流程管理"。SSO是“Single Sign On”，意为"单点登录"。CMS是"Content Management System"的缩写，意为"内容管理系统"。SDC是“Solution Development Center”的缩写，意为“解决方案开发平台”。J2EE是“Java 2 Platform Ent...
2019-11-09 14:02:00
1906
原创 一句话解释IaaS、PaaS、SaaS的区别
搞懂这个问题我们先要知道缩写的含义是什么，他们分别是Infrastructure-as-a-Service(IaaS)，Platform-as-a-Service(PaaS)，Software-as-a-Service(SaaS)，基础设施(infrastructure)、平台(platform)和软件(software)，越后面的封装程度就越高。...
2019-11-09 08:36:55
390
原创 关于斐波那契数列引发的一系列思考
斐波那契数列是一个神奇的数列！先来讲两个经典的问题，你们也可以思考一下答案，通过看完本文希望你可以回答出答案。兔子问题一般而言，兔子在出生两个月后，就有繁殖能力，一对兔子每个月能生出一对小兔子来。如果所有兔子都不死，那么一年以后可以繁殖多少对兔子？台阶问题有一段楼梯有20级台阶，规定每一步只能跨一级或两级，要登上第20级台阶有几种不同的走法?以上两个问题都和斐波那契数列有关。不信？那我...
2019-10-10 20:41:21
314
原创 Mel-Filter banksMFCC特征提取（基于python）
最近开始上手语音相关的课题，第一步当然是了解并提取语音相关的特征及其提取，纵览paper，使用最多的莫过于Filter banks和MFCC了，因此就开始上手自己编写代码提取。（当然不是白手起家，参考在http://haythamfayek.com/2016/04/21/speech-processing-for-machine-learning.html）1.概述Filter banks和M...
2019-10-07 21:12:56
527
原创 python的构建工具setup
from setuptools import setup, find_packages setup( name = "test", version = "1.0", keywords = ("test", "xxx"), description = "eds sdk", long_description = "eds sdk for...
2019-10-07 21:09:46
138
原创 阿里学习笔记
1.工作和生活是很难区分的，对于真正热爱的工作这是一定的。你在下班之余也会思考提及一些工作上面的事，这样的工作才会是有价值有意义的工作。同样学习也不是为了找工作而学的，而是去学你真正感兴趣的东西。2.韩国买家访问美国服务器的时间比访问上海要快很多，这是不符合常理的，因为地理位置上上海离韩国更近，造成这种问题的原因是，韩国访问上海要先访问美国在跳到其他国家之后才能到上海，这很不方便。3，...
2019-10-07 21:06:13
188
原创 指数爆炸
指数爆炸的概念:即指数函数的"爆炸性"增长(blow up)。指数的概念:在乘方a中，其中的a叫做底数，n叫做指数，结果叫幂。f(x)=a^x (a为常数，如图中a=2 x为指数) 随着x单位长度的递增，f(x)会呈"爆炸性"增长x1=0 f(x1)=1x2=1 f(x2)=2x3=2 f(x3)=4x4=3 f(x4)=8x5=4 f(x5)=16x6=5 f(x6)=32x7...
2019-10-07 21:02:15
3543
原创 windows安装python指南
1.下载 网址：www.python.org建议选择3开头的最新版本，因为2020年后python将不会在对2系列的版本进行维护更新。2.安装 （注意如果是win7以上版本请右键选择以管理员身份运行）否则会出现形如 insufficient privileges to motify the file…纯英文界面 第一个选项是默认一键安装，第二个是指定路径安装，第三个是是否配置环境变量请先...
2019-10-07 20:55:11
103
原创 python2代码转python3代码
这里我要讲的是一个极其简单而又极其强大的工具——python自带的转换工具2to3.py有多简单呢，请看看里面的内容然后就没了。。。但是他却真的解决了我的问题！我们先来说怎么用，再来讲我的故事。这个脚本在Python安装目录下Toolsscripts文件夹下，如果是利用anaconda3安装的python3，就在anaconda3/Tools/scripts中，如下图：首先我们先要...
2019-09-25 21:49:00
148
原创 docker下载国内镜像源（图文讲解）
由于docker默认的仓库在国内可能要翻墙才可以使用，或者下载国外资源太慢等原因。所以我们要想办法从国内的源下载。这里给大家推荐一个极为简单便捷的方式——网易云镜像中心https://c.163.com/hub#/m/home/当然，使用之前需要你注册账号网易云镜像中心的前身是网易蜂巢，之前在Linux都是通过网易蜂巢拉取镜像的，但现在整合到了网易云之中。这是件好事，使用变得更稳方便了。...
2019-09-17 09:55:47
1068
原创 容器中CPU、磁盘IO、网络耗损大么？
docker容器中CPU的损耗是没有的！docker容器中磁盘IO的损耗小于5%，基本上也是零损耗的。若对bridge在非满载下，没什么性能损失，在满载负荷下，桥接存在15%左右的性能损失。举个简单的例子，如果不用docker可以支持10000个并发，用了docker则可以支持8500个并发，相比于docker带来的便利是可以接受的，况且系统也不应长期处于满载状态。...
2019-09-15 14:38:13
1230
1
原创 容器环境变量有什么用途？
在docker中，每个程序都是放在容器中运行的。同时，程序的配置文件也放在容器中。容器一旦被删除，容器内的配置文件也消失了。有些程序的配置项非常多，运维人员会花很多时间为特定场景设计出自己的配置。如果容器消失，这些配置也付之东流。程序配置持久化的问题可以通过挂载卷的方式解决。此时，需要在宿主机上为容器建立一个文件夹，把定制化的配置文件放在该文件夹中。启动容器时，把这个文件夹挂载到容器中，替换容器...
2019-09-15 14:37:16
607
原创 link容器是什么意思？
docker中的容器原则上是只运行一个程序。在使用docker提供服务时，会遇到需要多个程序的情况。例如，使用容器提供LAPM服务，需要Apache的容器和MySQL的容器一起工作。这时候就需要以link的方式解决该问题。容器的连接（linking）系统是除端口映射外另一种和容器中应用交互的方式。该系统会在源和接收容器之间创建一个隧道，接收容器可以看到源容器指定的信息。...
2019-09-15 14:36:27
132
原创 容器停止了，如何找出原因？
可以用—restart参数指定当容器退出后的行为。当容器在重启时，docker ps可以看到处于Up或Restarting，也可以在docker events中看到相关信息。容器的退出状态就是执行命令的错误代码，Linux下一般用0表示正常，其他表示错误。此外，也可以通过docker logs查看容器退出前的日志来进行分析。友情链接：https://blog.csdn.net/weixin_43...
2019-09-15 14:35:53
3868
原创 为什么进入容器，但退出后容器就停止了？
容器停止就说明容器内的主进程结束了。在启动容器时，如果用户是将容器放在后台运行的，并且使用service *** start命令作为容器启动命令，就会产生这个问题，这个命令执行成功后就会退出，紧接着容器也会退出。因为容器的生存周期是直接和启动容器的命令生命周期一致的，一旦主进程退出，整个容器就结束了。...
2019-09-15 14:34:55
1323
原创 容器如何进行持久化？
容器在退出后并不会更改镜像。因此，如果希望保存容器中的数据，就需要通过commit保存成镜像。此外，用户可以使用volume实现数据持久化存储，保存在容器中产生或使用的文件。容器可以把数据写在volume上，volume可以在不同的容器之间共享和重用数据，而且容器数据的备份、恢复和迁移都可以通过volume来实现。...
2019-09-15 14:34:12
449
原创 容器有哪些网络模式？
1.none在该模式下容器没有对外网络，本地机只有一个回路地址。2.container在该模式下，与另一个容器共享网络。3.host在该模式下，与主机共享网络。4.bridge（docker默认的网络模式）在该模式下，docker容器与外部的通信都是通过iptable实现的。（docker默认的网络模式）5.overlay在该模式下，实现跨主机多子网模型，主要是通过vxlan技术...
2019-09-14 09:36:09
231
原创 docker是否安全？
docker本身是共享操作系统的进程，不存在不安全一说。如果说docker不安全，那么所有的Linux程序就都是不安全的，而目前全球90%以上的网站都是运行在Linux上的。docker本身是容器技术的一种，所谓容器就像一个盒子，开发者只需暴露需要暴露的端口，如一个网站就只暴露80端口。而传统的服务器和云主机，基本是开发了所有的端口，或者是大多数端口，这种暴露其实是很危险的，因此docker反而会...
2019-09-14 09:35:11
621
原创 购买一台Linux云主机，并通过vim修改默认的DNS Server，网关及IP地址
修改IP地址即时生效：ifconfig eth0 192.168.1.100 netmask 255.255.255.0重启生效：vim /etc/sysconfig/network-scripts/ifcfg-eth0增加或修改下面几行ONBOOT=“yes”BOOTPROTO=staticIPADDR=192.168.1.100NETMASK=255.255.255.0修改网关...
2019-09-14 09:34:36
130
原创 简要描述SSH Server的公钥和私钥
SSH是Secure Shell的缩写，是Linux的标准远程连接工具，通过这个工具可以以命令行的方式远程连接到Linux主机之上。公钥和私钥涉及到了公钥密码体制这一概念。其核心思想是加密和解密采用不同的密钥，这是公钥密码体制和传统的对称密码体制的最大区别。对于传统密码而言，密文的安全性完全依赖于密钥的保密性，一旦密钥泄漏保密性全无。而公钥密码体制很好的解决了这一问题，在公钥密码体制中，公钥是公...
2019-09-14 09:33:29
493
原创 什么场景使用虚拟机？什么场景使用docker？
如果你的应用之运行在用户空间，同时希望方便部署，那么用docker更好；反之如果你的应用需要有不如内核模块的配合或者需要运行在不同的OS，那么用虚拟机更好。再说的直白一点你的项目对内核没有需求就用docker，docker共用内核项目对内核需求不同就没法用docker...
2019-09-14 09:32:26
679
原创 docker与虚拟机有什么区别？
从云计算服务的三层架构可以看出，传统的IaaS层、虚拟机是基础组成部分，而虚拟机都是基于Hyper-V架构的，也就是说，每一个虚拟机都会运行一个完整的操作系统，一个操作系统至少需要占用5GB左右的磁盘空间，但是操作系统对我们来说是完全无用的，我们真正关心的事虚拟主机所能提供的服务。因此，大家迫切需要更为轻量级的主机，这就是Docker技术火热的本质原因。容器由于省去了操作系统层，整个层级更为简化...
2019-09-14 09:29:46
124
原创 虚拟化技术分为哪两种？各自有什么特点？各自有什么特点？
虚拟化一般分为硬件虚拟化（hardware-level-virtualization）和操作系统虚拟化（os-level-virtualization）。硬件级虚拟化是运行在硬件之上的虚拟化技术，它的管理软件也就是我们通常说的hypervisor或者virtual machine monitor，它需要模拟的就是一个完整的操作系统，也就是我们常说的基于Hyper-V的虚拟化技术，VMWare、Xe...
2019-09-14 09:27:08
8180
原创 Docker安装（Ubuntu&&CentOS）
在Ubuntu下安装前置条件docker需要使用Linux中内核的CGroups和Namespace功能，所以必须使用包含这两项功能的Linux内核，Linux内核必须是高于3.10的64位版本，可以通过uname -r查看当前的内核版本。name -r更新apt源apt是Ubuntu默认的包管理系统，apt在安装时会根据实际apt配置文件搜索安装源。一个系统可以包含多个不同的安装源，...
2019-09-14 09:26:00
181
原创 Linux文件系统结构
这里列出了Linux上的根文件系统的基本结构。标有*的目录包含敏感信息或程序数据，除非你清楚它们到底是什么，否则不应该将它们删除或更改：/：这是根文件系统。/bin*：这里可以找到基本命令二进制文件或程序。/boot*：这是一个帮助启动系统的文件夹，该目录具有内核文件。/dev*：可以在这里找到代表系统设备的文件，硬盘信息。如：/dev/null和/dev/sda/etc*：这是操作系统...
2019-09-14 07:47:48
64
原创 Linux基本操作
ssh：远程连接命令。vim：一个Linux下命令行编辑文件的工具。ls：列举文件及文件夹。cp：复制文件。rm：删除文件。sudo：以root用户执行命令。cat：查看文件。pwd：查看当前路径。mkdir：创建文件夹。find：查找文件。grep：搜索文件内容。which：查看命令在什么位置。tar：打包和压缩命令。apt-get-Ubuntu：包管理工具。使用vi...
2019-09-14 07:44:41
83
原创 Torch安装与使用指南
无CUDA的Torch7安装（1）安装Luarockssudo apt-get install luarocks（2）安装Torchgit clone https://github.com/torch/distro.git ~/torch --recursivecd ~/torchbash install-deps./install.sh说明： /torch应该就是终端当...
2019-09-13 21:44:26
1171
原创 深度学习与大数据
——除了上帝，我只相信数据在数据呈指数增长的这个数字世界中，深度学习和大数据是最为热门的两个技术趋势。深度学习和大数据是数据科学领域相互关联的两个话题，而在技术发展方面，两者紧密关联且同样重要。数字数据和云存储遵循名为摩尔定律的通用定律，摩尔定律我们在之前就有提到过。因特尔创始人摩尔认为数据每两年就会翻一番，而存储该数据的成本却大致以相同的速率下降。这些丰富的数据产生了更多的特征和真理，因此为...
2019-09-13 14:59:14
3659
原创 分布式深度学习和Hadoop
之前我们已经深入探讨了深度学习与大数据的关系能够为研究领域带来重大变化的原因。此外，一个集中的系统并不会随时间的推移明显改善这种关系。因此，跨服务器的深度学习网络分布已经成为当前深度学习实践者的主要目标。然而，在分布式环境中处理大数据总会面临一些挑战。在往期，我们已经对大部分挑战进行了深入的讲解，其中包括处理更高维度的数据、具有很多特征的数据、可用于存储的内存量、处理海量大数据集等。此外，大数据集...
2019-09-13 14:58:35
1041
原创 深度学习的开源分布式框架Deeplearning4j
Deeplearning4j（DL4J）是专门为JVM编写的一个开源深度学习框架，主要用于商业级需求。该框架完全使用Java编写，因此名称中包含了4j”。因为是使用流行的Java语言编写的，所以Deeplearning4j开始受到更多的人和从业者的欢迎。该框架基本上是由Hadoop和Spark集成的分布式深度学习库组成的。在Hadoop和Spark的帮助下，我们可以轻松地分发模型和大数据集，并运...
2019-09-13 14:57:31
3026
原创 Git简介与安装
一句话印象：git最明显的特征就是分布式，并且它是免费开源的。git可以在不连接服务器端的情况下让用户在本地进行任意内容的版本控制，尽在必要的时候才建立与服务器端的情况下让用户在本地进行任意的内容版本控制，尽在必要的时候才建立与服务器的连接，这就使得源代码发布和通信极其方便。git的速度很快，这对于大型项目来说至关重要，并且其合并追踪能力非常出色。当你进入这篇笔记的时候说明你已经被git的名气震...
2019-09-09 22:05:27
90
原创 Docker简介与安装
什么是docker如果有一项业务需要在集群中运行，是不是需要在所有服务器中都分别安装深度学习环境呢？答案是否定的，docker就是用来解决这一通痛点的。docker属于众多开源引擎中受关注度比较高的一个，我们可以吧docker简单的理解为容器，它的一个核心优点正是能快速地为任何应用创建容器，应用打包在容器中，还具有轻量级、可移植性、自给自足的特点。然后开发者就可以把编译测试通过的容器（应用）...
2019-09-09 21:56:19
81
原创 网络爬虫笔记（六）：正则表达式之Re库
关于正则表达式，我觉得它将编程思想体现的淋漓尽致，甚至可以将其变为一种锻炼智力的游戏。写好正则表达式需要你的逻辑性，需要你的严谨性以及勇于尝试不怕出错的精神。爬虫中会用到正则表达式，其实是因为爬虫会获得大量的数据。可以说你要你想处理大量的数据，正则表达式都会是一门必修课。这是我之前就写过的关于正则表达式的文章：https://blog.csdn.net/weixin_43106248/arti...
2019-08-31 18:59:58
227
原创 网络爬虫笔记（五）：利用bs4爬取网页实例
目标网页：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html#CrawUnivRankingA.pyimport requestsfrom bs4 import BeautifulSoupimport bs4 def getHTMLText(url): try: r = requests.get(ur...
2019-08-30 09:30:07
1332
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人