CloudXli的博客

原创 阿里云iot事业部一面面经

18/7/24 阿里云IoT（物联网）事业部 无锡新吴区与阿里巴巴（NYSE：BABA）旗下的阿里云计算有限公司宣布达成物联网战略合作，阿里云IoT（物联网）事业部将为物联网核心示范区提供技术与服务，包括建设鸿山物联网基础平台（飞凤平台），赋能开发与交付环境，加速物联网应用成熟与商业化，共同打造世界级物联网示范项目。1.自我介绍2.客户端输入url到服务器端响应整个过程【服务器端处理...

转载 linux下的svn常用命令使用指南

常用命令1、帮助命令： help(h)命令使用：svn help 命令简写：svn h 命令解释：使用这个命令可以看到关于svn所有命令以及简写。有时候有那个命令忘了，可以看看，很有用。2、往版本库中添加新文件：add命令使用：svn add xxx.txt命令解...

翻译 面试笔试动态规划问题--python篇

今天整理了一下关于动态规划的内容，道理都知道，但是python来描述的方面参考较少，整理如下，希望对你有所帮助，实验代码均经过测试。请先好好阅读如下内容–什么是动态规划？ 摘录于《算法图解》 以上的都建议自己手推一下，然后知道怎么回事，核心的部分是142页核心公式，待会代码...

翻译 阿里云飞天系统的技术架构

阿里云飞天系统的技术架构阿里云有以下五大优势：中国万网，提供虚拟主机托管的服务，而且还提供域名等服务，其客户群非常庞大；淘宝、阿里巴巴（内部称：B2B）、支付宝等其他子公司有大量的数据分析业务，需要消耗大量的服务器资源，电力，机房设施；阿里巴巴集团已经购买了多条大带宽的专线，并且形成多网互联和加速的能 力，并且有...

翻译 python实现贪心算法

Python算法：贪心策略 2018/6/14 · 系列教程 · 贪心策略分享到：</div><!-- END .entry-meta --><!--...

原创 linux之正则表达式中特殊符号的含义

废话不说，直接上图

转载 python的运行优化建议

原创 python中字符串和列表去重，保持原来顺序不变

使用的是python的集合set()下面是两个简单的例子:>>> l=[9,0,1,2,3,3,4,5,6,45,67,77,6,45,8]>>> ll=list(set(l))>>> ll.sort(key=l.index)>>> ll[9, 0, 1, 2, 3, 4, 5, 6, 45, 67, ...

翻译 云计算大数据类岗位部分常见面试问题总结

IaaS 【infrastructure as a service】 基础架构即服务 Amazon AWSSaaS 【software as a service】 Salesforce.comPaaS 【platform as a service】 google appp engine Hashing 适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入...

翻译 IP 协议首部格式以及(ARP,RARP,ICMP,IGMP)

目录IP协议首部格式地址解析协议 ARP逆向地址解析协议 RARP网际控制报文协议 ICMP网际组管理协议IGMPIP 数据报首部IP数据报首部格式:最高位在左边，记为0 bit；最低位在右边，记为31 bit版本:占 4 位,指 IP 协议的版本目前的 IP 协议版本号为 4 (即 IPv4)首部长度:占4位,可表示的最大数值是15个单位(一个单位为 4 字节)因此I...

转载 硬链接和符号链接

【硬链接（Hard Link）】硬链接指通过索引节点来进行连接，在Linux为文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号； 硬链接指的就是在Linux中，多个文件名指向同一索引节点； 常见用途：通过建立硬链接到重要文件，防止误删，删除其实对应的...

原创 python常见基本面试题

1.单引号，双引号，三引号的区别分别阐述3种引号用的场景和区别1),单引号和双引号主要用来表示字符串比如:单引号:’python’双引号:”python”2).三引号三单引号:”’python ”’,也可以表示字符串一般用来输入多行文本,或者用于大段的注释三双引号：”“”python”“”，一般用在类里面,用来注释类,这样省的写文档,直接用类的对象__doc__访问获得文档区别:若你的字符串里面本...

翻译 Linux操作系统基础知识学习

本文是我在学校自学Linux时所做的笔记，纯理论，希望对大家有所帮助。文章中，Q表示问题，A表示回答。Linux操作系统概述Q1.什么是GNU？Linux与GNU有什么关系？A：1.GNU是GNU is Not Unix的递归缩写，是自由软件基金会(Free Software Foundation，FSF)的一个项目，该项目已经开发了许多...

翻译 亚马逊S3云存储平台的神秘面纱

揭开亚马逊S3云存储平台的神秘面纱 谈到云存储，第一个想到的一定是Amazon，也就是当初那个网上卖图书的亚马逊，.COM的先驱。AmazonS3是亚马逊06年推出的云存储服务。亚马逊提供一种称为...

原创 计算机专业找工作面试面经总结（操作系统，数据库，数据结构，算法，虚拟化，编程实践等）

https://github.com/CyC2018/Interview-Notebook上面git是网上大神的找工作总结，分享给准备找工作的小伙伴，同时感谢大神的无偿奉献。

原创 两大主流开源分布式存储的对比：GlusterFS vs. Ceph

存储世界最近发生了很大变化。十年前，光纤通道SAN管理器是企业存储的绝对标准，但现在的存储必须足够敏捷，才能适应在新的基础架构即服务云环境内运行。GlusterFS和Ceph是在现代云环境中表现最出色的两个敏捷存储系统。在讲述GlusterFS和Ceph的相同点和区别之前，我们先谈一谈云环境中敏捷存储的一些关键点。纵向升级和横向扩展。在云环境中，很容易向服务器添加更多存储空间和扩展可用...

转载 openstack的swift组件详解

OpenStack Swift 开源项目提供了弹性可伸缩、高可用的分布式对象存储服务，适合存储大规模非结构化数据。本文将深入介绍 Swift 的基本设计原理、对称式的系统架构和 RESTful API。Swift 最初是由 Rackspace 公司开发的高可用分布式对象存储服务，并于 2010 年贡献给 OpenStack ...

原创 linux_详解find命令

find命令基本语法Linux通配符实例首先让我们进入HOME下的用户文件夹用ls命令查看该文件夹下的所有文件，可以看到cangls文件的路径为/home/wbin/canglsfind命令搜索home文件下的cangls文件find命令加*通配符去搜索文件 可以发现,加了*号通配符之后，查询的结果为home文件下所有以cangls开头的文件f...

原创 在windows和linux环境下用过iscsi来使用ceph存储的块设备

注：做的笔记后面一部分不能显示，我就在百度网盘分享了 链接：https://pan.baidu.com/s/1iPJWoesH_u-vh_RakcqOig 密码：ew6g

转载 linux命令之top（查看cpu、内存等负载）

查看多核CPU命令mpstat -P ALL  和  sar -P ALL  说明：sar -P ALL > aaa.txt   重定向输出内容到文件 aaa.txttop命令经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令，但比较奇怪的是能用好它的人却很少，例如top监控视图...

原创 ceph集群的扩展（centos7环境）

首先可以看看我原来搭建的三节点ceph环境：http://blog.csdn.net/cloudxli/article/details/78651866 后来在原来的mon节点上安装了mds（还是三个节点）变成下面： http://blog.csdn.net/cloudxli/article/details/79265120现在我要做的是在原来的基础上添加一个节点变成下面的这个集群...

转载 linux内核模块详解

1. 前言本文是“Linux内核分析”系列文章的第一篇，会以内核的核心功能为出发点，描述Linux内核的整体架构，以及架构之下主要的软件子系统。之后，会介绍Linux内核源文件的目录结构，并和各个软件子系统对应。注：本文和其它的“Linux内核分析”文章都基于如下约定：  a) 内核版本为Li...

原创 ceph存储数据的详细流程（CRUSH）

本文将对Ceph的工作原理和若干关键工作流程进行扼要介绍。如前所述，由于Ceph的功能实现本质上依托于RADOS，因而，此处的介绍事实上也是针对RADOS进行。对于上层的部分，特别是RADOS GW和RBD，由于现有的文档中（包括Sage的论文中）并未详细介绍，因而本文或有语焉不详之处，还请读者多多包涵。本文将首先介绍RADOS中最为核心的、基于计算的对象寻址机制，然后说明对象存取的工作流程，之...

原创 在客户端使用python来调用boto S3 API来操作librados库

实验环境： 客户端：ubuntu17.04 服务端： ceph集群 基本上常用的API接口在下面网页里面都有： http://boto.readthedocs.io/en/latest/s3_tut.html 下面附上我的一个示例：#!/usr/bin/pyhtonimport botoimport boto.s3.connectionfrom timeit...

原创 python通过librados库通过底层的rados操作ceph的对象存储和块存储

使用python语言调用原生接口(调用librados库来操作rados) 也就是下图中几种方式中的一种，就是图中的红色部分： 首先来说明一下：这个就相当于在客户端上操作ceph集群的底层对象存储rados，我的代码是在mon节点上执行的，也就是暂时把mon当作客户端来使用。 当然我们也可以另外使用一台主机来作为客户端，这个客户端只要能够连通ceph集群就可以，比如我也可以使用另外一台c...

原创 ceph对象存储的配置与S3、swift接口的使用

首先简单了解一下一些ceph对象存储的基本知识： Ceph： 起始于2006年 开发语言:C 强一致性 块存储 对象存储 Swift：起始于2008年 开发语言：Python 最终一致性 对象存储 真正的大型公用云服务产品中使用 对象存储介绍：Ceph本质上就是一个rados，利用命令rados就可以访问和使用ceph的对象存储...

转载 查看python中模块的所有方法

随着使用python的时间越来越长，安装的python模块也越来越多，时间久了都不记得自己之前到底对自己的电脑做过些什么了，于是乎就想要查看一下自己安装的python模块，现将查看方法总结如下一、命令行下使用pydoc命令 在命令行下运行$ pydoc modules即可查看...

翻译 ceph的块设备的两种使用方式及代码示例

目前我们有两种路径使用Ceph的块存储： - 利用QEMU/KVM通过librbd与 Ceph 块设备交互，主要为虚拟机提供块存储设备，如下图所示； - 利用kernel module与Host kernel交互，主要为物理机提供块设备支持。Librbd 是Ceph提供的块存...

原创 挂载ceph的rbd块存储作为本地磁盘块

Ceph存储作为块存储时，有时候需要将其挂载到本地作为文件系统使用，为了满足这样的需求，请看下面的操作： 在这里我使用本地的节点来当作客户端，就是使用我的ceph集群里面的192.168.1.220（mon节点）挂载ceph的块存储，下面所有的操作都是在我的mon节点上，其实我只是把mon节点当作客户端而已，挂载在它的本地目录下，当然换一台主机当客户端也是一样的： 1、首先在mon节点创建一个

原创 ceph客户端挂在ceph集群存储作为本地文件系统来使用

在前面的一篇文章中 我使用三节点搭建了一个ceph集群，结构如下所示： 主机名 ， ip ， ceph节点 node1 ， 192.168 1.220 ， mon node2 ...

原创 linux常见的文件及目录操作12个命令

基本常用的12个命令如下吧：　　　　　1， mkdir命令mkdir用来创建指定名称的目录，要求创建目录的用户在当前目录中具有写权限，并且指定的目录名不能是当前目录中已有的目录。（1） 命令格式：mkdir [选项] 目录（2） 命令功能：在指定位置创建指定文件名命名的文件夹或目录，要创建文件夹或目录的用户必须对所创建的文件夹的父文件夹具有写权限，且同一个目录下不能

转载 flask一个基本的http响应流程

前置技能   —   WSGI 在具体读源码之前，这里先需要说一个概念，什么是WSGI。WSGI，全称 Web Server Gateway Interface，或者 Python Web Server Gateway Interface ，是为 Python 语言定义的 Web 服务器和 Web 应用程序或框架之间的一种简单而通用的接口。自从 WSGI 被开发出来以后，许多其它语言中也出现

原创 SLES11_sp3安装软件

今天来说一下suse系统安装软件的过程，之前经常使用ubuntu、centos、rhel等安装软件举得非常简单，今天使用suse有点麻烦： **我使用的是SLES11_sp3系统，suse系统安装软件不像其他系统直接配好源yum 或者apt-get安装，对于你需要安装的软件你得查清楚它所在的地址，然后自己使用一条命令就可以添加源 然后再安装。 比如：我之前安装python-rdb的时

转载 计算机核心期刊排名及简介一览

COME FROM计算机核心期刊排名自动化、计算机部分1 计算机学报 北京 中国计算机学会等2 软件学报 北京 中国科学院软件研究所3 计算机研究与发展 北京 中国科学院计算技术研究所等4 自动化学报 北京 中国科学院等5 计算机科学 重庆 国家科技部西南信息中心6 控制理论与应用 广州 中国科学院系统科学研究所等7 计算机辅助设计与图形学学报 北京 中国计算机学会等8 计

转载 python爬虫_获取知乎最多100篇文章

这几天经常上知乎，觉得里面有些文章或者回答确实不错。就花了晚上时间写了这个爬虫。以前没有用Python写过独立的程序，所以这个程序bug比较多。现在贴出的代码可以运行，会在同级目录上生成zhihu_jingxuan.txt，该txt中就是爬取的文章。主要的问题是，当爬取的文章过多时，就会报超出最大循环嵌套数的错误。简单的查了一下，python最大允许的循环前套数是10000。用到了beautifu

原创 python之return语句

函数返回值：函数调用后默认返回None 函数的返回值可以是任意类型 return执行后，函数终止 1、首先直观的说：return就是给调用函数的对象返回一个值>>> def add(x,y): print x+y>>> z=add(12,12)24#注意这里的24并不是z的输出，这个只是在交互模式下的运行提示吧算是>>> z>>> print zNo

原创 python之函数详解（匿名函数，缺省函数，内置函数，冗余参数）

首先说一下函数的定义： def 函数名（参数列表）： 函数体 ***1、如果在定义函数的时候，函数名有两个或者以上单词组成的时候，第二个单词的首字母要大写，这就和类里面的方法有一致的规则*。 ***2、在函数定义的时候，如果定义了几个参数，那么在调用函数的时候，就要把几个参数传给函数。就是要不多不少。* 否则： >>> def test(a,b): print a

转载 python main()函数 name == ‘main’:

python文件的后缀名是.py，python文件既可以用来直接执行，也可以作为模块被导入。 我们在使用python时经常会看到if name == ‘main‘:这样一个句子,这是什么呢？ 其中name是模块的内置属性，而这个内置属性的值取决于这个.py文件的使用方式，即你是作为模块导入还是直接执行。 如果你是直接执行，那么这个name的值就是’main‘，如果

转载 ceph&云计算

前言SDN概念一直如火如荼，若是要谈到概念落地及大规模应用，一定离不开SDN在云计算数据中心的实践应用。云数据中心对网络提出了灵活、按需、动态和隔离的需求，SDN的集中控制、控制与转发分离、应用可编程这三个特点正巧能够较好的匹配以上需求。SDN，可以看为是软件开发和网络技术的混合领域。本文站在云数据中心网络维护工程师的角度，给大家分享SDN与云数据中心结合的前世今生。一、云数据中心为什

原创 Mysql之主键、外键和各种索引

本文是一些关于mysql的基本知识点，像主外键以及索引之类的。主键：主键是数据表的唯一索引，比如学生表里有学号和姓名，姓名可能有重名的，但学号确是唯一的，你要从学生表中搜索一条纪录如查找一个人，就只能根据学号去查找，这才能找出唯一的一个，这就是主键;如：id int(10) not null primary key auto_increment ；自增长的类型 ； 外键：