- 博客(37)
- 收藏
- 关注
RSS订阅原创 获取AWS所拥有的公网IP列表
AWS提供了所有区域的的所有服务所可能使用的IP列表段。URL：https://ip-ranges.amazonaws.com/ip-ranges.jsonjson文件中主要信息格式如下 { "ip_prefix": "52.95.255.64/28", "region": "eu-west-1", "service": "AMAZON
2015-09-08 22:23:00
6437
原创 使用IAM策略变量和TAG来控制EC2开关机权限
为了让EC2使用者自主控制EC2实例的开关机实例，需要设置相应策略给每个用户。使用策略变量可以尽最大程度复用策略内容。策略变量在编写策略时，可以包含变量。系统在验证策略时，会把变量用实际值替换掉来验证。例如${aws:username}会被当前用户的实际用户名所替代${aws:CurrentTime}是当前时间${aws:SourceIp}是访问者的IP地址。
2015-09-07 16:13:41
1975
原创 8月份S3的3个新功能
日志记录可以对存储桶开通访问日志记录功能，供日后统计或审计。一般日志会在几个小时后传输到目标存储桶。S3用量CloudWatch监控在CloudWatch下多了S3的监控条目，会对存储桶里的数据的空间和对象个数进行监控通知功能当存储通里的对象有变化（添加，删除，修改），可以使用SNS，SQS发送消息，或通知Lambda进行处理。创建SNS
2015-09-01 21:22:47
648
原创 减少AWS费用的一些边边角角
使用低冗余的S3服务默认的S3服务是99.999999999%的可用性。如果S3存放的数据是测试数据或可以通过别的资源生成的（例如原图的缩略图）可以尝试使用低冗余的S3。Console设置方法选中对象，在右边“属性”窗口选择低冗余命令行设置方法添加参数 --storage-class REDUCED_REDUNDANCYaws s3 cp -
2015-09-01 12:45:40
4019
原创 EC2的meta-data
在EC2实例中有一个魔法IP 169.254.169.254。通过访问这个ip，能获得许多与这个实例相关的信息，这些信息被称为meta-data。meta-data版本历史（最后一行的latest是最常用的）wget -q -O - http://169.254.169.254/1.02007-01-192007-03-012007-08-292007-10-102007-
2015-08-31 22:46:14
1842
原创 连不上EC2上部署的服务时的检查步骤
下面的步骤用来诊断EC2上部署的服务是否正常，分Linux 和 windows两个部分。Linux1. 登录部署服务的EC2服务器，检查端口是否已正常监听 例如，检查80端口nc -zv ec2-xxx-xxx-xxx-xxx.compute-1.amazonaws.com 80Connection to ec2-xxx-xxx-xxx-xxx.compute-1.ama
2015-08-31 13:10:35
7205
原创 一张表说明AWS数据服务的功能特点
数据是一个公司宝贵的资产。AWS中也提供了多种数据服务（RDS，DynamoDB，Elasticache，Redshift）供用户使用。为了理解什么场景应该使用什么数据服务，下面简单总结了几个数据服务的特征（对应开源或商业组件，存储特性，快照，特征）。针对各个数据库服务的快照功能，可以参考http://docs.aws.amazon.com/zh_cn/
2015-08-30 23:24:09
2211
原创 使用CLI获取EBS的总使用大小
随着服务器的增多，EBS的使用量也在逐渐增长。如何快速获取EBS的用量，可以使用如下脚本aws ec2 describe-volumes --query 'Volumes[].[VolumeType,Size]' --output table | grep "\d" | awk '{total[$2]+=$4} END{for( i in total) print i,total[i]}'
2015-08-29 11:25:19
1400
原创 EC2的vCPU与ECU的区别
在EC2的配置表中，有两个关于CPU的参数。一个是ECU，另一个是vCPU。一般ECU的个数都比VCPU个数高。这两个有什么区别呢？ECUECU的全称是EC2 Compute Unit的缩写，也就是EC2计算单元的意思。由于EC2本身的历史很长，各个时期采购的机器配置也不一样，AWS为了让不同时期的机器也有一个比较统一的计算能力标准，提出了这么一个概念。1个ECU大概相
2015-08-28 17:43:48
24286
原创 使用AWS Data Pipeline处理数据
Data Pipeline的主角是数据。AWS上提供了多种服务来存储、处理数据，S3，EMR，Redshift，RDS，DynamoDB。Pipeline就是帮用户在这么多种数据源上进行处理。下面通过简单制作一个pipeline把S3数据拷贝到S3上的另一个路径，来学习Data Pipeline的基础概念。创建pipeline可以通过预定义的模板来定义管道
2015-08-27 17:51:56
5978
原创 简化AWS CLI操作的jungle
github上最近有一个库叫jungle。由于作者觉得官方的CLI命令太繁琐，命令行太长，于是做了一个参数类似于Linux命令的命令行工具。地址https://github.com/achiku/jungle现在只支持EC2的查找，开关机，登录，以及ELB的查找。安装pip install jungle可以看到后台它还是使用boto3作为基础库You ar
2015-08-27 11:05:39
993
原创 AWS ARN 学习
在使用CLI操作资源，或使用IAM设定策略时，经常能碰到常常一串带着冒号的资源名称。这个有点像HTTP的资源定位符样的名称就是ARN（Amazon Resource Names）。格式它的格式大致由6部分组成 标准前缀：arn区域：对于大部分用户使用的是aws，如果是北京区域等独立区域，就会稍不同。北京区域是aws-cn服务：ec2，或s3等AWS服务名称区
2015-08-26 22:38:20
2599
原创 EC2免pem用密码登陆
原理EC2在初始化实例时，会运行cloud-init脚本一次。我们可以在cloud-init脚本中修改登陆的安全设置PasswordAuthentication默认PasswordAuthentication是no操作在设置实例信息时，打开“高级详细信息”填入如下信息#cloud-configpassword: 《你要设置的登陆密码》chpasswd: { expi
2015-08-26 14:49:47
8836
原创 使用CloudWatch Logs 收集应用程序日志
CloudWatch不光可以当做数据监控平台，还能收集日志，为后续自定义报警做准备安装CloudWatch Logs Daemonyum install -y awslogs安装发送日志的的代理wget https://s3.amazonaws.com/aws-cloudwatch/downloads/awslogs-agent-setup-v1.0.py--20
2015-08-25 21:33:46
7005
原创 试用AWS RDS的还原到时间点功能
RDS提供了数据库快照功能。那从快照恢复RDS数据库时会发生什么事呢？数据库大小 5GB1. 拍摄快照在拍摄快照过程中不断运行 create database testxx; 命令，来作时间戳，后面看能恢复到哪一步2. 还原到时间点 需要选择使用哪个快照，及实例类型3. 恢复过程大概花费11分钟4.恢复结果 新增了1个R
2015-08-25 17:38:49
1808
原创 使用CLI操作S3的sync命令
在使用CLI操作S3文件时，不仅有普通的cp，mv等命令，还有类似linux下的rsync的sync命令来帮助同步文件。命令格式大致的命令格式如下：aws s3 sync 本地目录 S3目录aws s3 sync S3目录 本地目录aws s3 sync S3目录 S3目录第一个目录是源目录，第二个目录是目标目录。在命令后面都可以添加不同的参数来定制化同步选项。
2015-08-23 11:10:18
4570
原创 使用资源组快速浏览跨region资源
在AWS的connsole界面一般资源都是按照region来整理的，例如在美国启动的EC2资源，在东京的region的界面下是看不到的。切换多region也是一个比较费时费力的工作。我们可以使用 资源组 的功能来快速浏览跨区域的资源情况。点击资源组
2015-08-22 21:54:42
1056
原创 快照与AMI的区别
快照把EBS上的数据拷贝到S3上进行保存的称为快照（Snapshot）。在快照中并不包含用于管理实例的信息。既可以使用快照生成一个EBS卷，也可以使用快照生成AMI（http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/instance-launch-snapshot.html）从快照创建EBS卷
2015-08-22 16:06:31
9557
原创 PEM文件登录EC2时的异常的解决方式
登录EC2会使用ssh -i ec2-user@来登录。这里列举了2个可能碰到的问题，及解决方案PEM文件权限问题键入ssh命令后，显示错误如下@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: UNPROTECTED PRIVATE KEY FILE! @@@@@@@@@@@@@
2015-08-22 14:49:01
4102
1
原创 老版本AMI的根EBS大小问题
老版本的AMI在创建时，会出现根EBS只能使用8G的情况。一般通过替换使用新版本的AMI可以解决。新版本的AMI启动时设置20GB，使用df命令，可见20GB创建EC2实例aws ec2 run-instances --image-id=ami-146e2a7c --key-name=keyname --instance-type=t2.micro --bloc
2015-08-18 22:23:29
1049
原创 CLI的wait子命令阻塞等待状态更新
通常创建一个spot请求或创建一个instance比较费时，创建命令完成后不能马上执行ssh等命令。AWS的CLI提供了一个wait子命令来阻塞住命令，帮助脚本的顺序正常执行。下面以创建一个Spot EC2实例为例子，演示wait的功能。查看spot价格记录aws ec2 describe-spot-price-history --start-time $(date +
2015-08-18 17:20:48
678
原创 Redis on EC2的性能测试
测试实例m3.medium, m4.large, r3.large测试步骤rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmyum --enablerepo=epel -y install redis/etc/init.d/redis startredis-b
2015-08-18 10:43:14
1531
原创 使用query参数过滤组合AWS CLI输出信息
通常在使用CLI进行操作的时候，会输出很长一串json或表格文本在命令行端。为了从这个输出信息中过滤出需要的信息，可能会用filter命令或者sed，grep，awk来处理。AWS CLI本身支持query命令来使用复杂的语法来使用条件判断，过滤出需要的字段。query本身的语法信息是通过JMESPath（http://jmespath.readthedocs.org/en/lates
2015-08-17 17:59:38
1615
原创 使用CLI查看所有DeviceFarm支持的设备列表
最近DeviceFarm又支持了iOS的真机测试。我们可以使用如下命令获得所有支持的设备列表aws devicefarm list-devices --region us-west-2 --output table注意，使用之前请记得更新AWS CLI工具。---------------------------------------------------------------
2015-08-17 11:18:49
862
原创 使用移动版AWS控制台管理资源
亚马逊提供了移动版的控制台应用程序来方便管理AWS资源。这里以iOS为例，介绍一下它的大致功能。在AppStore搜索AWS在登录界面点击IAM，使用IAM账号登录。Portal界面弹出菜单，可以切换region，或者查看各种具体的资源信息可以对一个已存在的资源执行的操作也可以查看大部分的监控信
2015-08-14 16:54:21
572
原创 使用AWS TCO Calculator 比较运维费用
使用AWS后的运维费用和使用自建数据中心有什么区别呢？我们该从哪些方面来进行比较呢？AWS提供了一个工具来进行自建数据中心和使用AWS服务器的总费用的比较。访问http://www.awstcocalculator.com/ 假设我们有一个应用，使用了100台web服务器（4核8G内存），10台DB服务器（16核32G内存）。如下填入我们的服务器硬件信息。并假设
2015-08-13 13:30:41
3032
原创 批量添加删除EC2资源的TAG
偶尔会同时生成大批量的实例，但是又忘了给他们在创建时打上标签或者在使用过程中，需要批量增加、修改实例的已有标签。AWS提供了一个资源编辑器来帮助批量添加删除TAG的功能在EC2的控制台点击“标签”可以看到管理界面，上半部是搜索出来的资源列表，下半部是操作界面。在筛选条件部分，可以对多种资源进行过滤，或者换句话说，可以对这些资源打TAG
2015-08-12 18:27:14
2003
原创 开启CloudTrail全局设置
今天发现使用CloudTrail需要在每个区域都显示地开通，即你需要在每个region下的CloudTrail页面都点击一下“立即开始试用”按钮。为了减少手工操作，可以使用CLI来完成这个工作涉及到的CLI命令获取所有region的列表aws ec2 describe-regions --output text --query 'Regions[*].Regio
2015-08-10 20:24:04
609
原创 从头新建VPC
在使用EC2或RDS的服务过程中，一直会碰到VPC这个名词。由于AWS已经给我们创建了一个默认的VPC，所以我们一般只需要在下拉列表中选择就行了。最直观的感觉就是，我们通过选择VPC的不同子网来获得不同的IP地址。那VPC的具体功能有哪些呢？我们就通过重新创建一个与默认VPC功能相同的VPC来了解它。首先看一下在VPC的门户页面有哪些信息。我们这里主要关注，VPC，子网
2015-08-10 11:09:32
1774
原创 使用Elasticache创建多AZ的redis集群
使用AWS的Elasticache可以快速创建一个支持跨AZ的redis集群，提高redis服务的整体可用性。先选择后台数据库的引擎为redis。注意勾选 “Enable Replication”（开启复制） 和 “Multi-AZ”（允许多AZ部署）的选项在“Number of Read Replicas”，选择2。目的是一个用来作为主库的只读库直接来降低
2015-08-09 23:14:09
3561
原创 使用Spot EC2实例运行VS2015
实例类型m4.large，2 vCPU， 8G mem， 200GB gp2 EBS设置Spot实例承受单价0.04美元每小时，大约每小时0.25人民币。M3.large的单价比M4.large的单价贵好几倍挑选AMIWindows Server 2008 SP1创建出的spot实例的信息点击“连接”使用自己的
2015-08-06 15:47:58
1063
原创 使用Device Farm真机测试Android程序
上个月AWS退出的Device Farm服务是可以通过把自己的Android包上传，在远端进行真机测试的服务。这里测试一下整个流程。进入Device Farm后，新建一个项目从豌豆荚下载一个APK包后，上传到Farm上接着选择要怎么测试应用第一个Fuzz测试是随机对屏幕进行点击来看是否有异常。由于不需要自己写测试代码，
2015-08-05 22:01:06
1988
原创 创建一台55分钟后会自动终止的EC2实例
有时在做技术调研时，会短时间用一下EC2机器。为了避免忘记关闭导致的费用浪费，希望能让EC2能在一段时间后自动终止。关键点：IAM角色，user-data，CLI，metadata方案：本机已运行时间能根据 /proc/uptime 获得。本EC2实例所属region和id可以通过访问本机的metadata信息（http://docs.aws.amazon.com/
2015-08-03 17:35:37
2362
原创 IAM学习备忘
IAM是AWS的身份访问管理系统。它是AWS的安全体系的基石。在IAM上主要的注意点： 尽可能不使用根账户登录AWS。大部分的需求通过使用IAM用户都能满足给根账户加入多因子认证（MFA）。一般可以通过在手机上生成一次性的登录代码来实现。（http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/Using_Ma
2015-08-02 20:12:19
1068
1
原创 如何用好AWS上的每一分钱
严格控制能开启新资源的权限不是所有AWS使用者都有如经营者一般的成本意识，他们可能开启了一个高配置服务后，就放置不管了。而大部分的AWS服务又是按时间进行收费。在无形中，会导致公司资源的浪费。当权限控制在某一个或几个有成本意识的人的手中，就能尽量避免资源的浪费。同时在开启资源前，也会经过他们的评估，启动与需求最适配的实例类型。 给资源添加TAG来区分类别大部分的AWS都
2015-07-30 10:43:02
1996
原创 试用AWS的CodeCommit服务
CodeCommit是类似于Github的源代码托管服务，完全兼容git。收费方式为：每个活动用户每月1美金（每用户每月10GB存储量，2000 个GIT请求），超过额度后，每月每GB0.06美金，每个GIT请求 0.001美金。 下面介绍如何完成自己的第一个Commit。 首先生成一个拥有commit权限的用户，并生成访问密钥 ID 和私有访问密钥。
2015-07-28 17:46:12
3316
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人