- 博客(96)
- 收藏
- 关注
RSS订阅原创 WebRTC demo
/ 设置帧率// 可选项: 'never', 'always', 'motion'// 请求视频流，这里可以添加更多的配置选项，如限制分辨率等。// 将捕获的流赋值给video元素的srcObject。// 监听流结束事件，处理用户停止共享的情况。// 处理错误，可能是用户拒绝了屏幕共享请求。// 根据需要可以请求音频。
2024-04-23 06:35:13
345
原创 一文学会Amazon transit GateWay
这是一个中转网关，使用时候需要在需要打通的VPC内创建一个挂载点，TGW会管理一张路由表来决定流量的转发到对应的挂载点上。本质上是EC2的请求路由到TGW，然后在查询TGW的路由表来再来决定下一跳，所以需要同时修改VPC 内子网的路由表和TGW的路由表。
2024-04-20 06:44:33
725
原创 Amazon OpenSearch的几种认证
在Amazon OpenSearch Service中，主用户的配置可以通过三种方式进行：用户名和密码组合、IAM角色，以及通过第三方联合登录。这样的配置授权主用户在OpenSearch仪表板上进行内部用户、角色和角色映射的创建。需要注意的是，OpenSearch Service在任何时候只能支持一种仪表板认证方式。因此，尽管IAM主用户配置主要用于通过Cognito进行身份验证和管理，但这并不影响通过SDK对集群进行操作的能力。
2024-04-18 00:49:26
395
原创 APIGateway的认证
中国区有一个特殊的流程叫做ICP备案, 如果没有进行备案的话，那么无论是公网访问还是内网访问，都会遇到如下的401报错当然如果使用自定义域名的话，那么域名也需要备案。
2024-04-13 15:49:13
1035
1
原创 亚马逊云配置深度学习环境
这里提醒根卷一定要大，我这里安装完nvdia driver和nvcc以及pytorch之后使用了15G的磁盘空间。对于MacOS来说没无法cuda，所以用的是mps后端计算，所以也无法打印GPU数量和型号。如果使用PopOS的话，可以选择自带英伟达驱动的镜像，这样就可以免去复杂的驱动安装流程。亚马逊云内置了安装好驱动的AMI，这里我选择了Pytorch 2+的版本。
2024-04-08 07:13:00
187
原创 一文讲透亚马逊云命令行使用
覆盖任何其他位置的设置，例如 --region、–output 和 --profile 参数，比如在没有显示指定region的情况下，可以使用—region 指定区域，使用-- profile 指定配置文件中其他的身份。输入之后会提示输入AK/SK，region以及输入的格式信息,对于输出格式一般使用json，也可以选择text，table，yaml，yaml-stream ，比如在后边加上–output table。现在都使用V2版本的命令行工具，可以从官网下载最新的二进制安装包。
2024-04-07 20:44:39
1090
原创 pipx和conda
则是一个更为通用的包管理器，特别适合需要复杂依赖管理的科学计算和数据分析项目，可以管理Python以外的包。是一个用于安装和运行Python应用的工具，它可以为每个安装的应用创建独立的虚拟环境，从而避免依赖冲突和污染全局环境。是一个开源的包管理器和环境管理器，可以用来安装、运行和升级包和他们的依赖，同时也能够创建、保存、加载和切换环境。命令，你可以更容易地管理和使用Python命令行工具，而不用担心依赖冲突或污染你的系统环境。安装应用后，你可以直接通过命令行运行它，就像它是全局安装的一样。
2024-04-04 19:56:12
1020
原创 修改亚马逊云科技账户的密码和MFA
要使用AWS CLI删除当前账户的多因素认证(MFA)设备并修改密码，你需要先确保已安装并配置了AWS CLI，并且你的账户有足够的权限执行这些操作。
2024-03-31 22:42:35
367
原创 Nginx 部署静态文件
部署静态文件（如HTML、CSS和JavaScript文件）到一个Docker容器中，并使用Nginx作为web服务器是一个常见的做法。这种方式可以提高应用的性能和可靠性。
2024-03-31 22:41:24
261
原创 亚马逊云科技云从业者认证考试限时 50% 折扣券限量赠送，先到先得！立即报名领取
亚马逊云科技云从业者认证（AWS Certified Cloud Practitioner）作为全球热门的云基础认证, 对于寻求基础云知识的开发者、专业人士、学生, 以及没有技术背景的职场人士来说, 都是进阶亚马逊云认证之旅的良好起点并助您进一步提升职场竞争力！※3 亚马逊云科技委托Enterprise Strategy Group发布的报告《亚马逊云科技培训和认证帮助学习者在日益云计算的世界中茁壮成长》, 2022年1月。与此同时，多项研究表明, 获得亚马逊云科技认证使云从业者收获颇丰！
2024-03-31 15:57:14
136
原创 13. 一起学习机器学习 PCA
The purpose of this notebook is to understand and implement two linear dimensionality reduction methods:The main idea of these methods is to approximate our data by a linear combination of a few components, which span the space for a low-dimensional repres
2024-03-26 21:27:17
1085
原创 12. 一起学习机器学习Clustering using Gaussian Mixture Models
【代码】12. 一起学习机器学习Clustering using Gaussian Mixture Models。
2024-03-26 21:02:03
1081
原创 9.一起学习机器学习 -- Multilayer Perceptron (MLP)
The purpose of this notebook is to practice implementing the multilayer perceptron (MLP) model from scratch.The MLP is a type of neural network model, that composes multiple affine transformations together, and applying a pointwise nonlinearity in between.
2024-03-26 20:43:37
1184
1
原创 8.一起学习机器学习 -- Stochastic Gradient Descent
The purpose of this notebook is to practice implementing the stochastic gradient descent (SGD) optimisation algorithm from scratch.We consider a linear regression problem of the formy=β0+xβ1+ϵ ,ϵ∼N(0,σ2)y = \beta_0 + x \beta_1 + \epsilon\,,\quad \epsil
2024-03-26 20:09:08
950
原创 7.一起学习机器学习 -- Support Vector Machines (SVMs)¶
【代码】7.一起学习机器学习 -- Support Vector Machines (SVMs)¶。
2024-03-26 20:06:10
1296
2
原创 6.一起学习机器学习 -- Decision_trees and Random_Forest
【代码】6.一起学习机器学习 -- Decision_trees and Random_Forest。
2024-03-26 19:55:29
1136
原创 4. 一起学习机器学习 -- Logistic regression
【代码】4. 一起学习机器学习 -- Logistic regression。
2024-03-26 19:51:22
1324
原创 5. 一起学习机器学习 -- Naive Bayes
Naive Bayes is a classification algorithm based on Bayes’ theorem. Bayes’ theorem provides a way to calculate the probability of a data point belonging to a given class, given our prior knowledge. It is defined asP(class∣data)=P(data∣class) P(class)P(data)
2024-03-26 19:44:03
1327
原创 2.一起学习机器学习 -- Linear_regression
PrerequisitesBasic familiarity with NumpyBasic familiarity with PyplotOutlineSection 0: NumPy Tips and Code ClaritySection 1: Intro to Linear RegressionSection 2: Least Squared Loss and Maximum LikelihoodSection 3: Ridge RegressionSection 4: LAS
2024-03-24 10:28:52
684
原创 亚马逊云科技《生成式 AI 精英速成计划》
最近亚马逊云科技推出了「加入生成式AI精英速成计划」，获取包含：免费学习热门生成式AI课程、技能证书、人力主管的面试辅导、云计算国际认证、免费去往北美参加全球用户大会等～针对开发者和企业非技术专业人士，了解如何使用大模型平台、训练与部署大模型及如何打造生成式AI应用，並快速理解AI的商业潜力和应用场景，学习如何利用AI技术优化决策过程、发掘商业价值，并助您成为更具竞争力的复合型人才！链接如下：课程主要分为两个模块，《商业应用技能》和《技术开发技能》。
2024-03-23 10:40:11
1027
原创 Introduction to SageMaker
SageMaker 的核心是一项完全托管的服务，提供构建、训练和部署机器学习模型的工具。这是一个非常简洁的使命宣言，说明了 SageMaker 可以帮助您实现的目标。它包含一些组件，例如管理笔记本以及帮助标记和训练模型，但从本质上讲，SageMaker 应该被视为您需要构建、训练和部署模型时可以使用的地方。您拥有一些简单的预训练机器学习模型，可能允许进行一些调整和调整。应用程序服务的下一层是平台服务。应用程序服务就像去面包店买一块饼干，而平台服务则更像是购买附带食谱的蛋糕粉。
2024-03-15 16:47:29
790
原创 分布式机器学习
考虑到当今大数据时代生成的数据量，分布式机器学习是一项重要技术。由此引出的问题是，我们应该选择哪个平台来帮助构建分布式机器学习环境？Apache Spark 是近年来非常流行的此类平台之一。
2024-03-15 15:50:55
1054
原创 机器学习介绍
最后，如果我们的模型在提供准确预测方面达到了我们的期望，我们可以部署该模型并开始通过它提供新的数据点，首先执行特征提取并将生成的特征向量传递到我们的模型中。给定特征一和特征二时，A 类的概率等于分数，其中分数的分子是给定 ClassA 的特征一的概率乘以给定 ClassA 的特征二的概率乘以 ClassA 的概率。在这里，我们将使用以前的购买数据集的示例来训练我们的模型。无监督训练的训练阶段与监督训练中使用的训练阶段类似，关键区别在于标签的丢失，或者监督训练算法不将标签或答案作为其输入的一部分。
2024-03-15 15:31:53
1127
1
原创 Amazon Redshift
因此，当提交查询时，领导节点将检查其自己的结果缓存副本，如果找到成功的匹配，则使用缓存的结果，而不是在 Redshift 集群上执行另一个查询。如果来自外部应用程序的查询引用与计算节点关联的表，则该代码将分发到集群中的计算节点以获取所需的数据，然后将其发送回领导节点。数据仓库用于整合来自多个来源的数据，使您能够跨数据运行业务智能工具，帮助您识别可操作的业务信息，然后使用这些信息来指导和推动您的组织做出有效的数据驱动决策 为了您公司的利益。创建表时，可以根据为表定义的分布情况将表的行分布在不同的节点切片上。
2024-03-14 10:32:08
413
原创 Amazon Kinesis Analytics
现在让我们将注意力集中在 Amazon Kinesis Analytics 上。Amazon Kinesis Analytics 使您能够快速编写 SQL 代码，以近乎实时的方式连续读取、处理和存储数据。借助 Amazon Kinesis Analytics，您可以实时摄取数十亿个小数据点。 然后可以聚合每个单独的数据点以提供智能的业务见解，进而可用于持续优化和改进业务流程。使用 Kinesis Analytics 需要您执行以下三个步骤。第一步，配置输入流。第二步，提供 SQL 查询来执行分析。
2024-03-13 22:00:31
963
原创 Fundamentals of Amazon MSK (Amazon Managed Streaming for kafka)
Amazon Managed Streaming for Apache Kafka 或 Amazon MSK 允许您在 AWS 中运行利用 Apache Kafka 的应用程序。Kafka 提供了一个流处理平台，并作为基于发布者/订阅者的持久消息传递系统运行。其主要功能是能够以极高的容错能力获取数据，允许这些记录的连续流，从而保持数据的完整性，包括接收数据的顺序。然后，Apache Kafka 充当这些数据生成实体和订阅它的客户之间的缓冲区。
2024-03-13 21:56:46
1216
原创 ECS - Elastic Container Service
因此，举例来说，如果您需要连接到您的实例之一，您仍然可以使用相同的熟悉方法，例如启动 SSH 连接。该集群是动态可扩展的，这意味着您可以将集群作为单个小型实例启动，但它可以动态扩展到数千个较大的实例。如果需要，可以在集群内使用多种实例类型。Fargate 的启动需要的配置要少得多，只需指定所需的 CPU 和内存、定义网络和 IAM 策略，此外您还必须将应用程序打包到容器中。ECS服务允许您跨 EC2 实例集群运行打包为容器的支持 Docker 的应用程序，而无需您管理复杂且管理繁重的集群管理系统。
2024-03-13 21:41:39
365
原创 EKS - Elastic Kubernetes Service
创建 EKS 集群 VPC：使用 AWS CloudFormation，您需要根据以下模板创建并运行 CloudFormation 堆栈：https://amazon-eks.s3-us-west-2.amazonaws.com/cloudformation/2019-02 -11/amazon-eks-vpc-sample.yaml，它将配置一个新的 VPC 供您与 EKS 一起使用。因此，在 EKS 中，AWS 负责配置、扩展和管理控制平面，他们通过利用多个可用区来实现额外的弹性。
2024-03-13 21:39:45
394
原创 ECR - Elastic Container Registry
配置注册表、存储库和安全控制并使用 ECR 对 docker 客户端进行身份验证后，您就可以开始将 docker 镜像存储在所需的存储库中，准备好在需要时再次下拉。由于 docker 命令行界面不支持所使用的不同 AWS 身份验证方法，因此在 docker 客户端可以访问您的注册表之前，需要将其验证为 AWS 用户，这将允许您的客户端进行推送和拉取 图片。然后，您必须复制此命令并将其粘贴到您的 docker 终端中，该终端将验证您的客户端并将 docker CLI 关联到您的默认注册表。
2024-03-13 21:37:15
726
原创 Amazon KMS
密钥策略是基于资源的策略，并与您的 KMS 密钥相关联。关键策略基于 JSON，文档语法与 IAM 策略非常相似。要使 IAM 权限作为一种有效的访问控制方法，您必须在密钥策略中启用它们。如果您不启用 IAM 权限，则任何允许访问密钥的 IAM 策略都将被忽略，除非它们用于拒绝访问。关键管理员可以是用户或角色。密钥管理员只能管理 KMS 密钥，而不能使用它执行任何加密功能。如果授予密钥管理员访问权限，则密钥管理员可以删除密钥。
2024-03-13 18:26:55
828
原创 Amazon kinesis 介绍
kinesis是由 KinesisData Streams、Kinesis Data Fire Hose、KinesisVideo Streams 和 Kinesis Data Analytics。每个组件都解决独特的业务问题。简单地认为 KinesisData Streams 和 Kinesis Data Firehose 执行完全相同的操作是错误的，区别在于 Firehose 完全由 AWS 管理。它们各不相同，服务于不同的用例，并以不同的方式管理流数据。
2024-03-13 17:27:25
948
原创 Kinesis Data Stream
生产者应用程序将数据作为数据记录放入流中。数据记录由三个主要部分组成；分区键、序列号和数据 Blob。数据记录内的数据是 Base64 编码的文本。数据记录根据其分区键放入分片，并按序列号排序。一条数据记录只能进入一个分片。分片既是规模单位也是并行单位。单个分片可支持每秒1兆字节或1000条记录的数据写入速率；以较大者为准。AWS 跨 3 个可用区自动复制分片，以实现持久性和高可用性。消费者应用程序处理存储在 Kinesis Data Streams 中的数据记录。
2024-03-13 17:27:15
878
原创 亚马逊云科技Glue
Glue 最重要的部分，ETL：用于从 A 点（我们的源数据）提取、转换和加载数据到 B 点（目标文件或数据存储库）。 AWS Glue 会为您执行大量此类工作。 转换通常是更繁重的工作，需要从各种来源进行组合、清理数据、正确映射到目标、形成新模式、聚合或分解等等。AWS Glue 的优势：AWS Glue 中的 ETL 代码可以轻松运行无服务器。 AWS Glue 有一个爬网程序，可以推断源数据、工作数据和目标数据的架构，爬网程序可以按计划运行以检测更改。使用 AWS Glue 的功能创建爬网程序
2024-03-13 16:48:19
915
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人