自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(52)
  • 资源 (56)
  • 收藏
  • 关注

翻译 世界模型【论文】

Agent可以在自己的梦境中学习吗?概述我们探索建立支撑流行强化学习环境的生成型神经网络模型,我们的世界模型可以以无监督的方式快速训练,以学习针对环境的压缩时空表示。通过使用从世界模型中提取的特征作为agent的输入,我们可以训练一个非常紧凑和简单的策略,可以解决所要求的任务,甚至可以完全在其世界模型生成的梦境中训练agent,并将此策略迁移到实际环境。介绍世界模特,来自斯科特麦...

2019-04-07 21:35:48 6105

翻译 剖析强化学习 - 第八部分

作者:Massimiliano Patacchiola在上一篇文章中,我介绍了函数逼近作为在强化学习设置中表示效用函数的方法。我们使用的简单逼近器基于特征的线性组合,并且它非常有限,因为它无法模拟复杂的状态空间(如XOR网格世界)。在这篇文章中,我将介绍人工神经网络作为非线性函数逼近器,向您展示如何使用神经网络来模拟效用函数。我将从名为Perceptron 的基本架构开始,然后转向称为多层感知...

2019-02-01 20:13:10 1066 1

原创 Neural Networks for Machine Learning Lecture 6 Quiz

Neural Networks for Machine Learning Lecture 6 Quiz每个人的题目可能有略微不同。

2018-10-28 19:31:18 477

翻译 分布式TensorFlow

通过使用多个GPU服务器,减少神经网络的实验时间和训练时间。作者:Jim Dowling说明:可以在这里找到示例的完整源代码。2017年6月8日,分布式深度学习的时代开始了。在那一天,Facebook发表了一篇paper,展示了他们将卷积神经网络(ImageNet上的RESNET-50)的训练时间从两周减少到一小时的方法,该方法使用32个服务器的256个GPU。在软件中,他们引入了一种具有非常大的...

2018-06-18 10:27:01 2753 1

翻译 解决几乎任何机器学习问题的方法

作者:Abhishek Thakur 一位数据科学家平均每天处理大量数据,有人说,超过60-70%的时间花在了数据采集、数据清理、数据整理上,使得机器学习模型可以应用于这些数据。本文重点介绍第二部分,即应用机器学习模型,包括预处理步骤。这篇文章中讨论的流水线是我参与过的一百多次机器学习竞赛的结果。必须指出,这里的讨论虽然普通,但非常有用,也存在非常复杂的方法,可供专业人员练习。我们将在这里使用py...

2018-06-03 19:10:04 3513

翻译 剖析强化学习 - 第七部分

作者:Massimiliano Patacchiola到目前为止,我们已经通过查找表(或者矩阵)表示效用函数。这种方法有一个问题,当潜在的马尔可夫决策过程很大时,有太多的状态和动作存储在内存中。此外,在这种情况下,访问所有可能的状态是非常困难的,这意味着我们无法估计这些状态的效用值。关键问题是泛化:如何产生一个只有很小子集的大状态空间的良好近似。在这篇文章中,我将向您展示如何使用特性的线性组合...

2018-05-09 22:08:30 1564

翻译 剖析强化学习 - 第六部分

作者:Massimiliano Patacchiola你好!欢迎来到“解剖强化学习”系列的第六部分。到现在我们已经了解了强化学习如何工作。然而,我们将大部分技术应用于机器人清洁示例,我决定采用这种方法的原因,是因为我认为应用于不同技术的同一个例子,可以帮助读者更好地理解从一种场景到另一种场景的变化。现在是将这些知识应用于其他问题的时候了。在下面的每一节中,我将介绍一个强化学习问题,并且将向您展...

2018-05-03 22:08:32 3010

翻译 剖析强化学习 - 第五部分

作者:Massimiliano Patacchiola正如我在上一篇中承诺的那样,我将在第五部分介绍进化算法,特别是遗传算法(GA)。如果你阅读完第四篇文章,你应该知道GA可以被认为是Actor-only的算法,这意味着他们直接在策略空间中搜索而不需要效用函数。GAs通常被认为是与强化学习分开的,实际上,GA不关注潜在的马尔可夫决策过程以及Agent在其生命周期中选择的动作。使用这些信息可以实...

2018-04-27 22:06:01 1103

翻译 剖析强化学习 - 第四部分

作者:Massimiliano Patacchiola这是“解剖强化学习”系列的第四篇。在这篇文章中,我将介绍另一组广泛用于强化学习的技术:Actor-Critic(AC)方法。我经常将AC定义为一种元技术,它使用以前的帖子中介绍的方法来学习。基于AC的算法是强化学习中最流行的方法之一。例如,Google DeepMind的一些研究人员最近推出的Deep Determinist Policy ...

2018-04-22 19:08:31 1457

翻译 剖析强化学习 - 第三部分

作者:Massimiliano Patacchiola欢迎来到“剖析强化学习”系列的第三部分。在第一篇和第二篇文章中,我们分析了动态规划和蒙特卡罗(MC)方法。第三部分要讲的强化学习技术称为时间差分(TD)方法。TD学习解决了MC学习中出现的一些问题,在第二部分的结论中我描述了这个问题之一,使用MC方法,需要等到episode结束才更新效用函数,这是一个严重的问题,因为一些应用程序可能会有很长...

2018-04-16 20:40:58 2758 3

翻译 剖析强化学习 - 第二部分

作者:Massimiliano Patacchiola欢迎来到剖析强化学习系列的第二部分。如果您顺利完成了第一部分,那么恭喜!您学会了强化学习的基础,即动态编程方法。正如我在第一部分中所承诺的那样,第二部分将深入进行无模型强化学习(用于预测和控制),对Monte Carlo(MC)方法进行概述。这篇文章与第一部分(弱)相关,我将使用相同的术语,例子和数学符号。在这篇文章中,我将结合Russel...

2018-04-07 22:18:20 1503 1

翻译 剖析强化学习 - 第一部分

作者:Massimiliano Patacchiola前言 [本文是对强化学习的介绍,适合已经有一些机器学习背景,并且懂一些数学和Python的读者。当我研究一种新算法时,我总是希望了解底层机制,从这个意义上讲,使用一种编程语言从头开始实现算法对理解算法是有帮助的。我在这篇文章中采用了这种方法,虽然需要花更长时间阅读但值得这样。我不是以英语为母语的人,所以如果你发现一些难以理解的错误句子,请在...

2018-04-05 11:36:49 1962 2

翻译 数据库优化-基准测试(五)

基准测试工具:DBT2DBT2是一个OLTP事务性能测试工具。它模拟一个批发供应商,多个职员访问数据库,更新客户信息和检查库存。 DBT2是一个TPC’s TPC-C基准测试规范的不错的实现,它是MySQL的最流行的基准测试工具之一,但它的文档很缺乏。DBT2:安装Perl模块DBT2需要的Perl模块:Statistics::DescriptiveTest::ParserTest::Repo

2015-08-01 19:10:44 925

翻译 数据库优化-基准测试(四)

基准测试工具:sysbench简述sysbench多线程基准测试工具,可以测试:文件I/O性能Scheduler性能内存分配和转换速度POSIX线程实现性能数据库服务器性能(OLTP)工具初始开发用于MySQL的性能测试,现在已经扩展到其它数据库。 获取工具的网址: https://code.launchpad.net/~sysbench-developers/sysbench/0.

2015-07-26 16:52:03 1536

翻译 数据库优化-基准测试(三)

基准测试工具基准测试工具:mysqlslap是MySQL官方提供的性能基准测试工具,通过客户端模拟工作负载。 其执行包括三个阶段: 1. 创建表结构和加载数据 2. 运行测试 3. 清理数据#例子1:--only-print 只输出SQL语句并打印 --auto-generate-sql 代表用系统自己生成的SQL脚本来测试$ mysqlslap --only-print --aut

2015-07-10 22:02:53 1031

翻译 数据库优化-基准测试(二)

如何执行基准测试测试条件–如何避免常见的错误?需要在一个真实的环境中运行基准测试。相似或相同的硬件 包括CPU、内存、网络、IO系统相同的软件配置相似的数据集大小相似的数据分布相似的访问模式 –避免查询和数据缓存 –重新构建访问的分布相当的线程数量 –多用户和多服务器记录所有信息宁可记录无用的信息也不错过重要的信息文档化所有的步骤以便于重新执行基准测试配置:硬件、软件版本

2015-07-08 21:47:54 998

翻译 数据库优化-基准测试(一)

基准测试的目的基准测试是为了找出系统的瓶颈,包括:硬件 磁盘、内存、网络等。 操作系统 文件系统、内存管理、驱动、调度等。RDBMS SQL层、存储引擎层。Schema设计 索引、表结构、数据类型。Query Query写的不好、逻辑错误。应用程序问题系统各部分之间的交互 磁盘IO、RAM、RDBMS等。测量值 如何测量?哪里最花时间?哪个组件最忙?找出造成瓶颈的原因

2015-06-22 18:26:18 1964

翻译 Redis的冗余方案(keepalived, HAProxy, Redis Sentinel)

Redis的冗余方案(keepalived, HAProxy, Redis Sentinel)如果你在寻找Redis的冗余方案,我找到了下面的方案,我想可以来尝试一下这个方案。 「Highly Available Redis Cluster | Simplicity is the keynote of all true elegance」 首先我们来尝试下面的配置,因为这是Pacemaker作者

2015-05-02 22:47:18 7553

翻译 在Redis-Sentinel的client-reconfig-script脚本中设置VIP

在Redis-Sentinel的client-reconfig-script脚本中设置VIP当使用Redis-Sentinel做冗余时,如何以不同方式使用VIP,我认为使用client-reconfig-script脚本是一种可行方法,让我们试试。环境CentOS 6.5 x86_64redis-2.8.9-1.el6.remi.x86_64三台机器构成一个可用的Redis集群。 端口默认63

2015-05-01 09:15:27 5368

原创 产品架构重构与优化

大规模软件系统的产品周期随着产品的不断发展,复杂度不断增加,生产率(Features数量)下降,质量(Bugs)不受控制,稳定性(Fluctuation)变差,架构变得腐化。原则、模式、最佳实践和工具集架构优化原则1.单一职责2.领域内聚3.抽象接口隔离4.重用5.管理架构资产模块解耦模式1.模块重新划分表现:一个模块在领域中内聚性不强,

2014-09-23 20:48:36 1952 1

原创 MySQL的Master/Slave集群安装和配置

本文讲述MySQL的Master/Slave集群安装和配置,安装的版本是最新的稳定版本GA 5.6.19。为了支持有限的HA,我们使用Master/Slave简单的读写分离集群。有限的HA是指当Master不可用时,数据不会丢失,但在Master宕机的情况下是不可写的,必须手工处理故障。如果要支持更高的可用性,可以使用两台Master来做热切换。Master和Slave的MySQL安装是相

2014-08-25 13:56:05 1320

原创 Dubbo服务框架解析(二)

本节介绍dubbo-common,dubbo-common是公共逻辑模块,包括Util类、通用模型,是其它模块的基础。扩展机制SPISPI是扩展点的注解,标注在类型上,所有的扩展点需要通过SPI来标注。约定:在扩展类的jar包内,放置扩展点配置文件:META-INF/dubbo/接口全限定名,内容为:配置名=扩展实现类全限定名,多个实现类用换行符分隔。1)

2014-08-22 19:25:04 3757

原创 Dubbo服务框架解析(一)

公司的一个项目的分布式系统的服务管理,使用了阿里的服务框架Dubbo,因此这里准备对服务框架进行了介绍。Dubbo服务框架可以使得java分布式系统之间进行解耦,使用一个服务注册中心来统一管理服务的信息,服务提供者提供注册中心进行注册,而服务消费者可以透明地订阅和消费服务。并支持服务的路由、过滤、负载均衡等,支持多种通讯协议及NIO框架,是一个灵活性和扩展性非常棒的服务管理框架。

2014-08-19 14:52:12 2744

原创 ZooKeeper集群安装

ZooKeeper是Apache提供的,分布式服务协调系统,应用比较广泛,

2014-07-23 17:47:10 1052

原创 Redis性能调优:保存SNAPSHOT对性能的影响

前一段时间,开发环境反馈,Redis服务器访问非常慢,每个请求要数秒时间,重启之后2~3天又会这样。我查看了一下Linux的性能,没有什么问题。通过# redis-cli --latency发现访问Redis确实很慢,执行info要几秒时间。里面有个参数已连接的客户端几万个,通过Redis>client list查看到很多client的age都很大,一直没有释放。于是怀疑是不是

2014-07-15 10:58:16 2969

翻译 JBoss AS 7性能调优(四)

原文:http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning/page-5 Logging调优记录日志是每一个应用程序的一个重要任务,默认的配置一般只适合开发,但不适用于生产环境。您切换到生产环境时需要考虑的关键要素是:1.   选择一个合适的输出日志的处理handler。2.

2014-05-09 22:26:41 1491

翻译 JBoss AS 7性能调优(三)

原文:http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning/page-4调优Web服务器线程池还有很多需要调优的地方最终影响Web服务器的性能,其中一个最重要的因素是调优HTTP线程池设置,以匹配web请求的负载。这其实是很难做到的,但可通过调优获得最佳性能。web服务器的线程数量是

2014-05-07 10:45:54 4271

翻译 JBoss AS 7性能调优(二)

调优数据库连接池建立与DBMS的JDBC连接过程可能是相当缓慢的。如果您的应用程序需要反复打开和关闭数据库连接,这可以成为一个显著的性能问题。在JBoss AS中数据源的连接池提供了一种有效的解决该问题的方法。要强调的是,当客户端关闭一个数据源的连接时,该连接返回到池中,这样可用于其它的客户端,因此,连接本身并没有关闭。打开和关闭池管理的连接的成本可以以纳秒来衡量,所以它对性能的影响无

2014-05-03 21:19:02 2873

翻译 跟踪OpenLDAP服务器性能

原文:http://prefetch.net/articles/monitoringldap.html LDAP已经成为互联网标准的目录访问协议,并且用于访问一切从DNS区域文件到用户帐户信息。随着企业和软件供应商更多地依赖于LDAP目录服务器,需要测量服务器的吞吐量和性能变得势在必行。本文将介绍可用于监视LDAP目录服务器的运行状况和性能优化的工具,并且将解释随着时间的推移ORCA如何越

2014-05-02 18:18:22 4689

转载 JCACHE规范尘埃落定

Oracle于上月宣布,JCACHE规范最终定型。JSR-107由来已久,始于2001年3月6日。经过13年的发展与演进,“Java临时缓存API”使Java拥有了与缓存系统交互的通用接口。因为JCACHE原计划包含在去年发布的Java EE 7中,Oralce曾经备受瞩目,但是由于错过“若干关键最后期限”,该JSR最终被排除在候选列表之外。根据Oracle最近对JAVA EE 8所作的调

2014-05-01 16:02:46 1302

翻译 JBoss AS 7性能调优 (一)

原文:http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning 调优JBoss应用服务器虽然许多架构师和软件工程师都同意,约70-80%的应用程序的性能取决于应用程序本身的编码,配置不当的服务器环境可以显著影响你的用户体验,并最终影响到你的应用程序性能。很多配置元素,可以显著地影响你的服

2014-05-01 14:54:44 2693

原创 JBoss DataGrid的集群部署与访问

集群部署JDG的缓存模式包括本地(Local)模式和集群(Clustered)模式。本项目采用多节点的Clustered模式部署,数据在多个节点的子集间进行复制,而不是同步复制到所有的节点。使用子集复制可以提升容错的效率但对可伸缩性不会造成太大影响。在使用Clustered模式部署之前,应该配置JGroup。1.       使用UDP方式广播。l  适用于大的集群(超过100节点

2014-04-26 20:15:02 2063

转载 历史上最知名的15位计算机科学家

麻省理工学院媒体实验室推出了一个名为“Pantheon”的项目试图量化历史人物对文化的影响。 基于维基百科上超过11,000位历史人物的数据,他们创建出了一种名为“历史人气指数(HPI)”的参数。这一参数根据语言数量、页面访问量等数据得出。相较演员、运动员和艺术家,著名的技术人员仍普遍得分较低。以下列出了15个历史上最知名的计算机科学家,其中许多都是开源界的名人。我们来看一下他们的“HPI”分数。

2014-04-25 16:39:22 990

转载 做大的艺术 - 大型网站的架构设计

(原文在这里 http://blog.sina.com.cn/s/blog_46d0a3930100euxb.html ,看了一些关于网站架构方面的文章,基本上是大同小异。也就是说,基本的原则都是一样的,而且软件也都是开源软件。但难点在于整合和运营。整合需要一些自制的工具或者根据业务定制软件;运营需要考虑数据中心建设,业务流程设计等等,不是一个简单的软件问题。从小到大的演化是一个很有意思的故事

2014-04-25 13:22:36 707

原创 缓存提供者CachingProvider

缓存提供者CachingProvider缓存提供者是Java缓存API的一个核心概念,它的作用是通过一个CachingProvider,开发者获得CacheManager,并通过CacheManager和缓存交互。通过CachingProvider可以:●获取默认的CacheManager实例。●通过唯一确定的URI为标识,创建CacheManager实例。        

2014-04-22 16:39:31 4074

原创 Hadoop Master/Slave部署遇到的问题与解决方法

本人学习Hadoop,尝试使用两台物流

2014-04-14 18:03:48 3286

翻译 Berkeley DB数据库和日志文件归档

Berkeley DB数据库和日志文件归档归档数据库和日志文件目的是提供面对数据库的灾难性故障的可恢复性,最大限度地减少发生物理硬件故障导致数据丢失。首先,你可能需要定期创建数据库快照(也就是备份),以使数据有可能从灾难性故障中恢复。快照是一个标准的备份,可以创建一个和某个时间点和数据库一致的备份;或联机备份(也称为热备份),它创建是一段时间内未指定时间点的数据库备份。热备份的优点在于

2014-04-08 09:46:18 2556

原创 Java Caching JSR107介绍(五)

缓存条目Listener事件与ListenerJCache中定义了缓存事件的抽象类CacheEntryEvent,以及事件类型EventType枚举类,包括了四种事件类型,定义见下:public enum EventType { CREATED, //创建 UPDATED, //更新 REMOVED, //删除 EXPIRED  //过期}这些事件将被传播到注册

2014-03-08 19:08:47 1723

原创 Redis2.8.6的Master/Slave/Sentinel安装及配置文件说明

Redis服务器安装Redis版本是2.8.6。安装步骤如下,解压和Make#tar xzf redis-2.8.6.tar.gz#cd redis-2.8.6#make创建目录并Copy文件#mkdir /etc/redis-server /var/log/redis/var/lib/redis-server /etc/redis#cp src/redis-ser

2014-02-28 16:49:03 3195 1

原创 Java Caching JSR107介绍(四)

集成javax.cache.integration包中包含集成外部资源的类。缓存数据加载Cache的loadAll方法用于从外部资源中加载数据。定义如下。void loadAll(Set keys,boolean replaceExistingValues,               CompletionListenercompletionListener);对于此方法中

2014-02-23 21:12:17 2329

MongoDB_Architecture_Guide 3.2

MongoDB架构指南3.2英文版

2016-04-11

Webinar的MySQL高性能高可用资源集合

MYSQL高可用高性能调优资源PPT: BackupRestoreWebinar_20150715_0.pdf HA using MySQL in the Cloud vf_0.pdf How to Scale Big Data Applications.pdf MySQL-Indexing-Best-Practices-for-MySQL-5.6.pdf MySQL101InnodbSchemadesignwebinar.pdf Percona-Webinar-Intro-to-troubleshooting-basic-techniques.pdf Percona-Webinars-July2015-Practical-MySQL-Performance-Optimization_0.pdf Webinar-Feb2016-Using-Grafana-MySQL-Monitoring.pdf Webinar-May2014-Practical-MySQL-Performance-Optimization.pdf Webinar_2014_InDepth_Query_Optimization.pdf Webinar_MySQL-5 6-Performance-Schema-Introduction.pdf Webinar_Query_Optimization-2_0.pdf what every dba needs to know about mysql security.pdf

2016-04-02

HBase权威指南中文版

《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地Java客户端,或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase;了解HBase架构的细节,包括存储格式、预写日志、后台进程等;在HBase中集成MapReduce框架;了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。

2015-11-24

Clojure编程中文版

Clojure.Programming_CHS Clojure编程中文版

2015-11-23

MySQL-Percona-book

包括电子书: Innodb_logs_ebook.pdf innodb_performance_optimization_final.pdf mysql_high_availability.pdf Mysql_logs_ebook.pdf mysql_performance_schema.pdf mysql_performance_tuning.pdf mysql_server_memory_usage_ebook.pdf

2015-11-17

ITSM运维服务体系介绍

ITSM运维服务体系介绍 给用户带来的价值 解决方案介绍 解决方案优势 项目实施方案 成功案例介绍

2015-11-15

系统架构师2013年真题

系统架构师2013年真题

2015-10-25

过程建模-课件

9.1 过程建模简介 9.2 过程建模的系统概念 9.3 逻辑过程建模过程 9.4 如何构造过程模型 9.5 系统模型的同步

2015-10-25

2014年系统架构设计师真题及答案

2014年系统架构设计师真题及答案

2015-10-24

阿里云产品资料

包括: 阿里云-产品介绍+-+ECS弹性计算服务.pptx 阿里云-产品介绍+-+OCS产品v1.5.pptx 阿里云-产品介绍+-+ODPS-v0.3.pptx 阿里云-产品介绍+-+OSS-v0.3.pptx 阿里云-产品介绍+-+OTS-v0.3.pptx 阿里云-产品介绍+-+RDS-v0.3.pptx 阿里云计算产品介绍V0.2.pptx 阿里云计算整体介绍.pptx 飞天开放平台-大数据技术年会-4x3.pptx 飞天开放平台编程指南20121214-Final版.pdf

2015-10-04

TOGAF Version 9.1 A Pocket Guide

TOGAF 9.1口袋书英文版 TOGAF Version 9.1 A Pocket Guide

2015-10-04

系统架构设计师考试历年试题分析与解答

全国计算机技术与软件专业技术资格(水平)考试用书:系统架构设计师考试历年试题分析与解答 – 2013年9月1日

2015-10-03

MYSQL性能调优工具介绍

一 mysql awr报告(简单的AWR,mysqltuner.pl,tuning-primer.sh pt-query-digest,pt-variable-advisor) 二 性能分析工具介绍(mytop,innotop,orzdba,tcpdump,pt-query-digest,tbdba-slow-picker.pl,iotop,io-profile,nicstat,mpstat,iostat,vmstat,tcprstat,dstat,oprofile,vmtouch) 三 主从复制延时解决(relay-fetch 介绍)

2015-10-02

数据挖掘技术及其应用

数据挖掘概述 数据预处理 数据挖掘算法-分类与预测 数据挖掘算法-聚类 数据挖掘算法-关联分析 序列模式挖掘 数据挖掘软件 数据挖掘应用

2015-10-02

大数据智能应用

大数据时代与百度大数据引擎 百度大数据分析 百度大数据应用案例

2015-09-29

第六章_关系数据理论

6.1 问题的提出 6.2 函数依赖及公理系统 *6.3 模式的分解 6.4 范式 6.5 小结

2015-09-26

化繁为简-IBM云存储整体解决方案

未来计算中心的建设模式是“资源池式”建设,通过虚拟化技术的应用打破了传统竖井式的资源壁垒,若干应用系统共享各类处理资源,支持随业务应用压力变化灵活调整资源供应;集中式运维管理通过对运维流程的固化、不同专业领域的人员整合等方法的应用大大提高了运维效率

2015-09-20

分布式存储的元数据设计

• ⽆无中⼼心的存储设计: glusterfs • 有中⼼心的存储设计:hadoop • 基于数据库的存储设计: gridfs, hbase • 绕过问题的存储设计: fastdfs

2015-09-12

真正的大数据云计算平台

真正的云计算平台,它有五层架构: 运维管理层:clouDil 计算层:MapReduce+TaskMaster 数据管理层:DataCube 虚拟化层:cCloud 存储层:cStor

2015-09-03

云计算资源管理平台系统培训手册

云计算资源管理系统是借助IAAS虚拟化技术平台的支撑,达到对虚拟主机、虚拟存储、虚拟网络、虚拟安全设施的按需动态、弹性管理。系统的核心目标是为了将虚拟化资源池中的资源高效、实时、友好的展示给用户和用户人员并能满足用户的资源管理和使用需求。对于虚拟化资源的实时配置与运行属性应能通过定时扫描的方式自动维护虚拟化资源的配置属性库,对于需要人工设定的管理业务属性应提供在线的管理维护界面。对于资源管理过程中需要与运维服务流程联动的应提供运维服务流程的联动执行机制

2015-09-03

一种准确而高效的领域知识图谱构建方法

作为语义网的数据支撑,知识图谱在知识问答、语义搜索等领域起着至关重要的作用,一直以来也是研究领域和工程领域的一个热点问题,但是,构建一个质量较高、规模较大的知识图谱往往需要花费巨大的人力和时间成本.如何平衡准确率和效率、快速地构建出一个高质量的领域知识图谱,是知识工程领域的一个重要挑战.对领域知识图谱构建方法进行了系统研究,提出了一种准确、高效的领域知识图谱构建方法——“四步法”,将该方法应用到中国基础教育九门学科知识图谱的构建中,在较短时间内构建出了准确率较高的学科知识图谱,证明了该方法构建领域知识图谱的有效性.以地理学科知识图谱为例,使用“四步法”共得到67 万个实例、1 421 万条三元组,其中,标注数据的学科知识覆盖率和知识准确率均在99%以上.

2019-02-27

VGG16预训练模型part2

VGG16预训练模型 "vgg_url": "ftp://mi.eng.cam.ac.uk/pub/mttt2/models/vgg16.npy"

2018-05-19

VGG16预训练模型part1

VGG16预训练模型 "vgg_url": "ftp://mi.eng.cam.ac.uk/pub/mttt2/models/vgg16.npy"

2018-05-19

知识图谱:大数据语义链接的基石

知识图谱:大数据语义链接的基石 李涓子 清华大学 主要内容 一、知识图谱基础 二、知识图谱类型 三、知识图谱构建方法及关键技术 四、基于知识图谱的语义链接及其应用

2018-05-16

Learning TensorFlow A Guide to Building Deep Learning Systems

Learning TensorFlow A Guide to Building Deep Learning Systems Tom Hope, Yehezkel S. Resheff, and Itay Lieder In this book you will learn how to: 1. Get up and running with TensorFlow, rapidly and painlessly. 2. Use TensorFlow to build models from the ground up. 3. Train and understand popular deep learning models for computer vision and NLP. 4. Use extensive abstraction libraries to make development easier and faster. 5. Scale up TensorFlow with queuing and multithreading, training on clusters, and serving output in production. 6. And much more!

2018-05-10

Deep Learning with Hadoop

This book will teach you how to deploy large-scale datasets in deep neural networks with Hadoop for optimal performance. Starting with understanding what deep learning is, and what the various models associated with deep neural networks are, this book will then show you how to set up the Hadoop environment for deep learning.

2018-05-10

探索性数据分析(EDA)PPT

探索性数据分析(EDA) EDA指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。在深入机器学习或统计建模之前,EDA是一个重要的步骤,这是因为它提供了为现有问题开发适当模型并正确解释其结果所需的来龙去脉。

2017-12-02

Reasoning Attention and Memory

Reasoning, Attention and Memory 深度学习的推理、注意力和记忆 Sumit Chopra Facebook AI Research

2017-11-22

Deep Reinforcement Learning through Policy Optimization

深度强化学习 Deep Reinforcement Learning through Policy Optimization Pieter Abbeel Open AI / Berkeley AI Research Lab Slides made in collabora<on with John Schulman

2017-11-19

Recurrent Neural Networks

深度学习暑期课件 Recurrent Neural Networks Deep Learning Summer School 2016 Yoshua Bengio Montreal Ins&lt;tute for Learning Algorithms Université de Montréal

2017-11-18

learning to see

Learning to see深度学习课件 Antonio Torralba Computer Science and Ar1ficial Intelligence Laboratory (CSAIL) Department of Electrical Engineering and Computer Science

2017-11-16

Introduction to Reinforcement Learning

深度学习暑期学校课件 Reinforcement Learning: From basic concepts to deep Q-networks Joelle Pineau McGill University Deep Learning Summer School August 2016

2017-11-15

Introduction to Convolutional Networks

Introduction to Convolutional Networks 深度学习CNN课件 Rob Fergus Facebook AI Research New York University

2017-11-14

大数据 - 可扩展的实时数据系统的原则和最佳实践-英文版

使用Lambda架构构建的数据系统的好处,不仅仅是扩展。因为你的系统将能够处理更大量的数据,你将能够收集更多的数据,获得更多的价值。增加存储数据的数量和类型,将会有更多机会去挖掘数据,生成分析和构建新的应用程序。 使用Lambda架构的另一个好处是,应用程序将非常健壮。有很多原因,例如,你将有能力在整个数据集上运行计算来进行迁移或解决出错的事情。你永远不需要处理同一时间模式中有多个活跃版本的情况。当你改变模式时,你将有能力更新所有数据到新的模式。同样地,如果一个错误的算法被不小心部署到生产环境,破坏了你提供的数据,你可以通过重新计算被破坏的数值,很容易地解决该问题。如你将见到的,还有许多其他原因使得为什么大数据应用程序会更加健壮。 最后,性能将是更加可预测的。虽然Lambda架构作为一个整体是通用的和灵活的,但组成系统的各个组件是特定的。当与比如SQL查询计划比较时,后台很少会有“魔法”发生。这就得到更加可预测的性能。

2017-03-08

基于机器学习的智能运维

基于机器学习的智能运维

2016-11-15

Logistic regression(with R) 逻辑回归(R语言)

Logistic regression(with R) 逻辑回归(R语言)

2016-11-14

A Field Guide to the Distributed Development Stack

A Field Guide to the Distributed Development Stack Introduction 1 How to Contribute 3 The Cloud Is the Default Platform 5 Traditional Cloud Providers 6 Hosted PaaS 6 Internal Services 7 For More Information 7 CI Servers Deploy Code, Not Ops 9 Tools 10 Continuous Deployment 11 The Codebase Is in Git 13 Tools 14 The Entire Application Runs Locally in Development 17 Tools 17 The Environment Is Automated in the Code 19 iii Tools 20 For More Information 21 The Monitoring Infrastructure Is Critical 23 Tools 24 Tests Done in Code, Not by a QA Department 27 Tools 27 Containerization for Production Services 29 Real-time Chat and Chatbots 33 Chat 35 Chatbots 35 For More Information 35 Appendix: Contributors 37 Survey 39

2016-10-13

Machine Learning and Data Mining in Pattern Recognition, 9th, MLDM 2013

Machine Learning and Data Mining in Pattern Recognition 9th International Conference, MLDM 2013 NewYork, NY, USA, July 19-25, 2013 Proceedings

2016-09-28

Apache Eagle—eBay构建开源分布式实时预警引擎实践-陈浩

Apache Eagle—eBay构建开源分布式实时预警引擎实践-陈浩

2016-09-25

ng-book 2随书代码

ng-book 2: The Complete Guide to Angular 2 Sample Code

2016-05-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除