普通网友-CSDN博客

转载 OpenSearch 最佳实践

OpenSearch 最佳实践OpenSearch : 是一款结构化数据搜索托管服务，为移动应用开发者和网站站长提供简单、高效、稳定、低成本（？）和可扩展的搜索解决方案。低成本：相对“低成本”，当文档数量到了一定量级后，实例租用等费用也不便宜。。。。大家从自身业务能力及成本综合考虑，到底要不要上opensearch还是另走他法OpenSearch的产品架构在官方文档处可以查阅

2017-12-26 15:13:41 198

转载基于Redis 千万级用户排行榜最佳实践

基于Redis 千万级用户排行榜最佳实践前言Redis 是一个开源的，内存中的数据结构存储系统，可以用作数据库、缓存和消息队列中间件。它支持多种类型的数据结构，如字符串（string）， Hash，列表（List），集合（Set），有序集合（Sorted Set) 。内置了复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（L

2017-12-26 14:48:34 441

转载 PyODPS 中使用 Python UDF

PyODPS 中使用 Python UDF 包含两方面，一个是直接使用，也就是在 MaxCompute SQL 中使用；一个是间接的方式，也就是 PyODPS DataFrame，这种方式你不需要直接写 Python UDF，而是写普通的 Python 函数或者类。下面我们分开说明。作为准备工作，我们需要 ODPS 入口，可以通过直接初始化，或者使用 room 机制加载。from o

2017-12-25 15:00:55 590

转载独家 | 10分钟带你上手TensorFlow实践（附代码）

这篇TensorFlow教程的目标读者是那些对机器学习有一定基本概念并且想尝试上手TensorFlow的人。首先你需要安装好TensorFlow（可以跟着本教程进行安装http://cv-tricks.com/artificial-intelligence/deep-learning/deep-learning-frameworks/tensorflow/install-tensorflow-1-

2017-12-22 15:42:50 95

转载 Docker 组件如何协作？- 每天5分钟玩转Docker容器技术（8）

一个完整的例子还记得我们运行的第一个容器吗？现在通过它来体会一下 Docker 各个组件是如何协作的。容器启动过程如下：Docker 客户端执行 docker run 命令。Docker daemon 发现本地没有 httpd 镜像。daemon 从 Docker Hub 下载镜像。下载完成，镜像 httpd 被保存到本地。Docker daemon 启动容器。

2017-12-22 15:41:12 99

转载 JAVA字节流与字符流的相互转换

先来看一下流的概念：在程序中所有的数据都是以流的方式进行传输或保存的，程序需要数据的时候要使用输入流读取数据，而当程序需要将一些数据保存起来的时候，就要使用输出流完成。程序中的输入输出都是以流的形式保存的，流中保存的实际上全都是字节文件。字节流与字符流在java.io包中操作文件内容的主要有两大类：字节流、字符流，两类都分为输入和输出操

2017-12-22 15:25:00 123

转载【阿里云MVP月度分享】如何基于MYSQL做实时计算？

有时候我们会有这样的场景，在某个接口中，数据已经很规范地存入到一张的MYSQL表中，现在想对这样的数据做一些实时或准实时处理，比如数据多模式存储、异步准实时业务流程、业务实时监控等。接口中处理流程如下：最原始的方法，是改动业务代码，将这些额外的处理流程作为同步流程，在更新MYSQL数据之后同步执行。如下图：但是这样的处理流程可能会越来越多，如果一直作为同步流程，整个接口会变

2017-12-22 15:22:43 85

转载【NIPS最佳论文引发深度学习论战】AlphaZero能击败冷扑大师吗？No（Science论文）

NIPS2017的最佳论文今年被“冷扑大师”拿下，在深度学习大行其道的今天，一个使用非深度学习方法的研究拿下最佳论文，着实有些意外，算是“冷扑大师”创造的一个小冷门。12月18日，《Science》上发布了题为《Superhuman AI for heads-up no-limit poker: Libratus beats top professionals》的文章，介绍“冷扑大师”的工

2017-12-20 14:24:25 119

转载 Greenplum 点查(按PK查询)性能与提升空间

标签PostgreSQL , Greenplum , 点查 , 按PK查询背景点查，基于PK的查询或者OLTP类查询，实际上并不是GPDB 擅长的，GPDB擅长的是海量的OLAP。不过在企业、政府等窗口服务类业务，并发实际上并不高，如果GPDB的点查性能达到一定的性能时，实际上也能满足这类场景的需求。测试下面是一组测试，造10亿条测试数据，按PK

2017-12-15 14:38:29 154

转载 Greenplum merge insert 用法与性能 (insert on conflict)

标签PostgreSQL , Greenplum , merge insert , insert on conflict , 合并插入 , 有则更新 , 无则插入背景PostgreSQL insert on conflict语法非常强大，支持合并写入（当违反某唯一约束时，冲突则更新，不冲突则写入），同时支持流式计算。流计算例子链接：《PostgreSQL

2017-12-15 14:37:10 210

转载【Maven学习】Nexus OSS私服仓库的备份与迁移

背景在上一篇博客【Maven学习】Nexus OSS私服仓库的安装和配置中，我们已经在机房搭建好了新的Nexus OSS私服仓库。下面是两个版本的Nexus OSS私服仓库的对比图。老的Nexus OSS私服仓库新的Nexus OSS私服仓库明显老的Nexus OSS私服仓库的内容比新的Nexus OSS私服仓库的内容多。因此我们现在的工作就是将办公

2017-12-15 14:36:12 109

转载【CB Insights全球最强AI创新公司Top100榜单】旷视、商汤、寒武纪等7家中国公司入选

近日，CB Insights 公布了今年的最新 AI 100 榜单，评选出全球最前景的100家AI公司，覆盖医疗保健、网络安全等25个行业。最新 AI 100 榜单的一些数据：超过 2000 家企业被提名或申请了 AI 100，入选率小于5%。入选的中国公司有7家：旷视科技、出门问问、今日头条、英语流利说、优必选、商汤科技、寒武纪，其中出门问问和优必选是再次上榜。榜单中有1

2017-12-15 14:35:05 280

转载 Kibana：数据分析的可视化利器

日志数据的可视化利器阿里云Elastisearch集成了可视化工具Kibana，用户可以使用Kibana查询和分析存储在Elastisearch中的数据。Kibana 搭载了一些经典功能：柱状图、线状图、饼图、环形图，等等，充分利用了 Elasticsearch 的聚合功能。而且Dashboard功能能够将各种可视化组件集合成大屏。如下图所示，Kibana对网站应用的访客日志进行统计分析。

2017-12-15 14:28:20 254

转载 MySQL · 数据恢复 · undrop-for-innodb

undrop-for-innodb 是针对 innodb 的一套数据恢复工具，可以从文件级别恢复诸如：DROP/TRUNCATE table, 删除表中某些记录，innodb 文件被删除，文件系统损坏，磁盘 corruption 等几种情况。本文简单介绍下使用方法和原理浅析。准备git clone https://github.com/twindb/undrop-for-innodb.

2017-12-14 14:55:39 64

转载 MySQL · 引擎特性 · DROP TABLE之binlog解析

Drop Table的特殊之处Drop Table乍一看，与其它DDL 也没什么区别，但当你深入去研究它的时候，发现还是有很多不同。最明显的地方就是DropTable后面可以紧跟多个表，并且可以是不同类型的表，这些表还不需要显式指明其类型，比如是普通表还是临时表，是支持事务的存储引擎的表还是不支持事务的存储引擎的表等。这些特殊之处对于代码实现有什么影响呢？对于普通表，无论是创建还是删除，数

2017-12-14 14:54:17 165

转载使用keepalived和HaVip搭建具备高可用能力的SNAT网关

在VPC中，为一台ECS绑定EIP，并在该ECS上搭建代理软件，可以将该ECS实例建设为一个SNAT网关，让同VPC内其他实例将该实例作为公网网关进行公网访问。然而，这种方式搭建的SNAT网关是个单点，可用性较差。我们可以使用keepalived和HaVip来搭建一个具备主备切换能力的高可用SNAT网关。## 环境1. 准备两个EIP。2. 准备四台EC

2017-12-14 14:38:07 136

转载 AliOS Things 基于组件化思想的多bin特性

今年杭州云栖大会上，AliOS Things正式发布，其中有一个基于组件化思想的多bin特性，这是AliOS Things有专利保护的多bin fota升级解决方案核心。随着我们不断的版本迭代，这里很高兴和大家分享下多bin基于AliOS Things v1.1.2版本的具体实现。这里我主要以"两个W（what、why）、一个H（how）"来展开。What -- AliOS Things多

2017-12-12 14:47:00 346

转载 Recheck Cond filter IO\CPU放大原理与优化CASE - 含超级大表不包含(反选) SQL优化

标签PostgreSQL , 全文检索 , 数组 , 不包含 , not in , bitmap scan filter , toast 切片存储 , except , IO , cpu , 放大背景在阅读本文之前，先提几个问题：1、用了索引是不是就不需要访问表了？2、用了索引是不是就不需要进行二次判断了？第一个问题，只有一种情况用了索引是不需要

2017-12-11 14:39:18 101

转载多流聚合与JSON全文检索的功能应用

标签PostgreSQL , 写时合并 , 记录级快照 , json , json索引 , json聚合 , 圈选 , 并行计算背景这个需求是这样的，数据在写入时，以上一条记录作为基础，将当前写入的记录与上一条记录合并，然后作为新的记录写进去。从而每一条记录都携带了之前所有记录的内容。当然这里指的是每个维度各自的快照，并不是一张表所有记录的快照。

2017-12-11 14:38:10 49

转载基于CentOS 7配置Nginx负载均衡

Nginx负载均衡是Nginx的核心功能之一，工作在第七层。它是除了lvs，haproxy之外市面上较为流行的一种负载均衡软件。可以将客户端请求分流到跨多个计算资源（如计算机，计算机集群，网络链接，中央处理单元或磁盘驱动器）的工作负载分布。负载均衡旨在优化资源使用，最大化吞吐量，最小化响应时间，并避免任何单一资源的过载。使用具有负载平衡的多个组件而不是单个组件可以通过冗余来提高可靠性和可用性。本文

2017-12-11 14:33:43 103

转载【中国超算迎来最强对手】 IBM推出机器学习加速“瑞士军刀”Power9芯片，性能为同类产品的10倍

12月6日，据外媒报道，IBM最新一代的Power芯片Power9正在进入市场，以应对越来越强劲的人工智能、机器学习领域高强度、高密度的信息处理需求。TechCrunch报道称，IBM打算向第三方制造商，比如包括Google在内的云服务商出售该芯片。IBM 近日发布了一款由Power9芯片和AC922芯片组成的新计算机，并打算在IBM云上提供该服务的芯片。IBM官方的介绍是：POW

2017-12-08 14:06:55 173

转载数据蒋堂 | JOIN提速 - 外键指针化

我们来看重新定义JOIN后如何能够提高运算性能，先看外键式JOIN的情况。设有两个表：其中sales表中的productid是指向products表中id字段的外键，id是products表的主键。现在我们想计算销售额有多少（为简化讨论，就不再设定条件了），用SQL写出来：SELECT SUM(sales.quantity*products.pric

2017-12-08 14:03:45 93

转载使用wok kimchi插件管理kvm（编译安装）

对于KVM（kernel-based virtual machine）大家并不陌生，它是基于内核的虚拟机，在测试或者生产环境中经常用到，由于管理起来不是很方便，我在这里推荐一个kvm web管理工具。什么是Wok？Wok基于cherrypy的web框架，可以通过一些插件来进行扩展，例如：虚拟化管理、主机管理、系统管理。它可以在任何支持HTML5的网页浏览器中运行。什么是Ki

2017-12-06 14:50:42 237 1

转载史上最全！阿里智能人机交互的核心技术解析

“连接“本身不是目的，它只是为“交互”建立了通道。在人机交互（Human-Computer Interaction）中，人通过输入设备给机器输入相关信号，这些信号包括语音、文本、图像、触控等中的一种模态或多种模态，机器通过输出或显示设备给人提供相关反馈信号。“连接”为“交互”双方架起了桥梁。“交互”的演进方向是更加自然、高效、友好和智能。对人来说，采用自然语言与机器进行智能对话交互是最自然

2017-12-05 15:02:24 252

qq_41063944的博客