QiuHuiPlus-CSDN博客

原创在Azure中创建虚拟机

注释：教程以MacOS系统下的安装和使用情况为例，Linux系统类似。首先登录网址：https://portal.azure.com输入账号密码，进入个人界面，在这个界面上可以看到资源的使用情况，这个界面将是我们工作的主界面。一．安装AzureCLI 2.0教程地址：https://docs.microsoft.com/zh-cn/cli/azure/install-azur

2017-04-18 15:58:19 4514

转载机器学习常见算法总结（面试用）

原文网址：http://blog.csdn.net/liangzhaoyang1/article/details/51463028朴素贝叶斯参考[1]事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生AP(A∩B)=P(A)∗P(B|A)=P(B)∗P(A|B)所以有：P(A|B)=P(B|A)∗P(A)P(B)对于给出

2017-03-08 11:36:51 982

转载 spark性能优化：高级篇（数据倾斜调优，shuffle调优）

原文链接：http://tech.meituan.com/spark-tuning-pro.html前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最

2017-03-06 22:59:04 7409 2

转载 Spark性能优化指南——基础篇

原文链接：http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用

2017-03-06 22:55:41 457

原创 Spark内存管理

近期在调实验，发现了一个Java.lang.nullPointerException异常，导致部分task挂掉，最终通过调节参数内存管理参数成功解决。下面总结一下Spark中的内存管理机制。从Spark1.6.0开始，Spark的内存管理采用了和之前不同的方式，采用了一种新的内存管理模式叫做统一内存管理，UnifiedMemoryManager。而1.6.0版本之前的Spark的内存管

2017-03-06 22:42:42 646

转载 LeetCode题目总结/分类

原文网址：https://www.douban.com/note/330562764/利用堆栈：http://oj.leetcode.com/problems/evaluate-reverse-polish-notation/http://oj.leetcode.com/problems/longest-valid-parentheses/ （也可以用一维数组，贪心）h

2017-03-05 21:21:06 311

转载【转载】Spark and SPARQL：RDF Graphs and GraphX

原文地址：http://www.snee.com/bobdc.blog/2015/03/spark-and-sparql-rdf-graphs-an.htmlSome interesting possibilities for working together.In Spark Is the New Black in IBM Data Magazine, I recently

2017-01-25 20:08:33 955

原创 SPARK: Adapting Keyword Query to Semantic Search-ISWC2007

给出一个关键词，把关键词转换成一系列按照概率排序的SPARQL语句输出出来。2.主要步骤主要有三个步骤：术语匹配、查询图的构造、和查询排序。2.1术语匹配：把关键词和知识库中的资源进行匹配。方法：形态学匹配（子串，缩写等）、语义匹配（近义词）。2.2查询图的构造：把匹配上的资源链接起来，这样丢失的关系和概念就可以被找回，从而构造一个完整的查询图；利用第一步返回的那些资源项用

2017-01-25 15:57:06 381

原创 NeMa: fast graph search with label similarity-VLDB2013

NeMa是一种顶点相似性的子图匹配算法，不考虑查询图和数据库图的结构相似性。文章定义了一个子图匹配代价函数，利用启发式搜索查找top—k个最优的匹配。本文的出发点是，好的结果不一定要严格结构匹配于查询图。例如下图，虽然结构不匹配，但这却是top-1的匹配。1.简介不同于传统的子图匹配，这篇文章关注的是独立顶点的匹配，匹配的代价是每个顶点和他们邻域内节点的匹配代价

2017-01-25 15:53:33 543 1

原创 Top-k queries on RDF graphs-Information Sciences2015

问题描述本文解决的问题可以描述为：在RDF图上查找语义上top-k的结果。例如：“找出欧洲经济增长最快的两个国家”“哪3个国家和相邻的国家具有最大的国土面积差异？”概述由于top-k问题总是和数值的大小相关，所以文章主要关心的是顶点的数值信息。本文提出的方法由一个新的树结构索引MS-Tree、基于MS-Tree树的过滤器和模式匹配函数组成。首先，基于MS-Tree自顶向下从RDF数据中选择

2017-01-25 15:52:00 393

原创 Schemaless and Structureless Graph Querying-vldb2014

1.摘要给定一个查询，一个好的图查询系统应该支持多种转换（同义词、缩略词、简写以及本体等等），并且能够对给出的结果进行排序。本文提出了一种新型的查询框架来方便用户查询，本文解决的问题可以概括为为：给定一个查询Q以及数据库G，找出图数据库中所有由Q经转换函数可以转化的图。2.已有的方法 Spark查询只需用户输入关键字即可，而无需输

2017-01-25 15:45:07 460

翻译关联数据上的多语种问答（QALD-3）：实验综述

原文地址：http://ceur-ws.org/Vol-1179/CLEF2013wn-QALD3-CabrioEt2013.pdf关联数据上的多语种问答（QALD-3）：实验综述 Philipp Cimiano1,Vanessa Lopez2, Christina Unger1, Elena Cabrio3,Axel-Cyrille Ngonga Ngomo4, and S

2017-01-25 14:49:01 3442

原创 RDF容器、集合、模式

容器：RDF容器用来描述一组事物，例如某个班级所有的同学名字。主要有以下三种：、以及。元素元素用于描述一个规定为无序的值的列表。元素可包含重复的值。元素元素用于描述一个规定为有序的值的列表（比如一个字母顺序的排序）。元素可包含重复的值。元素元素用于一个可替换的值的列表（用户仅可选择这些值的其中之一）。集合：RDF 集合用

2017-01-25 14:45:14 1371

原创 RDF实例

使用一个例子来说明RDF文档的格式，RDF是一个XML文件，注释是每一行的作用。 xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:cd="http://www.recshop.fake/cd#">rdf:about="http://www.recshop.fake/cd/Empire Burle

2017-01-25 14:43:31 5313 2

原创 RDF基本概念

什么是RDF？资源描述框架（RDF）用来描述网络资源的W3C标准。比如网页的标题、作者、修改日期、内容以及版权信息。资源描述框架用于描述WEB上的资源是W3C推荐标准可被计算机读取，不是为了向用户展示使用XML编写RDF应用举例描述购物项目的属性，如价格web事件的时间表描述网页的内容，标题、作者电子图书馆RDF描述规则 RDF使用w

2017-01-25 14:37:58 6784