zhangce315的博客

原创 Parameter Estimation

原创 Vector Random Variable

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-USnGUSOf-1571128781248)(https://upload-images.jianshu.io/upload_images/4186036-1c89be4bce5eb424.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]...

原创 Nonparametric Methods

by Ce

原创 Probability Review

原创 Python numpy review

ArraysThe shape of an array is a tuple of integers giving the size of the array along each dimension.import numpy as npa = np.array([1,2,3]) # a rank 1 arrayprint(type(a))<class 'numpy.ndarra...

翻译 细粒度的、安全高效的基于区块链数据溯源系统 Fine Grained, Secure and Efficient Data Provenance on Blockchain Systems（一）

论文作者 Pingcheng Ruan, Gang Chen, Tien Tuan Anh Dinh, Qian Lin, Beng Chin Ooi简介区块链实现了一个可以防篡改的账本，可以用来记录交易信息（transactions）进而改变一些存储的全局状态。整个系统记录所有的状态演化的历史信息。对于这些历史信息的管理，通常被称作数据的溯源(data provenance or linea...

翻译 A Secure and Dynamic Multi-Keyword Ranked Search Scheme over Encrypted Cloud Data (1)

系统框架数据拥有者DO构建加密索引树，将加密文档和索引外包给云服务。云存储服务根据数据使用者Data User发来的数据搜索token和已经存好的加密索引树进行搜索，返回top K个排序结果。排序的计量方法根据TF-IDF公式计算相似度。Term Frequency: the number of times a given term appears within a documentI...

翻译 BK-Tree

BK Tree或Burkhard Keller Tree是一种数据结构，用于根据编辑距离（Levenshtein距离）概念执行拼写检查。 BK树也用于近似字符串匹配。基于该数据结构，可以实现许多软件中的各种自动校正特征。假设我们有一个单词字典，然后我们有一些其他的单词要在字典中检查拼写错误。我们需要收集字典中与给定单词非常接近的所有单词。例如，如果我们检查一个单词“ruk”，我们将有{“truc...

原创 区块链Solidity中library的使用和部署

在Solidity中什么是library？大家可能听说过DRY原则（don’t repeat yourself）。在大型程序中，代码的重用是十分重要的，并且代码重用可以提高整体代码的可维护性和可读性。在solidity具体编程的时候，DRY原则可能不像其他语言一样显而易见。Solidity提供了Library的概念来实现代码重用，它可以被多个不同的智能合约调用。大家可以把library想象成在...

翻译 fake news：使用区块链技术来保证新闻中数字媒体的真实性。

fake news：使用区块链技术来保证新闻中数字媒体的真实性。 Steve Huckle, Martin White摘要： 在这篇文章中，我们介绍了一个利用区块链技术来保证数字媒体的消息来源的技术原型。在假新闻的时代，当有人给我们看了某一事件的一段视频或一张图片，我们应该如何确认他的真实性？似乎公众已经不再完全相信传统媒体是一个可以参考的信息来源，这是因为有许多对于相同信息的矛盾报导。确...

翻译 区块链与图数据结构

今日阅读towards the temporal streaming of graph data on distributed ledgers.概要这篇文章解决一部分使用Ethereum区块链技术处理temporal RDF 图数据的工作。这个工作的motivation是在对于流数据的使用者来说，他们可能需要验证数据是否被篡改。这个系统会将时间标注、可以验证的信息存储到区块链中，与数据存储...

转载 backtrack回溯算法

转自台湾师范大学acm课程Enumerate all n-tuples列舉重複排列。這裡示範：列舉出「數字 1 到 10 選擇五次」全部可能的情形。 製作一個陣列，用來存放一組可能的排列（數據）。int solution[5];例如 solution[0] = 4 表示第一個抓到的數字是 4 ， solution[4] = 9 表示第五個抓到的數字是 9 。陣列中不同的格子，...

翻译 简明介绍ethereum中events和logs

Events和logs在ethereum中十分重要，因为他们租金了智能合约和其用户接口之间的沟通。在常规的web开发中，在前端的回调中提供服务器相应。在ethereum中，当一个交易被矿工添加，智能合约可以激活事件events并将日志log写入前端可以处理的区块链。有不同的方法可以处理events和logs。这篇简要介绍会解释有关events的一些概念和与他们一起使用的一些实例代码。Event...

原创 区块链智能合约Append-only B-tree

本文考虑使用区块链智能合约solidity语言实现简单B树的构建、插入元素方法和查询方法。B树的实现难点在于结点的分裂的操作、分裂的判断、元素的移动等。智能合约实现的难点在于solidity语言中不存在‘指针’这一数据结构，增加了对于依赖指针的树状数据结构的实现难度。考虑可以使用mapping来存储结点数据结构，使用数组来存放child结点的键。进而达到使用mapping+数组下标来替代指针的目的。

原创 hash pointer and blockchain

hash pointer is : - pointer to where some info is stored, and - cryptographic hash of the infoif we have a hash pointer, we can - ask to get the info back, and - verify that it hasn’t changed...

原创 区块链智能合约solidity语言实现AVL树的插入

智能交易区块链solidity语言编写二叉平衡搜索树（AVL-tree）AVL 树的难点在于四种旋转，solidity的难点在于此语言不存在指针，只能用mappping和下标来充当指针的形式。这对于树的创建增加了难度。四种旋转(1) LL：LeftLeft，也称为”左左”。插入或删除一个节点后，根节点的左子树的左子树还有非空子节点，导致”根的左子树的高度”比”根的右子树的高度”大2，导致AVL树失去

翻译 区块链智能合约solidity入门

使用ubuntu系统安装ethereum开发环境安装 Nodejssudo apt-get updatesudo apt install curlcurl -sL https://deb.nodesource.com/setup_6.x | sudo -E bash -sudo apt-get install -y nodejssudo apt-get install

转载 重建二叉树

题目描述 输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。观察前序遍历的第一位是树的根节点，在中序遍历的结果中找到前序遍历的第一位，得出index。在中序遍历[0:index]为树根节点的左子树，[index:l

转载 Intro to Bilinear Maps

Bilinear Maps

原创 Condensed RSA

Condensed-RSA Definition:package sig;import java.security.*;import java.security.interfaces.RSAPublicKey;import java.security.interfaces.RSAPrivateKey;import javax.crypto.Cipher;import Tool.Hasher;

转载 内存计算-SPARK

by 清华大学为什么并行计算？计算量大 单进程算得不够快，多CPU算内存需求大 单机内存不够大内存随机访问比硬盘随机访问快100,000倍I/O 量大 单个硬盘读写太慢，多个硬盘读写并行计算的挑战编程困难 并行性识别与表达，难写同步语句，难写对性能调优难，难写快 （并行计算目标就是提升性能，性能调优难） -负载平衡 局部性 （高速缓存cache，使用cache可以快10倍

转载 Hadoop 简明教程

目的 这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见： • Hadoop快速入门对初次使用者。 • Hadoop集群搭建对大规模分布式集群。 概述 Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的

转载 Map Reduce处理框架

复习：GFS里几个重要的观点 - 数据存储于成千上百的服务器中，大数据块减少元数据开销 - 使用商用硬件->失败是很正常的（失败是不可避免的，所以买便宜的硬件） - 没有复杂的一致性模型（单写者，数据只能添加，避免互相等待）数据并行化（DLP） 若干硬盘上的大量数据，可以被并行化的操作（比如搜索文档） Embarassingly Parallel 例子 词频统计 dog dog is

转载 C/C++ 函式庫的運用

sstream - 讀取一行不知道有多少個的數字sstream 當中的 istringstream 物件，可以以近似於 cin 的方式來讀取一個 string 變數內含的資料。sstream 的意義為 string stream ，也就是說，把 string 變數看待成 stream 。至於 istringstream 的 i ，應該就是指 input 之意吧。下面的程式可以讀入一行不知道個數為多少

转载 Bitwise Operation

Bitwise operator in C/C++歡迎來到二進位的世界。電腦資料都是以二進位儲存，想當然程式語言的變數也都是以二進位儲存。在 C/C++ 當中有幾個位元運算子： << SHIFT LEFT 、 >> SHIFT RIGHT 、 & AND 、 | OR 、 ^ XOR 、 ~ NOT ，可以對變數進行位元運算。接下來要介紹位元運算的一些用途。<< SHIFT LEFT>> SHIF

转载 Array Indexing

Array Indexing from http://acm.nudt.edu.cn/~twcourse/ArrayIndexing.html「索引」可說是電腦的奇技！一個元素存放到陣列之後，不論是在陣列的哪個地方，只要利用索引值（ index ），就能在一瞬間找到元素。大多數的演算法都運用了「索引」的技巧，讓程式執行速度更快。以下介紹索引的幾種運用方式。是我自己歸類整理的，並不是標準。一、定位概念

转载 PCA方法及其应用

主成分分析(Principal Component Analysis, PCA)是最常用的一种降维方法，通常用于高维数据集的探索和可视化，还可以用作数据压缩和预处理等。 PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。主成分分析相关术语： 方差、协方差、协方差矩阵、特征向量和特征值 原理：矩阵的主成分就是其协方差对应 特征向量，按照的特

转载 大数据的基础架构：云计算

By 清华大学交叉信息研究院 大数据对于系统架构的需求显示的需求 ——海量计算和存储 ——快速计算隐式的需求 ——数据的快速传输 ——灵活性 ——低成本Volume Velocity Variety Value如何实现这些需求？云计算的核心设计理念并行化规模经济虚拟化（抽象）大数据系统的软硬件架构并行化并行化理念存在于计算机的方方面面 - 并行请求：分配给多个计算机 -

原创 K-Means 方法及应用

K-means 聚类算法 k-means 算法以 k为参数，把 n个对象分成 k个簇，使内具有较高的相似度，而簇间的相似较低。 其处理过程如下： 1. 随机选择 k个点作为初始的聚类中心； 2. 对于剩下的点，根据其与聚类中心距离将归入最近簇 3. 对每个簇，计算所有点的均值作为新聚类中心 4. 重复 2、3直到聚类中心不再发生改变 K-means 的应用 数据介绍： 现有1999

原创 Single Service kNN Authentication

In the most paper[1], kNN authentication is partitioned into two parts: - use the traditional incremental kNN find algorithm ( best first search) to find the kth point (data). - use a circle with t

原创 正则表达式

regular expression, regex, RE 正则表达式是用来简洁表达一组字符串的表达式 正则表达式的优势：简介、一行胜千言、一行就是特征（模式） 正则表达式在文本处理中十分常用： 表达文本类型的特征（病毒、入侵等） 同时查找或替换一组字符串 匹配字符串的全部或部分 编译：将符合正则表达式语法的字符串转换成正则表达式特征正则表达式语法正则表达式是由字符和操作符构成正则表

原创 淘宝网页价格爬虫

目标：获取淘宝搜索页面信息，提取其中的商品名称和价格 理解：淘宝的搜索接口、翻页的处理 技术路线: requests re 使用chrome浏览器搜索淘宝商品得到url： https://s.taobao.com/search?initiative_id=tbindexz_20170527&ie=utf8&spm=a21bo.50862.201856-taobao-item.2&source

原创 C++ 常用语法

C++文件例：从文件income. in中读入收入直到文件结束， 并将收入和税金输出到文件tax. out。#include<iostream>using namespace std;const int cutoff = 6000;const float rate1 = 0.3;const float rate2 = 0.6;int main(){ ifstream infile;

原创 Top-K in MapReduce Haddop Framework

top 10的算法：我们只需要维护一个10个大小的数组，初始化放入10Query，按照每个Query的统计次数由大到小排序，然后遍历这300万条记录，每读一条记录list后进行从大到小排序。如果list长度为11，则pop（）默认删除最后一个元素。 不难分析出，这样的算法的时间复杂度是N*K， 其中K是指top多少。#!/usr/bin/python"""Your mapper functio

原创 中文微博情感分类之calibrated label ranking

readExcel.py# -*- coding: utf-8 -*-"""Created on Sat Aug 5 10:03:17 2017@author: Sean Chang"""import xlrdemodic = {"PA":6,"PE":6,"PD":0,"PH":0,"PG":0,"PB":0,"PK":0,"NA":3,"NB":5,"NJ":5 \

原创 Simple Merkle Hash Tree implemented in Python

Merkle Hash Tree (MHT): The Merkle Hash Tree is a method for collectively authenticating a set of messages [Merkle, 1989]. Consider the example in Figure 2.1, where the owner of messages m1,m2,m3,m4