hyperminer-CSDN博客

原创 ubuntu IDEA15安装

UbuntuIdea 15安装、破解、创建快捷方式http://www.cnblogs.com/Lyush/p/4114971.html1.安装包 jdk1.7.0_71下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html iidea-IC-1

2016-11-21 10:39:25 1011

原创使用IDEA/Ipython来编写python代码

python programming using IDEA or Ipythonpython机器学习常用package：NumpyScipyscikit-learn： is a Python module for machine learning built on top of SciPy and distributed under the 3-Clause BSD licen

2016-11-18 14:31:29 4316

原创 Jupyter

原来是ipyhon最新Jupyter官网：http://jupyter.org/安装：http://jupyter.readthedocs.io/en/latest/install.html安装说明： We recommend using the Anaconda distribution to install Python and Jupyter.

2016-11-18 14:29:34 1389

原创 python程序打包

在python程序中，一个.py文件被当作一个模块，在各个模块中定义了不同的函数。当我们要使用某一个模块中的某一个函数时，首先须将这个模块导入，否则就会出现函数未定义的情况.(1) python文件，test.py:def testFunc():print("test successfully!")testFunc()引用：from test i

2016-11-18 14:28:39 1129

原创 Sk-learn及算法笔记

查看所有的API:http://scikit-learn.org/stable/modules/classes.htmlXGBoost的python API中提供了sklearn版本的API:https://xgboost.readthedocs.io/en/latest/python/python_api.html#module-xgboost.sklearn只要

2016-11-18 14:27:38 3999

原创 numpy scipy pandas sk-learn gensim

NumpyScipy矩阵向量处理。Numpy provides a high-performance multidimensional array and basic tools to compute with and manipulate these arrays. SciPy builds on this, and provides a large number o

2016-11-18 14:26:31 1241

原创 Anaconda笔记

Anaconda会自动安装python需要的包。install及uninstall参考下面的链接:https://docs.continuum.io/anaconda/install#linux-install(1) 下载按住文件: In your browser download the Anaconda installer for Linux.(2) bash

2016-11-18 14:24:33 896

原创局部敏感哈希LSH

参考资料：简单介绍：http://www.cnblogs.com/maybe2030/p/4953039.html在茫茫人海中发现相似的你——局部敏感哈希（LSH）:http://www.cnblogs.com/fengfenggirl/p/lsh.html基本思想　局部敏感哈希的基本思想类似于一种空间域转换思想，LSH算法基于一个假设，如果两个文本在原有的

2016-11-18 11:34:26 662

原创 Glove笔记

论文出处：http://nlp.stanford.edu/projects/glove/下面准备测试的是python实现版本：github地址：https://github.com/maciejkula/glove-python安装：sudo pip install glove_python下载源码：git clone --r

2016-11-18 11:33:01 5209

原创语音识别

语音识别没有动手做过，在这里记录一些预先需要了解的知识：GMM算法：http://www.cnblogs.com/mindpuzzle/archive/2013/04/24/3036447.html语音识别常用到GMM算法。1.单高斯模型如题，就是单个高斯分布模型or正态分布模型。想必大家都知道正态分布，这一分布反映了自然界普遍存

2016-11-18 11:32:05 3729 1

原创 word2vec笔记

word2vec原始版本应用可以参考博文：http://blog.csdn.net/jj12345jj198999/article/details/11069485在linux上安装使用的步骤大概是：下载源码，make，执行如下命令进行训练：./word2vec -train resultbig.txt -output vectors.bin -cbow 0 -size 200 -

2016-11-18 11:22:33 3464

原创分词算法笔记

分词模型通常有三种：基于词典的匹配（trie树，最大匹配法），HMM，CRF查字典的办法最早被提出，就是：把句子从左向右扫描一遍，遇到词典（trie树形式存储）里有的词就标识出来，遇到复合词就找最长的词匹配，遇到不认识的词就分割成单字词。下面使用的是python结巴分词：结巴分词：https://github.com/zhangweijiqn/jieba (分词模

2016-11-18 11:21:12 4076

原创参数服务器笔记

主要用于对分布式机器学习算法/深度学习算法参数优化。简介：http://sanwen8.cn/p/174rUaE.html原理介绍：http://blog.csdn.net/cyh_24/article/details/50545780李沐和陈天奇等国内英才成立的DMLC深度学习项目组：github: https://github.com/d

2016-11-18 11:18:44 2233

原创 Kaggle笔记

kaggle比赛：https://www.kaggle.com/competitions在这里可以看到一些机器学习中数据分析的问题，同时在kernels中可以看到哪些技术能够比较好的解决对应的经验贴：https://zhuanlan.zhihu.com/p/22266330预测titanic上的人是否会幸存：https://www.kaggle.com/c/titani

2016-11-18 11:17:53 1015

原创 Hyperopt

hyper parameter 调参框架：optunity：http://optunity.readthedocs.io/en/latest/index.htmlHyperoptHyperopt是一个python库，结合MongoDB可以进行分布式调参，快速找到相对较优的参数。安装的时候需要指定dev版本才能使用模拟退火调参，也支持暴力调参、随机调参等策略。http:/

2016-11-18 11:16:28 2825

原创 AutoMl

Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?http://www.jmlr.org/papers/volume15/delgado14a/delgado14a.pdfautoML( aotumated Machine Learning)https://github.

2016-11-18 11:14:55 4554

原创 xgboost and xgboost4j

XGBoostScalable, Portable and Distributed Gradient Boosting (GBDT, GBRT or GBM) Library, for Python, R, Java, Scala, C++ and more. Runs on single machine, Hadoop, Spark, Flink and DataFlow可扩展、

2016-11-18 11:14:03 17945 3

原创 OLAP

OLAP又是什么鬼？参考：数据挖掘与数据统计、OLAP之间不同之处是什么？大数据的OLAP技术OLAP（On-line Analytical Processing，联机分析处理）是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。说人话就是我们的交易数据包含很多信息（属性），我们需要从不同的视角去分析和解读数据：以外卖业务来说，一条交易数据里就包含了很多数据属

2016-11-18 11:12:03 671

原创知识图谱笔记

资料：https://github.com/memect/kg-beijing （北京知识图谱学习小组）http://www.china-cloud.com/zhongyunxy/20140612_38070.html（王昊奋：大规模知识图谱技术）http://www.36dsj.com/archives/31317http://www.36dsj.com/archives/313

2016-11-18 11:11:01 3239

原创 Neo4j笔记

在构建知识图谱的时候，Neo4j用来建立实体之间的关系非常方便，下面简单介绍一下它的使用方法：开发者教程：http://neo4j.com/docs/developer-manual/3.0/ （Cypher clauses：4.2. Patterns in Practice）安装： https://neo4j.com/download/ 下载For Individuals

2016-11-18 11:08:08 4609

原创 Cassandra笔记

简介：WIKI :https://zh.wikipedia.org/wiki/CassandraApache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。Facebook于2008将 Cassandra 开源，此后，由

2016-11-18 11:04:48 1641

原创 scala数组，自定义类型，自定义排序等

定义数组：valactive = Array.fill(numRuns)(true)valcosts = Array.fill(numRuns)(0.0)varactiveRuns =newArrayBuffer[Int] ++ (0until numRuns)自定义类型：typeWeightedPoint= (Vec

2016-11-17 15:28:14 3245

原创 spark-job-server

spark rest api包括：livy: http://livy.io/index.htmlspark-job-server: https://github.com/spark-jobserver/spark-jobserverspark运行在yarn上，查看运行进度：>yarn application -list | grep SPARKA

2016-11-17 15:23:00 4853

原创 spark安装及入门笔记

spark介绍Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数式编程API，提供了除map和reduce之外更多的运算符，这些

2016-11-17 15:21:49 4599

原创 hive解析树

Hive的ParseDriver类中，通过antlr生成的语法树AST。例子：Select name,ip from zpc where age > 10 and area in (select area from city)(TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME zpc))) (TOK_INSER

2016-11-17 15:19:09 2919

原创 HiveQL整理总结

下面是一些常用操作的语句，其他的可以去hive官网查看。grant create to user aaa;//create不需要on database 或者tablegrant drop on database test to user aaa;//drop需要指定database或者tableshow grant user datajingdo_m

2016-11-17 15:18:07 2194

原创 Hive安装笔记

Hive安装部署 Hive:数据仓库。存储在hdfs上，使用mR计算。数据以文本形式如txt存储在hdfs上，用户通过hive可以使用传统的sql来对hdfs上的数据文件进行相关操作，并且hive可以将sql转化为MR代码来进行分布式计算。Hive：解释器（将脚本HiveQL解释成java代码，成为mp程序）编译器（编译java代码），优化器。Hive数据存储在hd

2016-11-17 15:16:41 501

原创 Hbase笔记

官方网站：http://hbase.apache.org/programming guide: http://hbase.apache.org/book.html#quickstartHBase 以列为单位聚合数据，基于“对于特定查询，不是所有列的值都是必须的”的假设。列式存储更有利于压缩。比较适合键值对或者有序数据的存放。HBase源于google的BigTable论文。

2016-11-17 15:14:54 341

原创 Hbase安装笔记

HBase简介参考：http://www.oschina.net/p/hbase HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBa

2016-11-17 15:14:23 616

原创 yarn

yarnApache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN的基本思想将JobTracker的两个主要功能（资源管理和作业调度

2016-11-17 15:12:19 1684

原创 hadoop安装笔记

hadoop 安装虚拟机1，使用vmware安装ubuntu server2，为ubuntu server 14.04 安装图形界面参考：http://jingyan.baidu.com/article/64d05a0262b613de55f73b0e.htmllogin进入系统之后，开始进行用户界面的安装。首先输入如下命令：sudo apt-get

2016-11-17 15:11:40 1242

原创 hadoop笔记

hadoop shell 命令：https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html给用户授权： hdfs dfs -chmod -R 755 /修改所有者权限：hdfs dfs -chown -R larry /hdfs很多个小文件上传，压缩的好处：namenode中存储了各个文件所在block的位置（该信息

2016-11-17 15:10:49 785

原创深度学习理论

书籍：《神经网络与深度学习》讲义，邱锡鹏《Neural Networks and Deep Learning》:http://neuralnetworksanddeeplearning.com/CS231n Convolutional Neural Networks for Visual Recognition:http://cs231n.github.io/中文版

2016-11-17 15:08:51 1694

转载 Q-learning

英文原文：http://mnemstudio.org/path-finding-q-learning-tutorial.htm中文翻译：http://blog.csdn.net/itplus/article/details/9361915,这篇教程通俗易懂，是一份很不错的学习理解 Q-learning 算法工作原理的材料。第一部分：中文翻译第

2016-11-17 15:06:19 676

原创强化学习（Reinforcement Learning）

知乎上关于deep learning和强化学习的资源：https://zhuanlan.zhihu.com/intelligentunit　　目前在Deep Reinforcement Learning取得开拓性进展的主要集中在DeepMind和UC Berkerley团队(openAI)强化学习资料：简明教程：http://blog.csdn.net/itplus/art

2016-11-17 15:04:44 11390

原创深度学习应用整理

Deep Neural Netword 由Geoffrey E. Hinton 在06年提出后，效果不是很理想，直到近2年人们发现使用大量的数据去训练得到的模型能取得很好的效果。

2016-11-17 15:03:20 1448

原创 tensorflow学习入门

深度学习框架tensorflow安装，基本概念，入门学习

2016-11-17 14:58:46 4455

原创深度学习框架

Deep Learning框架：0、Tensorflow。是一个理想的RNN（递归神经网络） API和实现，TensorFlow使用了向量运算的符号图方法，使得新网络的指定变得相当容易，但TensorFlow并不支持双向RNN和3D卷积，同时公共版本的图定义也不支持循环和条件控制，这使得RNN的实现并不理想，因为必须要使用Python循环且无法进行图编译优化。Keras是基于The

2016-11-17 14:57:12 708

原创 mxnet在linux上的安装

mx在linux（包括ubuntu和centos系统上的安装）

2016-11-17 14:51:55 15873 1

批处理代码700例

很多批处理的程序，大部分是对系统的操作。一个ASCII（无格式文本）文件，它包含一个或多个操作系统命令。批处理程序的文件名的扩展名是.cmd 或.bat。当您在命令提示中键入文件名，或者当从另一个程序运行批处理程序时，其命令将按顺序处理。批处理程序也被称为批处理文件,也称为批处理脚本，英文译为BATCH，批处理文件后缀BAT就取的前三个字母。

2015-04-12

python入门学习笔记

综合了Python学习手册和python简明教程的知识，为了方便学习和查阅，特做成chm文件格式

2014-07-01

R语言编程艺术

R语言编程艺术，一本不错的R语言教材，个人感觉比R语言入门教程要好一些，它的内容组织比较有条理，循序渐进的学可以打下个良好的基础（关于R语言的介绍大家可以去网上搜下，很多生物统计的人在使用R语言）：第一章快速入门第二章向量第三章矩阵和数组第四章列表第五章数据框第六章因子和表第七章 R语言编程结构第八章数据运算与模拟第九章面向对象的编程。。。。。。

2014-01-06

8个常见数据结构排序算法总结

文档格式是chm文档，方便查看，点击即可快速浏览排序算法，里面的程序可以直接拿来用，实现语言是标准的C程序。

2013-11-15

R是一套由数据操作、计算和图形展示功能整合而成的套件。包括： ² 有效的数据存储和处理功能， ² 一套完整的数组（特别是矩阵）计算操作符， ² 拥有完整体系的数据分析工具， ² 为数据分析和显示提供的强大图形功能， ² 一套（源自S语言）完善、简单、有效的编程语言（包括条件、循环、自定义函数、输入输出功能）。在这里使用"环境"（environment）是为了说明R的定位是一个完善、统一的系统，而非其他数据分析软件那样作为一个专门、不灵活的附属工具。 R很适合被用于发展中的新方法所进行的交互式数据分析。由于R是一个动态的环境，所以新发布的版本并不总是与之前发布的版本完全兼容。某些用户欢迎这些变化因为新技术和新方法的所带来的好处；有些则会担心旧的代码不再可用。尽管R试图成为一种真正的编程语言，但是大家不要认为一个由R编写的程序可以长命百岁。

2013-11-08

院士大牛们一年N篇7点以上SCI的诀窍

搞研究的同学们，SCI，你们都懂的，很有参考价值

2013-10-22

堆和栈的区别及编译的几个区

这里的堆和栈指的不是数据结构中的堆栈，而是程序在编译时变量存储所开辟的空间。本文档首先说明程序在编译的时候总共分了哪些区，然后介绍了堆和栈的区别

2013-10-22

视觉最好的颜色搭配

在网站中或者视图中经常会挑选一些视觉上比较好的RGB颜色来当作背景，本文档中总结了视觉最好的颜色搭配

2013-10-22

programming visual c++ fifth edition

The 6.0 release of Visual C++ shows Microsoft's continued focus on Internet technologies and COM, which are key components of the new Windows Distributed interNet Application Architecture (DNA). In addition to supporting these platform initiatives, Visual C++ 6.0 also adds an amazing number of productivity-boosting features such as Edit And Continue, IntelliSense, AutoComplete, and code tips. These features take Visual C++ to a new level. We have tried to make sure that this book keeps you up to speed on the latest technologies being introduced into Visual C++.

2013-06-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

批处理代码700例

python入门学习笔记

R语言编程艺术

8个常见数据结构排序算法总结

R语言入门教程

院士大牛们一年N篇7点以上SCI的诀窍

堆和栈的区别及编译的几个区

视觉最好的颜色搭配

programming visual c++ fifth edition

linux学习命令总结

C++find()函数用法

特殊字符的输入方法

21天学会VC

MFC日历控件的使用方法

MFC组合框使用方法

VC获取日期及时间方法

MFC更改图标总结

在MFC下如何定义全局变量和全局函数

programming Visual C++

数组动态分配空间

将win32程序封装成MFC框架

csv表格读取和写操作

颜色对照表网页版

SVN使用方法简单总结

C语言链表的各种操作

VC动态链接库

静态链接库程序

VC资源管理器及添加注册表关联图标

VC++\MFC 组合框使用方法

C++中字符串与整型浮点型间的转换.

家庭财务管理系统

WORD2010如何从第三页开始显示页码1

WinRAR试用后继续使用的破解方法

java连接不上数据库

人工智能实验（清华大学出版社）

计算机算法课后习题答案

空空如也