yuyuyuxiaolei的博客

hadoop编译好的lzo包可以直接下载使用java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.

基于搜狗查询数据500w条使用MapReduce做数据清洗，hive做离线分析的项目，详细文档附数据连接，搜狗实验室的搜索数据下载后缺少了用户ID字段的数据，所以本分析采用的是完整的数据，大家可以放心下载，如果下载数据的百度云链接失效无法下载，大家可以给我留言。

hive数据仓库从入门到精通文档，个人整理，适合学习或者授课，文档包含所有hive的内容，避免大家在通过网上资料学习遇到问题，学习上常遇到的问题以及解决方法都在文档中说明了。

Spark安装配置，以及Spark三种运行方式，Spark原理，Spark案例、spark项目分析步骤全部涵盖

机器学习算法详解▪ 一、线性回归 ◦ 1、代价函数 ◦ 2、梯度下降算法 ◦ 3、均值归一化 ◦ 4、最终运行结果 ◦ 5、使用scikit-learn库中的线性模型实现 ▪ 二、逻辑回归 ◦ 1、代价函数 ◦ 2、梯度 ◦ 3、正则化 ◦ 4、S型函数（即） ◦ 5、映射为多项式 ◦ 6、使用的优化方法 ◦ 7、运行结果 ◦ 8、使用scikit-learn库中的逻辑回归模型实现 ▪ 逻辑回归_手写数字识别_OneVsAll ◦ 1、随机显示100个数字 ◦ 2、OneVsAll ◦ 3、手写数字识别 ◦ 4、预测 ◦ 5、运行结果 ◦ 6、使用scikit-learn库中的逻辑回归模型实现 ▪ 三、BP神经网络 ◦ 1、神经网络model ◦ 2、代价函数 ◦ 3、正则化 ◦ 4、反向传播BP ◦ 5、BP可以求梯度的原因 ◦ 6、梯度检查 ◦ 7、权重的随机初始化 ◦ 8、预测 ◦ 9、输出结果 ▪ 四、SVM支持向量机 ◦ 1、代价函数 ◦ 2、Large Margin ◦ 3、SVM Kernel（核函数） ◦ 4、使用中的模型代码 ◦ 5、运行结果 ▪ 五、K-Means聚类算法 ◦ 1、聚类过程 ◦ 2、目标函数 ◦ 3、聚类中心的选择 ◦ 4、聚类个数K的选择 ◦ 5、应用——图片压缩 ◦ 6、使用scikit-learn库中的线性模型实现聚类 ◦ 7、运行结果 ▪ 六、PCA主成分分析（降维） ◦ 1、用处 ◦ 2、2D-->1D，nD-->kD ◦ 3、主成分分析PCA与线性回归的区别 ◦ 4、PCA降维过程 ◦ 5、数据恢复 ◦ 6、主成分个数的选择（即要降的维度） ◦ 7、使用建议 ◦ 8、运行结果 ◦ 9、使用scikit-learn库中的PCA实现降维 ▪ 七、异常检测 Anomaly Detection ◦ 1、高斯分布（正态分布） ◦ 2、异常检测算法 ◦ 3、评价的好坏，以及的选取 ◦ 4、选择使用什么样的feature（单元高斯分布） ◦ 5、多元高斯分布 ◦ 6、单元和多元高斯分布特点 ◦ 7、程序运行结果

使用Python2.7的版本，爬取智联招聘岗位信息，并将招聘结果保存在excel中。