fangwc-CSDN博客

原创安装intelij + scala + sbt，手动、离线、公司

公司上班，开发环境是在虚拟桌面，离线环境下配置intelij 需要手动安装 scala、sbt 插件。intelij要对应固定的插件版本我的是： ideaIC-2016.2.5 + idea-sbt-plugin-1.8.0+ scala-intellij-bin-2016.2.1intelij 下载地址：https://confluence.jetbrains.com/displa

2016-12-30 10:54:56 1906

原创 spark -运行

spark运行机制

2016-09-07 10:41:18 711

原创 python 爬虫 beautifulsoup example 例子

今天第一次用python的beautifulsoup，虽然比较生疏，但还是爬下来了。爬的网站是：网站排行爬取的内容：包括网站的url, aleax排名，百度权重， PR等import urllib2import pandas as pdfrom bs4 import BeautifulSoupdef urlprocess(url): u = url.replace('

2016-04-19 16:56:23 1607

原创 python pandas 函数累积

pandas.minhttp://stackoverflow.com/questions/25479607/pandas-min-of-selected-row-and-columns

2016-04-18 11:14:47 1544

转载 Hadoop，Spark和Storm

Hadoop，Spark和Storm由于Google没有开源Google分布式计算模型的技术实现，所以其他互联网公司只能根据Google三篇技术论文中的相关原理，搭建自己的分布式计算系统。Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop。后来，Hadoop被贡献给了Apache基金会，成

2016-04-14 17:54:08 569

原创 anaconda conda install 安装包

linux下加入路径export PATH=~/anaconda/bin:$PATHconda install ××

2016-03-29 10:02:47 10208

原创 one-hot enconding，类别型特征，非数值型特征。

在计算广告领域，对于CTR,CVR，反作弊等内容时，对于categorical features，时常会用one-hot enconding 的处理方法。借用互联网已有的博客，在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。例如，考虑一下的三个特征：["male", "female"]["from Europe", "from US", "from

2016-03-04 16:07:17 4551