- 博客(311)
- 资源 (23)
- 收藏
- 关注
RSS订阅原创 Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build-*
一般出现这个问题是由于pip版本太低或者pip有问题的原因此时需要升级pip： # pip3执行 pip3 install --upgrade pip # pip执行 pip install --upgrade pip # 如果上面升级失败，可以试试 python -m pip install --upgrade --force pip 解决方法1如果在升级过程中报标题中的错误，则通过gt-
2021-11-16 15:44:27
59987
8
转载 超越算法来看待个性化推荐
一提到个性化推荐，大家一般会想到协同过滤、文本相似等推荐算法，或是更高阶的模型推荐算法，百度的张栋说过，推荐40%取决于UI、30%取决于数据、20%取决于背景知识，虽然本人不是很认同这种比例，但推荐系统中，推荐算法起的作用起的作用是非常有限的。 就像任何数据挖掘应用一样，算法不是起决定作用的，背景知识、数据很重要。通过算法或数学模型来描述和解决问题，我觉得是工科或者理科背景同学
2013-08-27 13:15:29
1958
1
转载 实时个性化推荐系统简述
传统的个性化推荐系统，都是定期对数据进行分析，然后对模型进行更新，进而利用新的模型进行个性化推荐。由于是定期更新模型的，推荐模型无法保持实时性，推荐的结果可能不会非常精准。例如网易云音乐的用户，假如用户这会儿无意中听到了一种曲风，觉得这种曲风很好听，连续听了好几首这样子的歌曲。如果我们的推荐系统没有做到实时性，那么给用户推荐的依然是他过去爱听的，无法立即推荐给用户他刚刚听的那些歌的曲风，这
2013-08-27 09:54:54
9139
转载 数据预处理
现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。 一、数据清理 首先是处理空缺值，如：要分析某市场的销售和顾客数据，但顾客的income项
2013-08-16 15:11:40
1714
转载 HDFS命令行操作
启动后可通过命令行使用hadoop。(1)所有命令 （先将$HADOOP_HOME/bin加入到.bashrc的$PATH变量中）[html] view plaincopy[hadoop@node14 hadoop-0.21.0]$ ll $HADOOP_HOME/bin total 88 -rwxr-xr-x 1 had
2013-08-15 15:04:33
1272
转载 Hive内表和外表的区别
本文以例子的形式介绍一下Hive内表和外表的区别。例子共有4个：不带分区的内表、带分区的内表、不带分区的外表、带分区的外表。1 不带分区的内表#创建表create table innerTable(id int,name string) row format delimited fields terminated by ‘|’;(show tables发现没有innerTa
2013-08-14 16:48:55
7301
转载 hive中简单介绍分区表
本帖最后由 liujiannan047 于 2011-9-20 09:34 编辑所介绍内容基本上是翻译官方文档，比较肤浅，如有错误，请指正！hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：
2013-08-14 16:43:47
1483
转载 对现有Hive的大表进行动态分区
分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围，从而提高速度。分区分为两种：静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判断数据分区。对于大数据批量导入来说，显然采用动态分区更为简单方便。- 对现存hive表的分区首先，新建一张我们需要的分区以后的
2013-08-14 15:48:41
3804
转载 Hive表分区
必须在表定义时创建partitiona、单分区建表语句：create table day_table (id int, content string) partitioned by (dt string);单分区表，按天分区，在表结构中存在id，content，dt三列。以dt为文件夹区分b、 双分区建表语句：create table day_hour_table (id
2013-08-14 15:34:44
48498
1
原创 Hive常用的SQL命令操作
创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件（正则表达式）显示
2013-08-13 15:14:35
1816
原创 Hadoop分布式安装
一、安装准备 1、下载hadoop，地址：http://hadoop.apache.org/,下载相应版本 2、下载JDK版本：Hadoop只支持1.6以上，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 3、操作系统：Linux
2013-08-13 15:01:12
807
原创 Hadoop命令摘录
一：文件操作1、建立目录[hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir在HDFS中建立一个名为testdir的目录2、上传文件到HDFS[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip把本地文件large.z
2013-08-13 14:39:27
769
原创 HDFS基本知识整理
设计理念： 1、超大文件 2、流式数据访问 3、商用普通硬件不适合场景： 1、低时间延迟的数据访问 2、大量的小文件 3、多用户写入，任意修改文件一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最
2013-08-13 14:29:56
1559
原创 Hive基本命令整理
创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表，结构与其他一样hive> create table n
2013-08-13 14:10:36
4396
转载 淘宝数据魔方技术架构解析
淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。 为此，我们进行了一系列数据产品的研发，比如为大家所熟知的量子统计、数据魔方和淘宝指数等。尽管从业务层面来讲，数据产品
2013-07-12 11:05:07
1217
原创 CentOS thrift python demo
编辑接口文件 hellowworld.thriftservice HelloWorld { string ping(), string say(1:string msg)}编辑 server.py#!/usr/bin/env python import socketimport syssys.path.append('./gen-py') from h
2013-07-02 11:37:56
3040
转载 CentOS安装thrift
下载thrift依赖的东西 yum -y install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel crypto-utilsopenssl openssl-devel下载最新版本thrift，网址：http
2013-07-02 11:09:47
6834
原创 php mcrypt
Mcrypt库支持20多种加密算法和8种加密模式，具体可以通过函数mcrypt_list_algorithms()和mcrypt_list_modes()来显示[1]Mcrypt支持的算法有：cast-128gostrijndael-128twofisharcfourcast-256loki97
2013-04-10 10:31:16
1770
1
转载 Python ConfigParser的使用
1.基本的读取配置文件-read(filename) 直接读取ini文件内容-sections() 得到所有的section，并以列表的形式返回-options(section) 得到该section的所有option-items(section) 得到该section的所有键值对-get(section,option) 得到section中option的值，返回为string
2013-03-29 10:40:24
979
原创 64位centos下安装python的PIL模块
由于处理图片需要用到PIL模块，具体的安装步骤如下：1. 安装PIL所需的系统库yum install zlib zlib-develyum install libjpeg libjpeg-levelyum install freetype freetype-devel2. 使用PIP安装PIL模块pip install PIL3
2013-03-14 15:38:57
4828
原创 phprpc Can't find the key for decryption 解决方案
昨天下午遇到一个问题，突然phprpc遇到 Can't find the key for decryption 这个问题。经过查找发现服务端没有采用加密，而客户端之前加密时没有问题的。从rpc的文档上看，加密存的是session，如果session改变的话，则发生异常。后面我将客户端的代码去掉了加密方式，这样客户端和服务端都没有加密方式，处理完毕。
2013-02-21 10:55:21
1220
原创 jQuery删除节点
jQuery提供了三种删除节点的方法，即remove(),detach()和empty()1: remove() 方法作用是从DOM中删除所有匹配的元素,传入的参数用于根据jQuery表达式来筛选元素。$("ul li:eq(1)").remove(); //获取第2个元素节点后，将它从网页中删除2:detach() 方法detach() 方法和remove(
2013-01-13 23:14:01
831
原创 jQuery中的DOM操作
你最喜欢的水果是？ 苹果橘子'>橘子菠萝查找节点1: 查找元素节点var $li = $("ul li:eq(1)"); //获取里第2个节点var li_txt = $li.text(); //获取第2个元素节点的文本内容alert(li_txt);以上代码获取了元素里第2个节点，并将它的文本内容“橘子”打印出来2:查找属性节点利用j
2013-01-13 22:46:39
609
原创 jQuery表单选择器
jQuery表单选择器:input 选取所有的、、 和 元素:text 选取所有的单行文本框:password 选取所有的密码框:radio 选取所有的单选框:checkbox 选取所有的多选框:submit 选取所有的提交按钮:image 选取所有的图片按钮:reset 选取所有的重置按钮:button 选取所有的按钮:
2012-12-30 22:15:59
546
原创 jQuery属性过滤选择器
属性过滤选择器的过滤规则是通过元素的属性来获取相应的元素。[attribute] 选取用次属性的元素[attribute=value] 选取属性值为value的元素[attribute!=value] 选取属性值不等于value的元素[attribute^=value] 选取属性值以value开始的元素[attribute$=value] 选取
2012-12-30 21:34:23
2363
原创 jQuery层次选择器
层次选择器$("ancestor decendant") 选取 ancestor 元素里所有 decendant (后代)元素。$("parent > child") 选取parent元素下的child(子)元素，与$("ancestor decendant") 有区别，$("ancestor decendant") 选取的是后代元素。$("prev + next") 选取
2012-12-30 21:25:32
539
原创 jQuery可见性过滤选择器
可见性过滤选择器是根据元素的课件和不可见状态来选择相应的元素。:hidden 选取所有不可见的元素:visible 选取所有可见元素示例$(":hidden") 选取所有不可见的元素。包括,和等元素。如果只想选取元素。可以使用$("input:hidden")$("div:visible") 选取所有课件的元素。
2012-12-30 20:48:26
630
原创 jQuery内容过滤选择器
内容过滤选择器:contains(text) 选取含有文本内容为"text"的元素:enpty 选取不包含子元素或者文本的空元素:has(selector) 选取含有选择器为匹配的元素的元素:parent 选取含有子元素或者文本的元素内容选择器示例$("div:contains('我')") 选取含有文本“我”的元素$("
2012-12-30 10:33:01
463
原创 jQuery过滤选择器
基本过滤选择器:first 选取第一个元素:last 选取最后一个元素:not(selector) 去除所有与给定选择器匹配的元素:even 选取索引是偶数的所有元素，索引从0开始:odd 选取索引是奇数的所有元素，索引从0开始:eq(index) 选取索引等于index的元素(index从0开始):gt(index) 选取索引大于inde
2012-12-29 23:56:55
450
原创 jQuery基本选择器
选择器#id 根据给定的id匹配一个元素.class 根据给定的类名匹配元素element 根据给定的元素名匹配元素* 匹配所有元素selector1,selector2,......selectorN 将每一个选择器匹配到的元素合并后一起返回基本选择器事例改变id为o
2012-12-29 23:14:35
552
原创 使用SQLyog创建数据库架构
SQLyog的下载地址为： http://pan.baidu.com/share/link?shareid=180306&uk=2804099355操作步骤为： 数据库--》以HTML格式创建数据库架构。
2012-12-21 10:50:18
4681
1
原创 给DW安装jQuery的提示插件
https://code.google.com/p/jquery-api-zh-cn/downloads/list命令---》 扩展管理。。。
2012-12-18 21:47:00
1362
转载 告诉你在职场说话的八大技巧
职场社交是门学问，有时甚至毫不逊色于工作内容本身的作用。想到什么说什么，往好处想会觉得这个人性格直来直去、大喇喇；往坏处想，不加修饰的语言偶尔也会成为利剑伤人。我们为那些说话不太“把门”的职场人士总结了八个技巧，请在工作中谨言慎行，切记祸从口出。不要说“但是”，而要说“而且”试想你很赞成一位同事的想法，你可能会说：“这个想法很好，但是你必须……”本来说话字字千金、伶牙俐齿的你，这样子一说，
2012-12-17 11:16:44
684
转载 PHP用CURL伪造IP和来源
1.php 请求 2.php 。1.php代码：$ch = curl_init();curl_setopt($ch, CURLOPT_URL, "http://localhost/2.php");curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:8.8.8.8', 'CLIENT-IP:8.8.8.8'));
2012-11-26 18:05:55
5603
1
原创 mysql慢查询
long_query_time = 0log_slow_queries = 1log-slow-queries = C:\mysqlslowquery.log
2012-10-11 14:17:36
565
转载 恶心的上传
// 文件上传 protected function _upload() { import("@.ORG.UploadFile"); //导入上传类 $upload = new UploadFile(); //设置上传文件大小 $upload->maxSize = 3292200;
2012-07-26 18:06:59
557
原创 用户权限系统的设计
我们准备了两个栏目来对此进行处理。角色管理和员工管理。角色管理：此功能相当于权限组表结构如下：CREATE TABLE `admin_role` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增编号', `name` varchar(32) NOT NULL DEFAULT '' COMMENT '角
2012-07-26 17:52:46
619
原创 禁用php函数的设置
打开PHP.INI，找到这行：disable_functions =在后面那里加上要禁用的函数，如禁用多个函数，要用半角逗号 , 分开 给个例子：disable_functions = passthru,exec,system,popen,chroot,scandir,chgrp,chown,escapeshellcmd,escapeshellarg,shell_exe
2012-07-09 16:15:28
16713
原创 Installing PEAR and PHPUnit on WAMP
1.安装wamp2.安装PEARStep: 打开 C:\wamp\bin\php\php5.3.5\php.ini修改: ;phar.require_hash = Onphar.require_hash = Off运行C:\wamp\bin\php\php5.3.5\go-pear.bat选择local，默认 YES添加环境变量:variable ‘PHP_
2012-06-18 17:11:29
1059
jquery-pager-1.0
2011-10-13
Google+map+API php
2010-12-18
大道PHP 第23章 PHP 5与MySQL的结合应用.doc
2010-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人