- 博客(83)
- 收藏
- 关注
RSS订阅原创 faiss的简单使用
全称(Facebook AI Similarity Search)是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前较成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口。除此以外，对一些核心算法提供了GPU实现。
2023-03-10 14:28:07
2632
1
原创 算法题模板
class UF(): def __init__(self, n): self.count = n self._parent = [0] * n self._weight = [0] * n for i in range(n): self._parent[i] = i self._weight[i] = 1 def connect(self, p, q): r.
2022-01-26 15:14:39
429
原创 k8s flask
使用flask开发一个简单的应用，k8s进行部署这个应用。在这里只提供一个简单的框架结构。整个项目的目录结构/Dockerfile/k8s /k8s/k8s_flask.server.yml /k8s/k8s_flask.yml/src /src/app.py /src/requirements.txt...
2021-05-27 22:30:30
794
原创 docker k8s python flask 部署
用python创建一个应用程序，使用docker构建镜像，使用k8s管理运行这个程序。docker build -t k8s_python_code .docker tag k8s_python_code:latest 172.27.233.13:35000/k8s_python_code:1.6docker push 172.27.233.13:35000/k8s_python_code:1.6...
2021-05-26 21:50:07
1349
1
原创 推荐之召回策略
召回策略-item的协同过滤给用户推荐他之前喜欢的物品的相似物品1）计算物品的相似度：喜欢两个物品的用户重合度越高，那么两个物品就越相似2）用户对item_j对推荐分数N（u） ： user行为过的item 的总数rui ： user对物品i的行为得分（比如电影评分系统中用户对电影的评分-->归一化0~1间的一个值）Sij ： 物品 i 和 j 的相似得分item i 是用户行为过的物品且是与item j 最相似的top k个 item （一般实战中选取50个）.
2021-03-26 19:41:35
391
原创 keras实现文本分类
数据来源自kaggle的一个比赛：data 本文从简单的文本处理模型到深度学习的LSTM模型，逐步的进行讲解。将数据下载下来后，进行数据的导入和预览。data = pd.read_csv('data/train.csv')data = data.loc[:1000, :]data['target'].value_counts()data['len'] = data['questi...
2019-06-14 17:12:40
2386
2
原创 jupyter安装详细过程
上班以后时间就不会那么充足了，最近申请了公司的一个服务器，打算挤出点时间继续我的学习之旅。用公司服务器安装jupyter就遇到了问题，所以在这里记录一下，省得以后坑。1.下载安装anaconda. 到官方网站下载linux版本的.sh。上传到服务器中，这里推荐使用Transmit这款软件，图形界面操作。bash Anaconda3-5.2.0-Linux-x86_6...
2019-04-05 10:35:46
1756
原创 GridSearchCV 与 RandomizedSearchCV 调参
好久没写博客了，原因是最近比较忙，一下报了两个比赛，今天终于最后一个比赛的初赛都结束了，抽点小空赶紧总结一下，先汇报下成绩吧。IJCAI2018 阿里妈妈广告算法大赛，初赛第六。FASHIONAI属性识别大赛初赛25 。复赛加油，争取取得更好的成绩。 昨天和前天都加班调参了，但是由于是新手，所以遇到很多困难，刚好看到一片博客，关于调参的，所以这里我就引过来，以备后面查阅和使用的方便，如果有...
2018-04-23 16:13:32
36379
9
原创 IJCAI18 阿里妈妈广告
比赛的说明，还有比赛的链接IJCAI18 详细代码：github 这里，我们先进行一些数据分析，这里先说下我的设备，CPU内存128G，GPU GTX1080Ti 11G，但是只是工作站，所以图形显示就有点尴尬了。round1_ijcai_18_train_20180301 ：478138 日期：2018-09-18~2018-09-24round1_ijcai_18_test...
2018-03-16 23:00:18
1266
1
原创 数据挖掘的一些统计代码小结
打比赛一点点的总结经验，看人家代码学习方法，这篇是看o2o的一些统计代码的小结，方便以后打比赛的时候查找代码。最近报名了IJCAI-2018的比赛，关于广告算法。从这里开始先找经验吧，这算是一个真正的打比赛了，希望能取得好成绩。off_train = pd.read_csv('data/ccf_offline_stage1_train.csv', header=None)off_tr...
2018-03-09 17:51:25
1740
1
原创 天池-盐城上牌
上次血糖的比赛没有能够进入复赛，有点小遗憾吧，但是毕竟是第一次打比赛，完全萌新，也没什么了，最后146名，继续加油吧，所以报了这个比赛。今天得知将收到天池的订制U盘。很高兴，哈哈，那就开始新的赛程吧。毕竟经验需要一点点的积累，这个又是一个新问题，和时间有关的。反正以我现在经验，遇到的都是新问题。比赛的数据和说明网址 数据EDA，这是第一步：# coding:UTF-8import pan...
2018-02-05 18:29:12
756
2
原创 特征工程
最近做比赛的一波操作，几乎没有显著效果，虽然在这个比赛没有效果，但是其他比赛可能用的上。先记录一下最近做的特征工程吧。这个可以接着血糖那篇博客。打开血糖预测博客。1.移除特征中的异常值# 移除异常值 exclude_unique = [] for c in data.columns: num_uniques = len(data[c].uniqu...
2018-01-27 22:36:28
1044
原创 sklearn的数据预处理
数据预处理概要sklearn是一个比较常用的机器学习库，其中的sklearn.preprocessing包含了常用的预处理函数，一般在kaggle等数据竞赛网站拿到数据的时候，首先要观察数据特征，分布等信息，然后进行数据预处理。数据预处理有利于计算机进行计算。原始数据存在的问题： 1. 存在缺失值 2. 存在异常点及噪声 3. 各个特征的取值范围比例不一 4
2018-01-23 00:56:42
608
原创 血糖预测回归问题
这篇博客是接上文的，现在就开始做特征工程了，上面都是做的一些模型的融合，cv的验证，既然已经有了这些基础，那么必须要做最重要的部分了，特征工程十分重要，可以说是比赛的最关键步骤。赛题的链接：点击打开链接1.引入相关的库，并读入数据。# coding:utf-8import pandas as pdimport numpy as npimport matplotlib.pyplot as pl
2018-01-16 12:40:37
4341
4
原创 kaggle竞赛的小结基于--House Prices: Advanced Regression Techniques（回归类问题）
前天报名了天池的天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测的比赛，今天的提交排名是180多名，但是总排名300+，还没有进行数据工程的工作，所以去kaggle找了这个有相似度的题。下面将我这两天看的一些特征工程方面的代码贴在下面，数据的预处理可以按照这个步骤，其中kaggle的链接kaggle的处理参考#!/usr/bin/python#coding:utf-8import p
2018-01-08 15:51:15
4437
原创 Tensorflow实现Faster RCNN
今天一天将tensorflow下的faster rcnn实现了，运行demo.py并得到成果，从安装到运行。所以记录一下，我用的GPU工作站，GTX1080ti，内存11G。基础的CUDA配置这里就不详述了。由于是实验室的GPU，所以，在自己的目录下用Anaconda2创建自己的环境，其中Anaconda的配置详见上一篇文档。 其中tensorflow-gpu的版本1.3.0 其中git
2017-12-28 21:37:44
36201
26
原创 Ubuntu16.04下同时安装Anaconda2与Anaconda3
由于编程时同时需要有python2/3的环境和大量的依赖包，本文的思路是先根据Ubuntu预装的python2.7来安装Anaconda2，然后将Anaconda3作为其环境安装在envs文件夹下。 需要注意的是，鉴于在线安装Anaconda3实在太慢了，本文使用的是离线安装方法。安装过程1.安装Anaconda2Anaconda的官方安装网址在 https://www
2017-12-28 15:41:53
5917
1
原创 Faster R-CNN的配置、运行（免费深度学习平台可以使用）
首先感谢一下IBM大神们的无私提供，如果没有深度学习环境的同学们可以申请super vessul，免费的深度学习云平台，具体的百度一下就可以了，感谢一波IBM。而且已经预装好了caffe的框架，这里可以先介绍一下如何在上面运行Faster R-CNN。1.先登陆到平台，并启动服务，我有两个服务，一个caffe，一个tensorflow。2.链接VPN, SSH
2017-12-21 14:51:38
3247
原创 利用Inception-v3在kaggle上Digit Recognizer
作为一个kaggle新手，最好的入门还是Digit Recognizer，看了一些其他的kernel，发现基本都是用普通的vggnet实现的，但是效果不是很好，所以想到用迁移学习，将googlenet用来解决问题。相应的数据请到kaggle官网下载。1。将train.csv中数据转换成图像# coding: UTF-8import cv2import pandas
2017-12-10 10:27:37
643
原创 inception-v3迁移学习
接着上一篇文章，我们现在进行inception-v3的迁移学习，用原来的权重参数进行特征提取，在最后的瓶颈中添加一个分类层。在pool_3后面添加一个input，然后训练这些。其中数据集#!/usr/bin/env python3# -*- coding: utf-8 -*-import globimport os.pathimport randomimport
2017-12-07 23:30:08
5459
6
原创 下载Inception v-3模行 观察网络模型
下面的代码是下载Incetion v-3的代码：# coding: UTF-8import tensorflow as tfimport osimport tarfileimport requests# inception模型下载地址inception_pretrain_model_url = 'http://download.tensorflow.org/models/imag
2017-12-05 22:11:26
1821
2
原创 读取.tfrecords格式数据集，进行geture的cnn构建、训练、模型保存
接着上一篇手势数据集制作完成后，我们就能够根据数据集，然后模型构建，训练，保存，Board可视化。代码中写出了相应的注释：# coding: utf-8# 读取.tfrecords格式数据集，进行geture的cnn构建、训练、模型保存import tensorflow as tf# 此实验将训练集和测试集微同一个集合train_whole_sample_size = 16
2017-12-04 21:09:57
4799
22
原创 手势识别+tfrecods数据集的制作
实验所需要的环境：tensorflow-0.10python-opencvImage ubuntu14.4本实验的数据集是点击打开链接微云其中包括9种手势，部分形式见下面的图，如果连接失效，可以向我索要。单通道的图片，但是写代码的时候差异不大。文件的存放位置如下：制作TFRecords时，# coding: UTF-8import
2017-12-04 20:54:18
7915
14
原创 style-transfer的实现(tensorflow)
风格转化是一个很流行的app应用，虽然现在过去风头了，但是自己实现一下也是好的。paper需要自己去解读，下面是图解。中间是一个空白图片或者噪音图片。然后将空白图片和S表示style、C表示content进行最小损失函数，但是这样训练和验证会加大时间，测试太慢。然后使用如下的网络： 将网络分成左边Image Transform Net和右侧的Loss Network，左
2017-11-19 17:13:16
4744
4
原创 ML基础---KNN的应用
算法详述 步骤： 为了判断未知实例的类别，以所有已知类别的实例作为参照 选择参数K 计算未知实例与所有已知实例的距离 选择最近K个已知实例 根据少数服从多数的投票法则(majority-voting)，让未知实例归类为K个最邻近样本中最多数的类别 细节: 关于K 关于距离的衡
2017-11-18 22:53:27
264
原创 ML基础---决策树的应用
1. 什么是决策树/判定树（decision tree)? 判定树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。当一个属性被使用后就不能再次在下面使用。如上图所示，当age出现时，下面将不会在出现。下面给出数据表现形式：下面展示代码：from sk
2017-11-18 21:50:56
1985
原创 wordpress创建自定义后台评论，并且发送邮件
由于客户需要定义一个举报系统，所以我就使用了wordpress自带的评论系统进行修改。是后台能够显示用户想要的字段。后台显示效果如下：含有填写人的姓名，内容（评论），电话，身份证，地址。当然这些都用js检验。前台的页面如下所示：将表单填写完成后，进行提交。然后就能在后台进行显示。在页面处引用评论的模板。然后在functions.php中引用自定义的后台字段：
2017-09-04 20:42:10
2290
1
原创 wordpress仿站实战教程
有一个月没有写blog了，一直在学习wordpress的知识，现在能够进行简单的政府企业门户网站的仿制，wordpress的主题订制，一般是对前端要求比较高，wordpress学会了，建站还是非常的快的。下面进行教程，没有基础知识的请先看基础知识。仿站的目标网站：仿站的目标网站，这也是我本科母校。1.目标网站的抓取，使用仿站小工具8.0.2挺好用的，能够尽可能多的将整个网站抓取下来。
2017-08-09 21:37:13
23281
3
原创 java爬取国内飞机航班轨迹数据jsoup的探索
接到一个爬虫项目，java编写的调用jsoup。来调取国内民航的轨迹。第一步，先进行根据飞机所属于的航空公司，然后根据改航空公司爬出所有的的航班号。第二步，根据查询出的航班号进行飞行轨迹的的数据爬去。本博客先进行第一阶段的项目代码编写。所用的网站：http://zh.flightaware.com/ 上面包括所需要爬取的数据。文件所需要的jar包：然后就是在主文件中进行
2017-06-29 22:09:55
5180
3
原创 wordpress探索
做为世界上最多使用的开源cms，最大的优势就是入门简单，刚开始本来想进军drupal的，看了两天感觉萌萌的。所以决定先从wordpress开始。wordpress的安装还是比较简单的。下面进行wordpress的安装教程，先copy一个网上教程吧，毕竟我安装完了，大家可以访问我的网站http://www.mster.cf。步骤1、因为安装Wordpress需要用到Apache和Mysql数据库
2017-06-24 23:14:12
403
原创 tensorflow进行SVHN数据实验
SVHN is a real-world image dataset for developing machine learning and object recognition algorithms with minimal requirement on data preprocessing and formatting.数据库下载地址
2017-06-14 11:23:29
4237
1
原创 tensorflow关于二维码的验证
我使用的环境是tensorflow0.10版本，但是需要安装captcha. 如果出现错误可能会是pillow版本低。需要升级一下pillow的版本。然后运行如下的代码生成二维码：# -*- coding: utf-8 -*-from captcha.image import ImageCaptcha # pip install captchaimport numpy as np
2017-06-12 17:23:09
965
1
原创 tensorflow的完整的hello world教程(检测自己手写识别数字)
tensorflow作为google开源的项目，现在赶超例caffe，好像成为最受欢迎的深度学习框架。确实在编写的时候更能感受到代码的真实存在，这点和caffe不同，caffe通过编写配置文件进行网络的生成。
2017-06-12 09:02:58
5328
6
原创 Tensorflow进行深度学习(第一)
1.环境的配置： 我的电脑的配置不高，所以不能用Cude进行gpu的加速，选择例cpu版本的。系统为ubuntu14.04，python2.7,theano,keras也全部都安装上，下面进行tensorflow的安装。$ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0-c
2017-05-29 10:44:53
1704
1
原创 数据分析和数据可视化(第二讲)-pandas
pandas数据结构:Series和一维数组一样。import pandas as pdser_obj = pd.Series(range(10, 20))print(ser_obj.index)print(ser_obj.values)实验运行的结果：RangeIndex(start=0, stop=10, step=1)[10 11 12 13 14 1
2017-04-22 23:10:33
480
原创 小型CRM项目(Page分页实现详细教程)
本项目使用SSM框架搭建，前台使用bootstrap框架。CRM项目外观1. 开发环境IDE： Eclipse Mars2 Jdk: 1.7数据库: MySQL2. 创建数据库创建数据库crm，其中
2017-04-21 14:50:18
2335
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人