- 博客(360)
- 资源 (20)
- 收藏
- 关注
RSS订阅原创 [Python数据结构] 序列中n个最大最小集
>>> import heapq>>> nums = [1, 8, 2, 23, 7, -4, 18, 23, 42, 37, 2]>>> heapq.nlargest(3, a)[5, 4, 3]>>> heapq.nsmallest(3, a) [1, 2, 3]>>>>>> portfolio = [... {'name': 'IBM', 'shares': 100...
2021-11-08 21:21:50
700
原创 [GAN实战] DCGAN实现
import tensorflow as tffrom tensorflow.keras import layers, Modelfrom tensorflow.keras.activations import relufrom tensorflow.keras.models import Sequential, load_modelfrom tensorflow.keras.callbacks import ModelCheckpoint, EarlyStoppingfrom tensorfl.
2021-11-08 08:05:37
1549
1
原创 [Python基础] 可变长度序列赋值
>>> def drop_frist_last(nums):... first, *middle, last = nums... return sum(middle)/len(middle)>>> drop_frist_last([1,2,3])2.0>>> drop_frist_last([1,2,3,4])2.5>>> record = ('Hello', '[email protected]', 123,456)...
2021-11-06 13:22:46
275
原创 [Python数据结构] 将序列赋值给独立变量
>>> p = (7, 8)>>> p(7, 8)>>> a, b = p>>> a7>>> b8>>> data = ['1', '2', [3, 4]]>>> data['1', '2', [3, 4]]>>> a, b, c = data>>> a'1'>>> b'2'>>>
2021-11-06 12:11:52
286
原创 [GAN实战] srgan(超分辨率图像复原)
1.srgan架构训练过程:a.运行高分辨率(HR）图片去获取低分辨率(LR)图片，为了训练我们的数据集,我们同时需要低分辨率(LR)和高分辨率(HR)图片.b.容许低分辨率(LR)图片通过生成器,从而增加数据样本和提供超高分辨率(SR)图片.c.LR(低分辨率)图片和HR(高分辨率)图片通过穿越鉴别器被分类，同时回溯.2.网络结构3.工程实现待补...
2021-11-06 08:20:00
883
原创 [GAN基础] 对抗网络组成及训练过程
1.GAN组成GAN(对抗网络)由Generator(生成器)和Discriminator(鉴别器)构成.2.Discriminator(鉴别器)训练过程a.首先,从指定的训练集中获取随机的真实集xb.其次,获取新的随机向量z,利用生成器网络,伪造假数据x*c.再次,利用鉴别器网络去区分真实数据x和伪造数据x*d.最后,寻找分类器错误同时回溯.尝试最小化分器错误,以更新鉴别器偏差和权重.3.Generator(生成器)训练过程a.首先,从指定的训练集中选择随机的图片作为向量
2021-11-05 05:18:06
1527
原创 [GAN环境搭建] tensorflow环境搭建
1.docker版tensorflow (推荐)https://www.tensorflow.org/install1.1 GPU版docker pull tensorflow/tensorflow:latest-gpu-py3docker run -it --name mytensor --rm --runtime=nvidia -p 8501:8501 -p 8888:8888 -p 6006:6006 -v /home/security/anaconda3/nn:/nn tensorf
2021-10-29 06:53:41
486
原创 [tensorflow] tensorflow简介
1.Tensorflow基础TensorFlow是一个开放源代码软件库，用于进行高性能数值计算。借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU、TPU）和设备（桌面设备、服务器集群、移动设备、边缘设备等）。 TensorFlow 是一个用于研究和生产的开放源代码机器学习库。TensorFlow 提供了各种 API，可供初学者和专家在桌面、移动、网络和云端环境下进行开发。 TensorFlow是采用数据流图（data flow graphs）来计算,所以首先我们得创建一个数据
2021-10-29 06:22:45
1627
原创 [AI术语]AI及机器学习及深度学习及神经网络区别
1.概要类别 概要 详情 AI 为机器赋予人的智能 “强人工智能”（General AI）。这个无所不能的机器，它有着我们所有的感知（甚至比人更多），我们所有的理性，可以像我们一样思考。 “弱人工智能”（Narrow AI）。弱人工智能是能够与人一样，甚至比人更好地执行特定任务的技术。例如，Pinterest上的图像分类；或者Facebook的人脸识别。 这些是弱人工智能在实践中的例子。这些技术实现的是人类智能的一些具体的局部。但它们是如何实现...
2021-10-28 08:38:39
870
原创 [视觉数据]tensorflow默认数据集
#pip install tensorflow-datasetsimport tensorflow_datasets as tfdsprint(tfds.list_builders())['abstract_reasoning', 'aeslc', 'aflw2k3d', 'ai2_arc', 'amazon_us_reviews', 'anli', 'arc', 'bair_robot_pushing_small', 'beans', 'big_patent', 'bigearthnet', .
2020-08-17 06:42:45
386
原创 [视觉工程]以图搜图之提升准确率(模型微调)
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport .
2020-08-08 06:43:58
361
原创 [视觉工程]以图搜图之使用微调提升准确率
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport .
2020-08-07 07:52:48
222
原创 [视觉工程]以图搜图之提升搜索速度
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport .
2020-08-07 07:34:57
276
原创 [数据工程]如何将xml转csv
import xml.etree.ElementTree as ELTfrom tqdm import tqdmdef parse_xml_to_csv(path, save_path=None): """ Open xml posts dump and convert the text to a csv, tokenizing it in the process :param path: path to the xml document containing posts .
2020-08-06 07:49:15
1254
原创 [视觉工程]以图搜图之准确率
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport.
2020-08-06 07:17:41
277
原创 [视觉工程]以图搜图之搜索策略(bf,kdTree,ballTree,annoy,nms,falconn)
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport.
2020-08-05 07:37:44
514
1
原创 [视觉工程]以图搜图之tsne及pca降维渲染
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport.
2020-08-04 07:22:40
451
原创 [视觉工程]以图搜图之queryGalary渲染
import numpy as npimport picklefrom tqdm import tqdm, tqdm_notebookimport randomimport timefrom sklearn.manifold import TSNEfrom sklearn.decomposition import PCAimport PILfrom PIL import Imagefrom sklearn.neighbors import NearestNeighborsimport.
2020-08-04 07:17:51
259
1
原创 [视觉工程]以图搜图之提取特征
#!/usr/bin/env python# coding: utf-8import osos.environ["CUDA_VISIBLE_DEVICES"] = "1"import numpy as npfrom numpy.linalg import normimport picklefrom tqdm import tqdm, tqdm_notebookimport osimport randomimport timeimport mathimport tensorflow.
2020-08-03 07:16:27
441
原创 [视觉工程]如何确定列列之间的相关性
import pandas as pdhousing = pd.read_csv("housing.csv")corr_matrix = housing.corr()corr_matrix["median_house_value"].sort_values(ascending=False)# 输出median_house_value 1.000000median_income 0.685211total_rooms 0.138753housing...
2020-07-29 09:57:29
270
原创 [视觉工程]如何可视化分析二分类模型效果
#!/usr/bin/env python# coding: utf-8# In[1]:import tensorflow as tfimport numpy as npfrom tensorflow.keras.preprocessing.image import ImageDataGeneratorfrom tensorflow.keras.applications.mobilenet import MobileNet, preprocess_inputimport matplot.
2020-07-29 07:41:12
437
原创 [视觉工程]多维数据可视化
import pandas as pdhousing = pd.read_csv("housing.csv")housing.plot(kind="scatter", x="longitude", y="latitude", alpha=0.4, s=housing["population"]/100, label="population", figsize=(10,7),c="median_house_value", cmap=plt.get_cmap("jet"), colorbar=True,.
2020-07-28 10:06:48
458
原创 [AI数据]数据集分割的3种方式
1.np.random.permutation法import numpy as npdef split_train_test(data, test_ratio): shuffled_indices = np.random.permutation(len(data)) test_set_size = int(len(data) * test_ratio) test_indices = shuffled_indices[:test_set_size] train_indice...
2020-07-27 10:07:41
1858
原创 [视觉模型]迁移学习之流水线
1.概要迁移学习的流水线包括基础配置,数据增强,模型定义,模型训练,模型测试.2.详情2.0 基础配置import tensorflow as tffrom tensorflow.keras.preprocessing.image import ImageDataGeneratorfrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Input, Flatten, Dense, .
2020-07-27 07:20:45
224
原创 [AI数据]数据增强之路
1.维度位置增强(包括Scaling/Cropping/Flipping/Padding/Rotation/Translation/Affine transformation)颜色增强(包括Brightness/Contrast/Saturation/Hue)2.方法2.1.imgaug法2.1.1 旋转import imageioimport imgaug as iaimport imgaug.augmenters as iaaimport numpy as npi.
2020-07-25 08:58:59
315
原创 [AI数据]读取和解析csv文件
1.加载import pandas as pdimport os# load housing datadef load_housing_data(housing_path=HOUSING_PATH): csv_path = os.path.join(housing_path, "housing.csv") return pd.read_csv(csv_path)housing = load_housing_data()2.展示(部分)housing...
2020-07-24 13:50:33
746
原创 [AI数据]在线获取和解压压缩包
import osimport tarfileimport urllibimport pandas as pdDOWNLOAD_ROOT = "https://example/"HOUSING_PATH = os.path.join("datasets", "housing")HOUSING_URL = DOWNLOAD_ROOT + "datasets/housing/housing.tgz"# fetch housing datadef fetch_housing_data(hou.
2020-07-24 13:26:10
594
原创 [模型评测]回归模型评测的4种方式
1.方式MAE, MSE, RMSE, R-SquaredThe MSE, MAE, RMSE, and R-Squared are mainly used metrics to evaluate the prediction error ratesand model performance in regression analysis.MAE (Mean absolute error) represents the difference between the original and pre.
2020-07-24 10:16:24
416
原创 [AI数据]开源的数据集
流行的开放数据集— UC Irvine Machine Learning Repository— Kaggle datasets— Amazon’s AWS datasets数据集门户网— Data Portals— OpenDataMonitor— Quandl网页外链— Wikipedia’s list of Machine Learning datasets— Quora.com— The datasets subreddit...
2020-07-24 09:45:27
164
原创 [视觉模型]迁移学习之五个步骤
一.概要1.组织数据2.构建数据流水线3.数据增强4.定义模型5.训练和测试二.详情1.组织数据a.下载好带标注的数据b.将数据劈成两部分(80%用在训练,20%用在测试)2.构建数据流水线a.定义好读取数据的流水线(包括前处理/组batch)3.数据增强a.包括旋转/缩放等4.定义模型a.基于已有的模型,删除和任务相关的层,附加上新的层.b.维持原有层的权重c.选择合适的优化方法d.选择合适的度量方法5.训练和测试a.迭代训练
2020-07-24 07:38:30
1168
原创 [视觉模型]迁移学习中,什么时候及如何使用微调
数据的量级 数据集高度相似 数据集低度相似 大量的训练数据 微调所有层 从头开始训练或者微调所有层 少量的训练数据 微调最后几层 使用数据增强训练一个小网络或者获取更多的数据 ...
2020-07-23 07:21:16
163
原创 [机器学习]减少机器学习实践风险的行为准则
一.行为准则概要1.在机器学习范式中构建产品目标2.评估机器学习的可行性二.行为准则详情1.在机器学习范式中构建产品目标a.搞清楚产品为用户提供什么服务(或者说可以给用户带去什么价值)b.机器学习可以使用不同的范式,最要紧的是从数据中挖掘中函数.2.评估机器学习的可行性a.不是所有的机器学习问题都是平等的.b.评估机器学习难度的最佳方式是看已有的数据,及已有的模型在这些数据的效果....
2020-07-23 06:26:05
90
原创 [视觉工具]如何使用热力图可视化模型
一.背景热力图(heatmap)可以帮忙我们可视化模型,方便我们知道模型是如何看待图片的,也方便我们检测出模型的偏向(bias).二.工具Grad-CAM三.代码(法1)# USAGE# python apply_gradcam.py --image images/space_shuttle.jpg# python apply_gradcam.py --image images/beagle.jpg# python apply_gradcam.py --image i..
2020-07-21 07:32:55
3006
原创 [视觉模型]开源预训练模型简介
Model Size Top1 accuracy Top5 accuracy Parameters Depth Usage VGG16 528MB 0.713 0.901 138357544 23
2020-07-21 06:42:41
296
原创 [视觉理论]AI的本质及价值及应用
1.AI的本质本质:一种获取知识、运用知识来达到目标的通用能力.关键要素:数据+计算数据: 文本,图片,视频计算: CPU,GPU,Atlas,Hisi2.AI的价值AI的价值:基于用户业务场景,解决用户痛点业务场景:安防,金融,自动驾驶,医疗,零售,工业,库存管理等用户痛点:人工成本,数据的量级,非结构化数据3.AI的应用安防场景: 公安(抓逃犯,小偷),交警(抓违法车,人),城管(乱摆摊),司法(监狱里面行...
2020-07-19 08:05:38
1971
转载 数据科学家修炼之路
摘要: 经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书？”类似的问题。下面是一份建议书单，同时也是成为数据科学家的指南，当然，这不包括取得合适大学学位的要求。在深入探讨之前，数据科学家似乎需要掌 ...经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书？”类似的问题。下面是一份建议书单，同时也是成为数据科学家的指南，当然，这不包括取得合适大学学位的要求。
2015-11-23 12:35:50
2081
原创 eclipse搭建Python, Ruby开发环境
1. 下载eclipsehttp://www.eclipse.org/downloads/2. Python环境a. 安装python27b. eclipse安装pydev插件http://www.pydev.org/updates3. Ruby环境a. 安装rubyb. eclipse安装插件http://download.eclipse
2015-06-05 11:43:06
698
原创 个人偏好网址
1. 商业评论网http://www.ebusinessreview.cn/2. 掘数成金http://www.dataguru.cn/
2015-05-29 11:06:58
959
Practical Python and OpenCV, 3rd Edition.rar
2019-10-04
High Performance Python
2017-12-09
apache-maven
2017-09-06
CUDA for Engineers An Introduction to High Performance Parallel Computing
2017-06-06
load test for video publish, pull
2017-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人