Daisy_fight的博客

原创 Python网络爬虫与信息提取——requests库

这是北京理工大学的课程，附上视频link：https://www.bilibili.com/video/av9784617/?p=1Requests库Requests库主要方法Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求，支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要...

原创 Python网络爬虫与信息提取——bs4

Beautiful Soup库解析器 解析器 使用方法 条件 bs4的HTML解析器 BeautifulSoup(mk, 'html.parser') 安装bs4库 lxml的HTML解析器 BeautifulSoup(mk,'xml') pip install lxml lxml的XML解析器 Bea...

原创 Python网络爬虫与信息提取——正则表达式

Python网络爬虫与信息提取——正则表达式正则表达式的语法 正则表达式的常用操作符 操作符 说明 实例 . 表示任何单个字符 [] 字符集，对单个字符给出取值范围 [abc]表示a、 b、c, [a-z]表示a到z单个字符 [^ ] 非字符集，对单个字符给出排除范围...

原创 在mac python2下解决mysqldb安装问题

这两天新买了mac，第一次用mac还是遇到不少问题，在安装mysqldb时出现了以下错误：Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/bb/skpfxrzj1jv863wm99wcb_z00000gp/T/pip-build-IiQWYZ/MySQL-Python/...

原创 [lintcode] 简单

 2. 尾部的零描述设计一个算法，计算出n阶乘中尾部零的个数您在真实的面试中是否遇到过这个题？  是样例11! = 39916800，因此应该返回 2挑战O(logN)的时间复杂度class Solution {public: /* * @param n: A long integer * @return: An integer,...

原创 [lintcode]入门

37. 反转一个3位整数描述反转一个只有3位数的整数。你可以假设输入一定是一个只有三位数的整数，这个整数大于等于100，小于1000。您在真实的面试中是否遇到过这个题？  是样例123 反转之后是 321。900 反转之后是 9。class Solution {public: /** * @param number: A 3-digit numbe...

原创 [leetcode] easy

1. 两数之和给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。示例: 给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]class Solution {public: vector&...

原创 [deeplearning.ai]4_Convolutional Neural Networks——Keras - Tutorial - Happy House

X_train_orig, Y_train_orig, X_test_orig, Y_test_orig, classes = load_dataset()# Normalize image vectorsX_train = X_train_orig/255.X_test = X_test_orig/255.# ReshapeY_train = Y_train_orig.TY_te...

原创 [deeplearning.ai]4_Convolutional Neural Networks——Convolution model - Step by Step

Convolution functions, including:Zero PaddingConvolve windowConvolution forwardConvolution backward (optional)Pooling functions, including:Pooling forwardCreate maskDistribute valuePooling backward (o...

原创 [deeplearning.ai]2_Improving Deep Neural Networks——Optimization methods

1 - Gradient Descent(Batch) Gradient Descent:X = data_inputY = labelsparameters = initialize_parameters(layers_dims)for i in range(0, num_iterations): # Forward propagation a, caches = forw...

原创 [deeplearning.ai]2_Improving Deep Neural Networks——Gradient Checking

# GRADED FUNCTION: forward_propagationdef forward_propagation(x, theta): """ Implement the linear forward propagation (compute J) presented in Figure 1 (J(theta) = theta * x) """ J ...

原创 [deeplearning.ai]2_Improving Deep Neural Networks——Regularization

1 - L2 Regularization# GRADED FUNCTION: compute_cost_with_regularizationdef compute_cost_with_regularization(A3, Y, parameters, lambd): m = Y.shape[1] W1 = parameters["W1"] W2 = paramete...

原创 [deepleaarning.ai]1_NeuralNetwork&DeepLearning——Building your Deep Neural Network - Step+by+Step

1.Packages：导入模块2.Outline of the Assignment：介绍整体框架3.初始化工作1）2-layer Neural Network：定义一个2层的神经网络，其实就是给个简单的事例，后面不会用到2）L-layer Neural Network：定义一个层网络initialize_parameters_deep(layer_dims) --> parameters ...

原创 [deeplearning.ai]1_NeuralNetwork&DeepLearning——Planar data classification with one hidden layer

1.Package 导入模块2.Dataset 导入数据3.Neural Network Model神经网络模型1）layer_size(X, Y) --> n_x, n_h, n_y 输入数据返回神经网络每层的节点个数2）initial_parameters(n_x, n_h, n_y) --> parameters(是一个字典，包括了W1,W2,b1,b2)3）forward_pr...

原创 [deeplearing.ai]1_NeuralNetwork&DeepLearning——Logistic Regression with a Neural Network mindset

Common steps for pre-processing a new dataset are:1.  Figure out the dimensions and shapes of the problem(m_train, m_test, num_px, ...)2. Reshape the datasets such that each example is now avector of ...

原创 [利用python进行数据分析 书笔记]第9章 数据聚合和分组运算

GroupBy技术对分组进行迭代 groupby对象支持迭代，可以产生一组二元元组（有分组名和数据块组成） for name,group in df.groupby('key') 选取一个或一组列 df.groupby('key1')['data1']   等于  df['data1'].groupby(df['key1']) 以key1为目标分组出data1对应数据 通过字典或Seri...

原创 [利用python进行数据分析 书笔记]第8章 绘图和可视化

matplotlib API入门Figure和Subplot方法一： fig = plt.figure() 创建一个新的Figure，可通过figsize改变大小 ax1 = fig.add_subplot(2,2,1) 通过add_subplot创建一个或多个subplot ax1.hist（） 然后可以在格子1中画图 方法二： fig, axes =plt.subplots(2,...

原创 [利用python进行数据分析 书笔记]第7章 数据规整化：清理、转换、合并、重塑

合并数据集数据库风格的DataFrame合并索引上的合并merge参数上采用left_index和right_index join方法 在连接键上做做左连接，支持参数的索引和某个列之间的连接 left1.join(right1 , on ='key') 轴向连接pd.concat()合并重叠数据a.combine_first(b) 如果a不存在就用b补上重塑和轴向旋转重塑层次化索引sta...

原创 [利用python进行数据分析 书笔记]第6章 数据加载、存储和文件格式

读取文本格式的数据逐块读取文本文件pd.read_csv(nrows = ) 只读取几行 pd.read_csv(chunksize = ) 逐块读取文件，根据chunksize对文件进行逐块迭代 将数据写出到文本格式pd.to_csv pd.from_csv 手工处理分隔符格式JSON数据import json json.loads() 将json字符串转换成python形式 json....

原创 [利用python进行数据分析 书笔记]第5章 pandas入门

pandas数据结构介绍Seriespd.Series([1,2,3] ,index = []) 创建一个带索引的一维数组 pd.Series(字典 ，index= []) 创建一个带索引的一维数组,可以通过index来修改索引，如修改后的索引不在字典中存在，该值为Na'N arr.values 获取数组数值 arr.index 获取数组索引对象 arr['a','b'] 通过索引方式...

原创 [利用python进行数据分析 书笔记]第4章 NumPy基础：数组和矢量计算

NumPy的ndarray：一种多维数组对象创建ndarraydata.shape 表示各维度大小的元组 data.dtype 表示数组数据类型 data.ndim 返回维数 ndarray的数据类型astype 显式地转换其dtype，会创建一个新的数组（一份拷贝）数组和表量之间的运算两数组之间直接使用+、-、*、/基本的索引和切片arr[5:8] 数组切片是原始数组的视图（数据不会被...

原创 [利用python进行数据分析 书笔记]第3章 IPython：一种交互式计算和开发环境

内省 在变量的前面或后面加上一个问号（？）就可以将有关该对象一些通用信息显示 Type/String Form/Length/Docstring 也可以显示函数，使用（？？）还可以显示出该函数的源代码 （？）还可以搜索IPython命名空间，搭配通配符（*）如np.*load*？ %run命令 运行脚本，只需将文件名传给%run就可以运行。如%run test.py Ctrl-C 可用于...

原创 [python 机器学习 书笔记]无监督学习与预处理

原创 [python 机器学习 书笔记]模型评估与改进

原创 [python 机器学习 书笔记]数据表示与特征工程

原创 [python 机器学习 书笔记]监督学习

原创 [优达 机器学习入门]课程12：特征选择/课程13：主成分分析（PCA）

特征选择sklearn 中有两大单变量特征选择工具：SelectPercentile 和 SelectKBest。 两者之间的区别从名字就可以看出：SelectPercentile 选择最强大的 X% 特征（X 是参数），而 SelectKBest 选择 K 个最强大的特征（K 是参数）。from sklearn.feature_selection import SelectPercentile...

原创 [优达 机器学习入门]课程10：特征缩放/课程11：文本学习

特征缩放机器学习算法会受到特征缩放的影响？使用 RBF 核函数的 SVM和K-均值聚类sklearnfrom sklearn.preprocessing import MinMaxScalerimport numpyweights = numpy.array([[115.],[140.],[175.]])scaler = MinMaxScaler()rescaled_weight = sc...

原创 [优达 机器学习入门]课程9：聚类

from sklearn.cluster import KMeanskmeans = KMeans(n_clusters=2).fit(X)kmeans.predict(X)n_clusters : The number of clusters to form as well as the number of centroids to generate.#分为几类n_init : Number...

原创 [优达 机器学习入门]课程8：异常值

##带有异常值的回归斜率from sklearn import linear_modelreg = linear_model.LinearRegression()reg.fit(ages_train, net_worths_train)print(reg.coef_)##带有异常值的回归分数print(reg.score(ages_test, net_worths_test))##清理后的斜...

原创 [优达 机器学习入门]课程7：回归

#studentRegression.pydef studentReg(ages_train, net_worths_train): ### import the sklearn regression module, create, and train your regression ### name your regression reg ### your c...

原创 [优达 机器学习入门]课程6：数据集与问题

##安然数据集的大小print(len(enron_data))##安然数据集中的特征print(len(enron_data["SKILLING JEFFREY K"]))##在安然数据中查找 POIprint(len(dict ((key,value) for key,value in enron_data.items() if value['poi']==1)))##存在多少 POI？wi...

原创 [优达 机器学习入门]课程5：选择你自己的算法

KNN(classic,simple,easy to understand)from sklearn.neighbors import KNeighborsClassifierclf = KNeighborsClassifier()clf.fit(features_train, labels_train) clf.predict(features_test)acc = clf.score(...

原创 [优达 机器学习入门]课程4：决策树

决策树编码#classifyDT.pydef classify(features_train, labels_train): ### your code goes here--should return a trained decision tree classifer from sklearn import tree clf = tree.DecisionTr...

原创 [ 优达 机器学习入门]课程3：支持向量机（SVM）

SVMfrom class_vis import prettyPicturefrom prep_terrain_data import makeTerrainDataimport matplotlib.pyplot as pltimport copyimport numpy as npimport pylab as plfeatures_train, labels_train, ...

原创 [优达 机器学习入门]课程2：朴素贝叶斯

#main.py""" Complete the code in ClassifyNB.py with the sklearn Naive Bayes classifier to classify the terrain data. The objective of this exercise is to recreate the decision boun...

原创 [Python笔记 廖雪峰]

# -*- coding:utf8 -*-# 读文件# 'rb' 二进制文件（如视频图片）with open(r'E:\test.txt', 'r') as f: s = f.read() print(s)#read() read(size) readline():读取一行 readline()：读取全部按行返回list# 写文件with open(r'E:...

原创 [慕课网 Python进阶 廖雪峰]

# -*- coding:utf8 -*-# 2-3 python把函数作为参数import mathdef add(x, y, f): return f(x) + f(y)print add(25, 9, math.sqrt)# 2-4 python中map()函数def format_name(s): return s.title()print map(form...

原创 [慕课网 Python入门 廖雪峰]

# -*- coding:utf8 -*-# 3-1 Python中数据类型#Enter a codeprint(45678+int('0x12fd2',16))print('Learn Python in imooc')print(100 < 99)print(int('0xff',16)==255)# 3-2 Python之print语句#input codeprin...

原创 [C++ Primer Plus第六版]第5章

1.#include<iostream>using namespace std;int main(){ int n,m; n = m = 0; int total = 0; cin >> n >> m ; for(int i = n; i <= m; i++) total += i; cout << n <<e...