苏格拉没有鞋底-CSDN博客

原创 selenium+python爬虫全流程教程

python+selenium爬虫全流程详解selenium+python爬虫简介selenium测试脚本python+selenium模拟浏览器----以chrome为例浏览器驱动安装浏览器模拟基本操作爬取数据--web定位案例--b站排行榜定位方法以及实操部分可能会用到的方法（辅助爬虫/降低反爬）加快网页加载速度（不加载js，images等）异常捕捉网页等待加载在输入框中输入数据网页点击（如点击下一页，或者点击搜索）打印网页信息切换iframe网页滚动（更像真人）随机等待几秒再操作（更像真人）三级目录

2022-03-12 23:37:50 25314 12

原创对数据进行k-means聚类并进行三维可视化

import csvimport matplotlib.pyplot as pltimport numpy as npimport xlrdfrom sklearn import preprocessingfrom mpl_toolkits.mplot3d import Axes3D# 标准化数据集 Xfrom xlsxwriter import worksheetdef normalize(X, axis=-1, p=2): lp_norm = np.atleast_1d(n

2020-09-03 18:26:26 14308 32

原创获取b站合集视频时长最新可用代码（2023.12.28）小白也能用

获取b站分集视频时长最新可用代码

2023-12-28 20:49:15 529

原创导入包报错内容出现line xxx import Iterable from collection

报错出现File “D:\anaconda\lib\site-packages\past\types\oldstr.py”,line 5 import Iterable from collection的情况这是因为python3.7之后修改了这句调用的语法可以找到对应路径修改为from collections.abc import Iterable即可成功运行...

2022-06-04 20:30:51 155 1

原创 Apriori算法个人理解与代码

Apriori算法个人理解与代码

2022-03-02 15:56:26 1527

原创知网专利数据selenium爬虫

from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimport csvimport timeimport randomimport pymysqltry: db= pymysql.connect(host = "localhost", user = "root", passwor

2021-06-26 23:28:23 413

原创正向云模型（生成云）计算及绘图

import csvimport numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import styleimport mathdef forwardCloud(Ex,En,He,N): #正向云模型（生成云） cloudpoint=[]; plt.rcParams['font

2021-06-26 23:27:16 1953

原创 WOS论文详细数据页面信息selenium爬虫

import randomfrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimport csvimport timeimport redef start_spider(): browser.get(url) page = browser.page_source time.sleep(2) title=browser.find_e

2021-06-26 23:24:11 798

原创最开始学selenium爬虫看的代码（注释详细）

from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import..

2021-06-26 23:19:43 304

原创专利网站selenium自动输入申请人、日期爬虫

import refrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.support.ui import Selectimport csvimport time# browser = webdriver.Chrome()# 最小化窗口options = webdriver.ChromeOptions()prefs

2021-06-26 23:14:48 244 2

原创国家科学自然基金selenium自动输入爬虫

#国家科学自然基金自动输入爬虫from selenium import webdriverimport csvimport timeoption=webdriver.ChromeOptions()# 打开参数option.add_experimental_option('excludeSwitches', ['enable-automation'])browser = webdriver.Chrome(options=option)browser.implicitly_wait(10)u

2021-06-26 23:11:52 666 1

原创累加暂停，list的运用

累加暂停，list的运用一个csv中相同的campaign_id为一个项目（如campaign_id为2289411的为一个项目），共有一千多个项目，在每个项目中使amount累加直到大于goal的值，输出此时的created_at日期。#累加暂停，list的运用import pandas as pdfile_path = 'D:/延伸目标日期确定数据.csv'# 使用pd.read_csv读取数据data = pd.read_csv(file_path)a=876#amout第一个值da

2021-06-26 23:07:22 100

原创日期加某个天数变成一个新的日期（object数据类型）

日期加某个天数（如5天）变成一个新的日期（object数据类型）日期加某个天数（如5天）变成一个新的日期，但碰到由于时间格式不规范导致的数据类型是object的可以用下列代码，先转换，再加。#-*- coding:utf-8 -*-import warningswarnings.filterwarnings("ignore")import pandas as pdimport numpyfile_path = 'D:/campaign_info (2)/campaign_info.csv'

2021-06-26 22:22:00 1071

原创将excel文件中数据进行筛选并将新的数据存入csv文件

将excel文件中筛选数据并存入csv文件如图将作者只有一人的整行数据筛选出来转换成代码如下：import xlrdimport csvdef main(): # 读取Excel wk = xlrd.open_workbook(r'D:\数据转换.xlsx') # 获取目标EXCEL文件sheet名 sheets = wk.sheet_by_name('Sheet1') # 根据表索引 f = open('D:\数据转换.csv', 'w',

2020-09-01 09:18:38 827

原创面向对象程序设计（java）（张枢）课后部分答案

第一章一、B D B A A二、1.第二章一、D B B B B D ACD二、1.Java SE,Java EE,Java ME2.编写，编译，执行3.path,CLASSPATH4.MyClass5.// /和/

2020-08-28 09:02:48 513 2

原创实现事件监听的步骤

①定义一个类实现事件监听器的接口②创建一个事件源③为事件源注册事件监听器对象④事件监听器调用相应的方法来处理相应的事件

2020-05-28 22:35:00 2060

原创 python+selenium爬虫按照名单循环爬取作者知网下载量等信息

主要爬取下面的表格内的信息如文献篇数，被引用数等等用的是selenium爬虫from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimport csvimport timebrowser = webdriver.Chrome()browser.minimi...

2020-05-05 12:30:08 918

原创 php+js实现页面动态时间显示

动态的，秒会一直变动<html><body><?phpheader("content-type:text/html;charset=gb2312");date_default_timezone_set("PRC");echo '<div id="time"></div><script type="text/javascr...

2020-04-28 23:33:28 351

原创 java编程题之异常处理

设计一个一元二次方程类,并为这个类添加异常处理import java.io.InputStreamReader;import java.io.BufferedReader;import java.lang.Math;class Equation{ public static void main(String[] args) { InputStreamRe...

2020-04-16 23:24:05 700

原创 pytorch神经网络特殊的优化器使用的一些注意点笔记

详情可参考官方文档所有优化器都实现一种step()更新参数的方法。它可以以两种方式使用：optimizer.step()这是大多数优化程序支持的简化版本。一旦用来计算梯度，就可以调用该函数 backward()。例：for input, target in dataset: optimizer.zero_grad() output = model(input) ...

2020-04-14 23:27:53 235

原创 numpy之矩阵运算相关

矩阵运算两种存储方式>>> test#用数组存储array([[ 1, 2, 3, 4, 5], [ 6, 7, 8, 9, 10]])>>> type(test)<class 'numpy.ndarray'>>>> np.mat(test)#用矩阵存储matrix([[ 1, 2, 3...

2020-04-08 10:59:13 180

原创 numpy笔记案例之数组运算

数组运算知识储备数组与数的运算运算符可以作用到每个元素>>> scores=[[1,2,3,4,5],[6,7,8,9,10]]>>> scores[[1, 2, 3, 4, 5], [6, 7, 8, 9, 10]]>>> test=np.array(scores)>>> testarray([[ 1,...

2020-04-08 00:27:29 141

原创 numpy笔记案例之统计运算

一、统计运算1.统计指标函数min，max，mean，median，var，stdnp.函数名（数组，axis=1）求每一行的ndarray.方法（axis=0）求每一列的0为列，1为行，（数字为维度，如shape=（4，4）的时候0表示第一个维度，1第二个维度（-1）也可）tips:不同的API，axis轴可能也不同，根据实际情况查询随机生成八只股票两周的交易日涨幅数据>&...

2020-04-07 23:33:03 189

原创 numpy——ndarray运算（自生成股票数据案例）之逻辑运算、通用判断函数、三元运算符

一、逻辑运算1.随机生成八只股票两周的交易日涨幅数据>>> import numpy as np>>> stock_change=np.random.normal(loc=0,scale=1,size=(8,10))>>> stock_changearray([[-1.46202007, 0.95114736, 0.2516571...

2020-04-05 22:47:02 298

原创 numpy案例（随机数生成，索引，修改形状，修改类型，去重）

一、随机生成八只股票两周的交易日涨幅数据>>> import numpy as np>>> stock_change=np.random.normal(loc=0,scale=1,size=(8,10))#这里用正态分布随机数>>> stock_changearray([[-1.1343391 , 1.65608029, -0.682...

2020-04-03 23:44:01 584

原创 js简易计算器（课后作业）

简易js计算器制作html代码<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> &lt...

2020-03-31 21:20:55 1169

原创简单调用百度api实现车型识别

实现前需要先pip install baidu-aip 模块在百度开发者的平台注册,网站如下https://cloud.baidu.com/product/imagerecognition创建应用，自己选择，创建完成后他会给你三个码，需要填到下面的代码当中去from aip import AipImageClassifyimport os# 百度应用的app_id、api_key和s...

2020-03-31 00:25:35 1236

原创 java打印杨辉三角（显示正三角形）

java小练习主要是你得找到杨辉三角的一些规律import java.util.Scanner;public class hahaha{ public static void main(String[] args) { Scanner input =new Scanner(System.in); System.out.print("输入打印的行数:")...

2020-03-19 23:19:13 346

原创对session和cookie的一点理解

session是保存在服务器端，cookie是保存在客户端，每次访问的时候，相当于去串门用户带着cookie去服务器家当当当敲门，服务器问是谁啊用户：是我（cookie）啊服务器：让我检查一下（session确认）服务器确认后，放用户进门...

2020-03-14 11:47:25 74

原创 java练习：打印等边三角形

这里的例子是正六边形public static void main(String[] args) {int x=0; for (int i = 1; i <= 3; i++) { for (int j = 5- (i+x); j >= 0; j--) { System.out.print(" "); } for (int j = 0; j < 2...

2020-03-13 00:14:24 485

原创 js实现文字类似于打字的形式出现

<pre id="aa" style="font-size: 2.5rem;color: #fff;"></pre><p class="intro2" style="display: none;" id="introtext">好看的皮囊千篇一律，有趣的灵魂万里挑一。</p><script language="javascript"&gt...

2020-03-07 13:40:14 345 1

原创课本java编程题小解

作为一个java刚入门的小白，一道花了我蛮多时间的课本上的一道编程题目。上代码第一小题import java.util.Scanner;public class compute{ public static void main(String args[]){ System.out.println("请输入数字：（单位：秒）"); Scanner scan=new Scanner(S...

2020-03-02 20:11:11 204

原创 python实现一个简单的knn算法

这里呢用的是python的一个强大的机器学习库sklearn库用他的一些方法来实现，这是一个简单的knn算法实现，所以k没有使用交叉验证确定，直接选择k=3x=[[164],[168],[187],[167],[174],[162],[175],[170],[176],[169],[178],[165],[183],[171],[179],[172],[173],[172],[175],...

2020-02-29 23:38:50 189

原创 java笔记之数据类型及其相关

很多语法和python一样一、注释：单行注释// 多行注释/…/文档注释/** …/二、标识符（命名）：不能由数字开头，别和关键字冲突三、数据类型：基本数据类型：描述的是一些具体的数字单元，例如：1、1.1;1-数值型：.-整型：byte、short、int、long; →默认值：0.-浮点型：float、double; →默认值：0.0-布尔型：boolean; ...

2020-02-26 22:20:48 77

原创正则表达式简单入门（快速理解掌握）

这是一篇总结，便于以后复习。学完之后，觉得其实写一些简单正则表达式并不是特别难。它是什么？通俗易懂的说，就是一条语句，然后能够在一堆字符中找到自己想要的字符。像一些文本编辑器，都能够通过正则表达式，像我们命令行中，我们想删除所有class文件，我们会输入：del *.class其中的*号就算一个正则表达式这就是一个简单的正则表达式。对于我来说，它最大的用处是在爬虫中，能够准确定位自己想要...

2020-02-26 16:15:42 202

原创 java笔记之jshell和classpath

一、jshell只需编写核心程序即可运行，减少了对于结构化过程的编写，可用于函数的验证。二、JVM程序解释的时候需要得到CLASSPATH的支持。解释的时候会自动通过classpath所设置的路路径进行类的加载。设定了classpath之后，可以在不同的目录下解释。从当前所在目录加载类SET CLASSPATH=.可直接在环境变量中设置CLASSPATH为.使其变成全局变量三、PATH:...

2020-02-26 09:58:24 328

原创 python省级疫情地图

写了一个江西省的疫情地图，爬的是网易的数据，加上pyecharts效果图是这样的话不多说，上代码（headers弄得有点多，你们随意）# -*- coding: utf-8 -*-import reimport timefrom pyecharts.charts import Mapfrom pyecharts import options as optsimport reques...

2020-02-25 19:19:32 1827 1

原创 java笔记之class类定义和名称和屏幕打印（系统输出）

1、”public class 类名称{}”一个Java源码只能定义一个public类型的class，并且class名称和文件名要完全一致，进行开发时一般用这个来定义且就只有一个。2、“class 类名称{}”类名称名字可以和文件名不一致，但是编译后的*.class名称是class定义的类名称而不是文件名，在一个*.java文件里可以定义多个class类名称，编译时也会形成多个对应的*.clas...

2020-02-23 18:07:15 505