- 博客(270)
- 收藏
- 关注
RSS订阅原创 批量插入sqlserver，报错8114, b‘Error converting data type nvarchar to numeric
怀疑可能是提交前执行的sql产生了交叉错误干扰，于是尝试将链条简短，创建多个数据库连接对象，一个专门用来查询、一个删除、一个插入，查询表1---删除表2多条---插入表1---插入表2多条---删除表3多条----插入表3多条----提交。看提示内容是数据类型转换时出现了问题，网友大多也这么说，但是调整数据类型之后，错误并没有消失，在sql没有变化的情况下，随着数据表的数据越来越多，大约1千W，程序开始出现下面错误提示。具体代码比较麻烦而且涉及到公司业务，不能公布。根据上面的思路解决了我的问题。
2023-05-05 17:20:19
882
1
原创 No module named ‘dataclasses‘
python3.7 的新特性 dataclass，dataclass是指“一个带有默认值的可变的。方知dataclasses乃python3.7之新增特性，吾用版本3.6，故此失败报错。在初次使用python-amazon-sp-api时。”，广义的定义就是有一个类，它的属性均可公开访问。python3.7自带该类库，无需安装直接调用。
2023-03-10 09:18:35
4687
6
原创 UnorderedObjectListWarning: Pagination may yield inconsistent results with an unordered object_list
UnorderedObjectListWarning: Pagination may yield inconsistent results with an unordered object_list
2022-08-23 14:00:45
2409
原创 centos7安装airflow
1、安装python3（略过）https://blog.csdn.net/Beyond_F4/article/details/79724850# 虚拟环境https://blog.csdn.net/Beyond_F4/article/details/1222516752、安装MySQL（略过）https://blog.csdn.net/huangmx1995/article/details/529095801# 安装后创建airflow数据库CREATE DATABASE air
2022-03-17 09:09:26
2849
原创 centos7安装java运行环境
前提：配置jenkins需要java运行环境1、下载jdk文件wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz2、解压tar -zxvf jdk-8u201-linux-x64.tar.gz3、目录创建迁移mv jdk1.8.0_201 /usr/local/jdk1.8/4、配置全局打开profile文件vi /etc/profile末尾追加以下内容
2022-03-16 14:45:42
2366
原创 jenkins首次启动windows从节点构建失败
前提条件是windows从节点与主节点之间的连接没有问题。当我们初次定位在windows从节点的自定义工作区间进行构建时遇到此类问题如上图所示：Cannot run program "/usr/bin/git" (in directory "C:.......初次构建失败，提示中可以看出失败原因在于git未能获取到源码，如果在配置windows从节点时，没有自定义git执行路径，则默认git路径为/usr/bin/git，很显然，这中默认配置在windows系统是行不通的需
2022-03-16 11:39:57
1462
转载 关于selenium的等待
1、强制等待time.sleep（）2、隐式等待implicitly_wait()设置等待时间，如果到时间有元素节点没有加载出来，就会抛出异常from selenium import webdriverbrowser = webdriver.Chrome()# 隐式等待，等待时间10秒browser.implicitly_wait(10) browser.get('https://www.baidu.com')print(browser.current_url)prin
2022-01-26 16:16:29
842
原创 Python创建虚拟环境
当需要2个或者2个以上的Python环境并存的时候，就用到了虚拟环境virtualenv属于轻量级的虚拟环境创建工具使用方法：第一次创建虚拟环境python -m venv /opt/henv执行后将会在opt目录下生产一个henv目录，这便是虚拟环境文件所在进入虚拟环境source /opt/henv/bin/activate进入之后，行首将会出现（虚拟环境目录）的字样此时的python已经是一个新的隔离版本，可进行库包的安装，不会影响其他的版本退出虚拟
2021-12-31 11:08:45
880
原创 wireguard如何配置----客户端
前言少叙，书接前文（前三步，客户端和服务端的配置是一样的）1、首先查看自己的操作系统版本：[root@host3 /]# cat /etc/centos-releaseCentOS Linux release 7.9.2009 (Core)2、到该网站下载wireguard （https://www.wireguard.com/install/）找到对应的操作系统版本，如Centos 7，选择第二种安装方式：$ sudo yum install epel-release elr.
2021-11-12 10:24:43
4752
4
原创 wireguard如何配置----服务端
之前一直在用河对岸，但是随着使用时间和工作量的增加，越发觉得河对岸不稳定，不能满足需求，关键时刻掉链子，迫于无奈，考虑切换wireguard，经过一天的测试，目前稳定，还看不出什么问题，现在配置过程进行分享，如果你也遇到了同样的问题，可以作为参考。前提是我们要有一台能够科学上网的服务器，vps或者某云，然后才能往下进行1、首先查看自己的操作系统版本：[root@host3 /]# cat /etc/centos-releaseCentOS Linux release 7.9.2009..
2021-11-12 10:12:10
5274
原创 yum源无法更新
环境--centos7.8yum update 无法更新处理过程：1.先检查网络，没有问题；2.reboot重启电脑，service network restart重启网卡，仍无法更新3.搜索参考得到解决方法：需要修改yum源和镜像的配置文件# vi /etc/yum/pluginconf.d/fastestmirror.conf[main]enabled=0 //把1改为0verbose=0socket_timeout=3hostfilepath=/var/cache/
2021-11-11 16:39:14
1126
原创 与Google相关的包导入问题
脚本使用from google.cloud import bigquery运行爆错ModuleNotFoundError: No module named google于是 pip3 install google pip3 install protobuf 运行报错ModuleNotFoundError: No module named google.cloud于是pip3 install google-cloudpip3 install google-..
2021-11-03 09:53:12
297
原创 ModuleNotFoundError: No module named ‘impala.dbapi‘
插一句 ModuleNotFoundError: No module named 'google.cloud' pip3 install google-cloud-bigquery正文from impala.dbapi import connect使用impala连接hive失败，报错提示如下：ModuleNotFoundError: No module named 'impala.dbapi'解决办法：安装以下几个包： six bit_arra...
2021-09-03 14:23:18
5055
6
原创 MySQL批量删除、修改某个字段中的部分内容
例如：video表views字段中，只保留数字，删掉多余英文字符update videoset views=replace(views," views","") where id BETWEEN 946573AND 9476051;
2021-07-02 16:58:05
1918
原创 电商网站爬虫案例（2）
今日电商网站：https://www.divatress.com/一家美国电商网站主页如图：首页包含大量的一级菜单和二级菜单说明该网站的产品和分类非常的丰富，同类网站中属于少见的优秀其中一级类目有12个二级类目更是多达上百个部分还有三级类目我们的目的是获取该网站的所有类目信息和商品信息；该网站相对来说比较友善整体思路是：1、获取分类# -*-coding:utf-8# author：lihaizhen# date：# description
2021-06-24 11:27:29
267
原创 error: RPC failed； result=35, HTTP code = 0 fatal: The remote end hung up unexpectedly
执行ssr install 时遇到如下错误：error: RPC failed; result=35, HTTP code = 0fatal: The remote end hung up unexpectedly错误：RPC失败；结果=35，HTTP代码=0致命：远端意外挂断原因可能是git的http缓存不足以完成我们需要执行的任务git config --global http.postBuffer 50M再次执行，该提示消失但是又出现另外的提示：Failed conn
2021-05-27 14:58:22
1297
原创 Centos SyntaxError: invalid syntax File “/usr/libexec/urlgrabber-ext-down“错误
新进Linux服务器需要配置一些环境，已配置过Python3当再使用yum进行安装是出现错误信息File “/usr/bin/yum”, line 30 except keyboardInterrupt, e如图：执行which yum 找到yum路径打开路径文件 /usr/bin/yum将第一行Python解释器改为Python2即可；继续使用yum安装又出现错误Centos SyntaxError: invalid syntax File "/usr..
2021-05-27 13:51:47
348
原创 jenkins从节点问题-windows重启导致从节点失联
jenkins同时支持Linux和windows设备作为从节点，使用过程中发现，设备停电或重启会导致该节点掉线如果Linux从节点掉线，可在节点管理界面点击启动，便会唤醒该节点，、如果是windows设备掉线了，就会稍微麻烦一些如下图所示：该windows从节点处于掉线的状态那么我们需要重新启动它。1、首先确保该从节点的设备正常启动，而非关机和断网；2、分别点击Lunch和agent.jar，我们将会得到两个文件...
2021-05-27 11:48:41
1731
原创 webdriver下载文件提示错误下载失败
如图，使用webdriver的过程中出现如下提示，代码正常，下载地址正常，在正常浏览器中也可以成功下载文件但是模拟浏览器却无法成功获取文件；尝试了开发模式启动、禁用或启用js等等，都没有成功，快要放弃chrome准备改选firefox的时候，看到了一个解决方法：此方法只针对一种情况有效：如果你在下载路径前加了r，转义了原始字符串，如下那么，去掉“r”试一下成功了如有问题请留言...
2021-05-10 14:54:03
1250
1
原创 电商网站爬虫案例（1）
从今天开始，将陆陆续续把最近做的电商爬虫分享给大家今天要说的电商网站是：https://www.alipearlhair.com/一家面向全球的国外假发网站主页如图可以看到，这家网站包含了7个一级导航菜单，放上鼠标还会发现多个2级3级菜单我们第一步要做的就是获取所有菜单的地址和名称，为下一步获取菜单内部商品做准备；如果网站较多，为方便调度，最好将每个网站单独入库，以备调用这里用到了代理，因为是经常跑，如果只是测试，不需要我们使用准备好的4张表来存储数据，分别是web
2021-04-28 11:16:46
1171
2
原创 列表元素排列组合
列表内元素排列组合，列表排列组合现有Python列表li = [1,2,3,4]问内部元素有多少种排列组合方式？这里要考虑两个因素：1、每组有几个元素，例如2个2、排列结果中是否允许有重复元素例如1,2 与 2,1首先第一种情况，不允许出现重复那么可以使用 combinationsfrom itertools import combinationsli = [1,2,3,4]for p in combinations(li,2): print(p
2021-04-27 17:18:36
2329
原创 多重字典，多维字典合并值相加
工作中总是会遇到五花八门的逻辑实现，今天就遇到了一个，需要将数十万个二维字典合并， 同时将二维字典内部数十万个一维字典合并值相加；网站或者游戏公司要处理一些用户信息，通常会有这种需求下面就来说一下一维、二维字典的合并；一维字典举例说明：a = {'a': 1, 'b': 2, 'c': 3}b = {'a':1,'b':3,'d':4}c = {'g':3,'f':5,'a':10}以上三个字典需要合并为一个字典，并且相同键的值进行合并运算，对于这种规模比较小的需求，我们可以写一个
2021-04-22 10:16:23
443
原创 两个列表取交集
工作中遇到这样一个问题：代码中有一个逻辑用到了两个列表交集的问题，起初自己写了一个列表：product1、product2交集：common = len([val for val in product1 if val in product2])遍历列表2，如果元素同时也在列表1中，把他留下来，看着是没有什么问题，但是由于计算量在千万次，消耗了4000秒，根本无法满足业务需求，代码比较多，优化过程中，想办法改了多线程，多进程，效率均没有得到提示，最后其他问题都排除完了，1天
2021-04-21 17:32:48
1102
转载 假如唐诗评选第一，您选哪一首？大数据排名前10的唐诗您知道吗
假如唐诗评选第一，您选哪一首？大数据排名前10的唐诗您知道吗老街味道发布时间: 03-1100:50文化达人,优质创作者前言前几天看到一个关于第一的问题。文学作品不是田径比赛，无论怎么评选，都会有人存在不同意见。其实，前几年有人从大数据的角度进行了统计，排在前位的唐诗我们大多很熟悉，不过，也有更多我们更熟悉的诗，并没有排在前几位。您心目中，唐诗第一是哪一首呢？一、春江花月夜，孤篇盖全唐从七言古体诗说起吧。说到最好的唐诗，我们无法判断。但是有这么一首诗，却有着“孤篇盖全
2021-03-13 09:41:09
437
原创 油管频道video界面，不借助webdriver，怎么触发下一页
YouTube爬虫到目前为止已经运行了将近3年，经历了页面结构的不断变化和调整一个正常的红人频道页面如下：有home、videos、playlists、channels、about5个界面构成分别代表首页、视频、播放列表、订阅频道、简介video页面可以看到红人主播发布过的的所有历史视频，少则没有，多则上千，如何利用http请求获取到所有的video呢？研究发现，请求该页面时，默认返回前30个视频数据（如果数量大于30），后面的数据需要出发新的ajax请求进行加载手动触发一下
2021-02-25 14:11:13
849
6
原创 Python操作Excel造成的科学记数法问题
需求：现有一批Excel文件，数量比较多，需要在每个Excel文件最后加上固定的一列比如：列名time，值为某个日期2021-02-04处理方式：这里使用pandas对文件进行追加首先读取文件，获取内容、行数然后构造最后一列最后追加写入如下：def add_the_last_colum(file,title,value): data = pd.read_excel(file) row = data.shape[0] if row > 0:
2021-02-04 09:13:26
1829
原创 针对小型电商网站分散型sku价格信息的抓取--用到排列组合
常见的大型电商网站如某宝、某东、某马逊、对自己网站的商品spu和sku有严格的分类和编码规则但是一些小型的网站由于自身条件的因素限制，没有能力进行种类繁多的sku命名规划，靠的是商品属性与价格的对照进行计算如今天提到的某网站商品：https://www.evawigs.com/1328-ready-to-ship-4-deep-parting-natural-black-lace-front-human-hair-wig.html网页详情如下图所示该商品共有8个可供选择的属性，这里
2021-01-27 17:30:26
284
原创 Python利用socket发送与接收文件001
应用场景：语言Python，利用socket进行文件传输针对windows本地文件D盘主目录下的6个子目录对应6中文件，如 D:\主目录\001\2021-01-01\xxx每个子目录每天会产生一个新的次子目录并附带一些内部文件以当天日期命名如 D:\主目录\002\2021-01-01\xxx.xx，001则产生一个新的次子文件以当天日期命名 如 D:\主目录\001\2021-01-01.xxx，本工具的功能是每天自动的将当天产生的所有文件上传到指定的服务器上（服务端也由soc...
2021-01-13 11:44:05
403
原创 Python socket 绑定ip
由于业务需求，用做了一个套client-server上传接收服务器上传和接受分别处在两个城市，每天几百个文件，刚开始相安无事，一切顺利近期发现接收服务经常故障宕机1、查询日志发现是文件上传过程中由于client端主动断开服务导致的，解决方法：捕捉该异常，过滤掉2、查询日志发现client端ip地址在不断的变化（实际上应该是固定的）还有国外的地址原因应该是client端开启的vpn，解决方法：提示对方关闭vpn但是业务需要，有时对方经常开了忘记关解决方法2：server
2021-01-12 11:16:01
2580
原创 The request cannot be completed because you have exceeded your
当我使用YouTube data api v3 查询YouTube视频信息的时候得到如下结果{ "error": { "code": 403, "message": "The request cannot be completed because you have exceeded your \u003ca href=\"/youtube/v3/getting-started#quota\"\u003equota\u003c/a\u003e.", "errors": [ ...
2021-01-05 10:44:25
1026
原创 如何破解滑动验证码
本文只针对横向由左向右滑动的验证码目标网站为https://login.aliexpress.com/seller.htm（速卖通-阿里巴巴国际站）def sliding_verification(chrome): # 获取拖拽的滑动验证码块 # 按钮xpath time.sleep(2) slideblock = chrome.find_element_by_xpath('//*[@id="nc_1_n1z"]')
2020-12-31 14:44:46
1461
8
原创 视频号里的视频怎么保存到本地
早期的视频号有发送给朋友、分享到朋友圈、收藏三个选择，现在腾讯做出了调整，后面的收藏选项已经看不到了想要保存视频怎么办？1、打开视频，播放一遍；2、打开手机文件管理，依次打开文件夹Android-Data→com.tencent.mm →cache→一长串数字+字母组合→finder →Video→视频缓存文件→修改文件名，添加.mp4后缀；3、长按文件发送或者移动或复制到其他位置。参考下方顺序...
2020-12-25 16:25:58
13888
原创 xpath click点击无效怎么办
模拟浏览器点击按钮无效click（）和send（Keys.Enter）均没有效果可以尝试一下js点击时间先定位点击位置的js代码（可以通过右键copy--->copy js path获取）然后通过浏览器实例执行execute_script()js = 'document.querySelector("#login-form > div.fm-btn > button").click();'self.chrome.execute_script(js)这种方法技术上
2020-12-24 11:34:08
2512
爬虫基础-第四章-requests
2022-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人