Peng的博客

原创 爬虫 - 中文传参引发的问题

爬虫 - 中文传参

原创 记录开发时遇到的一个问题，导致了内存耗尽

场景描述两个业务模型：Product 和 ProductCategory，一个 ProductCategory 下有多个 Product。现在需要对外提供返回包含关联数据在内的接口。例如：category/index 接口返回：{ "id":1, "category_name": "xxx", "products": [ {...}, {...}, ... ]}但是我自作聪明的给 Product 模型也加上了到 ProductCategory 的映射，导致了一个无限的循环：

原创 Scrapy 爬虫笔记

目录概述开始启动项目爬虫初始化处理响应回调函数的参数图片下载（未完待续）相关资源概述本文记录了个人使用 Scrapy 爬取某网站产品信息（包含图片下载）的整个过程，也可以作为一篇 Scrapy 实战教学博客。首先从 All Products 页面出发，首先抓取所有分类页面的链接：如 https://www.example.com/category/category-name再从每个产品分类页面抓取产品详情页面链接：如 https://www.example.com/product/product-n

原创 错误记录：Invalid bound statement (not found)

场景在跟随某课程学习 SpringBoot 使用 Mybatis 时出现该错误。查阅各种博客，基本上都说是某个参数配置错误，但仔细检查后，并没有发现任何错误。解决方法后面偶然间发现某位博主的文件存放路径与视频课程中不同，尝试将 xml 文件与 Java 接口类文件放在同一目录下，并在 pom.xml 中 build 标签中加上配置，使得编译时带上 xml 文件： <resources> <resource> <directory>src/main

原创 Antd中为select框使用initialValues

在学习Antd Pro时遇到了一个问题问题场景在ProForm中通过initialValues可以设置表单元素的默认值：<ProForm initialValues={{ username: props.values.username, category_id: props.values.category_id, }}但是category_id对应的是一个下拉框，这样设置的实际效果与预期效果如下图：在其他平台中查找

原创 使用pyinstaller打包时引入自己编写的库

场景使用pyinstaller打包某个文件后，生成的exe文件无法运行，提示 Module not found: myLib，myLib是我自己编写的一个库：封装了一些常用且重复的代码：from myLib.mysql import Mysql解决方案查找了一些资料后得到解决办法：在使用打包命令时使用额外参数 -p，参数值为myLib所在的路径。pyinstaller xxx.py -F -p your path个人的myLib路径：F:\projects\python\myLib，因此命令

原创 Antd Pro新增表格页面（二）

前言承接上一篇博客Ant Design Pro 新增一个表格页面（一）继续对index.tsx进行修改请求相关修改复制过来的index.tsx文件中的请求都是rule的增删查改，将其修改为前文已经写好的接口请求。import { rule, addRule, updateRule, removeRule } from '@/services/ant-design-pro/api';import { members, addMember, updateMember, removeMember }

原创 Error: EPERM: operation not permitted, unlink XXX

使用npm install命令安装出现错误搜索解决方案如：检查权限、删除文件、清除npm缓存，都没有效果。后面检查错误信息时突然发现这句：It’s possible that the file was already in use(by a text editor or antivirus)卧槽，npm run start 的服务还开着！关闭服务后，重新安装成功。...

原创 Ant Design Pro 新增一个表格页面（一）

记录学习Antd Pro版本：antd pro v5 + typescript创建文件在pages路径中新增一个文件夹admin，复制一份TableList文件夹到admin中，并修改名称为users定义路由路由配置文件：config/routes.ts 中添加以下代码：{ name: 'admin', icon: 'user', path: '/admin', routes: [{ name: 'users', // icon: 'us

转载 Html中识别换行符‘\n‘

转载于：HTML文章页面，识别不了换行问题的解决问题详情后端返回的长串字符中是由换行符 ‘\n’的，但是前端展现该长串字符时却没有识别’\n’，挤在一行影响页面布局。解决方案查找相关资料后得到解决方案：CSS中由“white-space” 属性设置如何处理元素内的空白，设置元素的样式为white-space: pre-line即可解决问题。注： 在React中这样设置该属性<span style={{whiteSpace: 'pre-line'}} > // ..

原创 Yii2接口自定义接收的分页参数名

引言Yii2中ActiveDataProvider使用的分页参数默认是page和per-page，请求接口的url应为：/api/module/controller/action?page=1&per-page=20其中per-page指定每页的数据量，page指定当前请求的页码。实际开发中，很多前端封装好的框架也会使用默认的分页参数去请求后端接口。比如Antd Pro中页码参数名为current，页容量参数为pageSize，那么如何让Yii2后端接收这两个参数进行分页处理呢自定义分页

原创 Python爬虫 - 爬取京东商城某页面

前言在CSDN问答中遇到这样一个需求：使用Selenium爬取京东商城某个页面中的商品价格信息，页面URL为：京东商城页面分析首先来到商城页面，打开F12，可以很清楚的找到目标在控制台用xpath选中，正好是20个商品，没有任何问题，那么直接上代码Selenium尝试import timefrom selenium import webdriverdriver = webdriver.Chrome()driver.get('https://mall.jd.com/view_searc

原创 React学习笔记(二)

原创 Error: tunneling socket could not be established, cause=getaddrinfo ENOTFOUND 11000

创建一个新的React应用时发生错误前些天在公司的电脑上重新搭建各种环境，突然出了这个问题。使用命令：npx create-react-app demo环境：node v16.3.0; npm 7.15.1; yarn 1.22.10错误详情：info There appears to be trouble with your network connection. Retrying...error An unexpected error occurred: "https://registry.n

原创 wordpress + woocommerce 安装主题后页面404问题

记录一个woocommerce启用主题后的问题安装的主题是flatsome。启用该主题后除首页以外全部页面都被定向到Nginx404页面。查了一些资料后，首先是伪静态未设置原因。转到服务器宝塔设置页面 -> 网站管理 ->打开网站设置 -> 选择伪静态，下拉框选择wordpress，保存。成功解决部分页面404问题，但是产品详情页面还是404，主题自定义的404页面而不是Nginx404。为解决产品详情页面问题，转到wordpress后台的固定链接设置，在产品固定链接中设置为sho

原创 React学习笔记(一)

官方文档：React入门教程React快速上手组件类与方法class ShoppingList extends React.Component { render() { return ( <div className="shopping-list"> // ... ); }}注：ShoppingList是我们自己定义的一个React组件类，render()方法中return的内容，即返回值是我们希望渲染的页面元素。井字棋的架构一个井

原创 Windows下Appium + Python控制安卓模拟器

纪录一下自己搭建环境的整个过程。本机系统为Windows10，连接的安卓设备为夜神模拟器。参考博客：自动化测试 - Appium + Python史上最全最简环境搭建步骤Appium+python自动化安装环境环境搭建所需软件总览JDK，JAVA开发工具包Android SDK，安卓开发工具包Node.jsAppiumPython其他：Python库Appium-python-Client、Python IDE、模拟器/真机JDK安装下载地址：oracle官网下载根据自己的

原创 PHP-Guzzle异步、并发

参考：Guzzle文档PHP-Guzzle是一个HTTP客户端，可以使用它来发送各种HTTP请求。并发请求一$promises = [ 'key1' => $client->getAsync($website1), 'key2' => $client->getAsync($website2), '...

原创 Python协程学习--爬取一本网络小说

协程爬取最近在学习Python爬虫，同时在公司同事的引导下接触到协程，开始学习使用协程编写异步爬虫Python协程系列学习参考：https://blog.csdn.net/qq_27825451/article/details/86218230目标：爬取一本网络小说主站urlurl = 'http://www.quanshuwang.com/book/9/9055'爬取流程分析：...

转载 Python列表中存放字典遇到的问题

参考文献：https://blog.csdn.net/qq_29721419/article/details/70310183试图在列表中存放字典时出了问题dict1 = {}list1 = []for i in range(10): dict1['test'] = i list1.append(dict1)print(list1)# Result : [{'te...

原创 PHP-排序算法

PHP-排序算法在公司学习PHP时，无聊随手写了几个排序算法，记录一下Sort类归并排序快速排序堆排序暂时就到这里吧，下面是个人参考的一些博客文章在公司学习PHP时，无聊随手写了几个排序算法，记录一下Sort类主要包括初始化随机整型数组和exchange方法。/** * Class Sort 排序算法 */class Sort{ public $array = []; pub...