- 博客(112)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 Pgsql怎样找到表中某个字段值重复的记录并删除冗余记录,只保留一条
今天发现某个黄页爬取的数据有部分重复了，原本我用的公司详情页的url进行md5来作为主键做upsert入，但后面在核验数据时发现有些详情url虽是同一间公司的，但路由上有细微差别导致写入了重复的公司数据，所以要想办法清理掉重复的公司；除了有表id外，我的表里还有一个local_id字段，用于保存页面上的内部id，下面就从这个字段入手进行；
2024-04-10 12:05:12
392
原创 修改表结构时数据库(表)卡住了怎么办?怎样杀死正在执行的修改表结构进程?
如果有多条记录, 请注意看右边的语句以确保找到正确的进程id。注意, 将括号中的数字换成你查找到的进程id就可以了。然后执行以下语句,即可将修改进程中止。第一步, 找到修改表结构的进程id。你将会看到如下图的表格。
2024-02-29 15:03:19
428
原创 Xpath的问题:为什么在DOM中确定存在(可见)的元素,用//表达式匹配不到（附解决办法）
我的第一反应是会不会是自定义的元素不能直接匹配，查了资料说是没问题的，然后查了很多资料，发现可能跟命名空间有关系，像上面这个就是因为svg元素定义了xmlns属性，所以浏览器认为它不是全局变量，所以无法用全局表达式//来匹配，但这种元素要怎样匹配呢？看起来很简单对吧，我习惯先在控制台试一下，于是写了。这样就能准确地找到这个关闭按钮了。发现匹配结果竟然是空的。
2024-01-05 12:11:04
425
原创 python里使用multiprocessing.Pool创建的子进程放到后台执行后怎样批量结束
一文解决怎样批量杀死python进程池里的所有子进程
2023-12-25 11:32:53
463
原创 Chrome自动升级了,找不到最新版本的webdriver怎么办?
本文介绍了chrome自动升级后官网找不到相应的与Chrome浏览器的版本不兼容的解决办法,找不到最新版的webdriver
2023-09-01 11:20:06
2657
3
原创 【selenium应用实践】怎样实现自动监测百度收录站点链接数量
用selenium实现自动监测百度收录站点链接数量，SEO优化效果追踪更轻松
2022-08-27 14:21:08
546
1
原创 怎样实现两台redis服务器的数据迁移
有一台原本已用了一年的华为云服务器到期了，因为各方面的考虑，准备迁移到腾讯云上面去，因为redis里也有一些持久化保存的数据，所以也需要做迁移。
2022-08-11 18:07:11
944
原创 怎样用python爬虫实现自动监测百度是否收录域名
在一些新站点上线时，具有SEO意识的公司/人往往会非常关注自己的网站（域名）是否已经被百度收录了，因为只有百度能搜索得到，你的网站才是真正意义上的在这个世界上存在了（这里援引了一个典故--此前我在某本书里看到一个挺有意思的说法：**在网络时代，如果你不知道世界上是否存在某样事物，就百度一下，如果查不到，就可以认为它不存在**）。......
2022-08-04 11:30:20
785
原创 MQTT协议学习总结
近期在一个物联网项目中用到了Mqtt协议，已经一个星期了，从当初的不懂到现在熟悉它的运行机制了，所以撰写此文总结和分享一下近期的收获，主要包括以下几个方面：Mqtt协议是什么？Mqtt Broker是什么？怎样搭建Mqtt服务器？怎样连接Mqtt服务器？
2021-12-22 17:13:41
519
原创 珠宝订货(订单)系统与ERP实现库存信息同步的实现方案分享
背景客户已有一个用了多年的珠宝ERP，里面有商品信息及准确的库存，他们原有的订货系统已经满足不了业务发展的需要，将要切换成包含PC端及小程序端，功能更先进及完善的珠宝订货系统-优订货。需求说明客户希望ERP的商品及库存信息自动与订货系统对接，以减轻运营的工作量并保持数据同步实现方案原本ERP只提供了支持分页的数据查询接口，查询接口支持按产品条码、产品名称、产品创建时间三个字段的搜索。我分析了一下，基于目前ERP这个接口，要实现类实时的数据同步不可能，因为产品数量很多，而ERP服务器的配置及带宽都
2021-11-19 11:30:25
1504
原创 网站由于恶意访问量很大导致无法正常访问怎么办
今天分享限制某个IP访问nginx服务器的方法，对于有异常访问攻击服务器或被爬虫过度访问骚扰的场景非常有用
2021-11-03 19:25:14
5324
原创 PHP数组迭代器的使用方法
近来在开发一个视力筛查电子报告系统的产品，这个产品的作用是自动提取视力筛查过程中得到的屈光检查数据，并结合数据自动生成通俗易懂且专业的电子报告，以方便家长可以通过公众号或H5链接查阅。
2021-11-03 16:33:52
258
原创 PHP边运行边输出运行结果的实现方法
在开发过程中，经常会需要做批量处理，例如数据同步或格式转换时往往涉及大批量的数据处理，由于数据量大，数据里往往存在各种的差异，导致运行过程容易出问题，所以能在运行过程中实时看到每条记录运行的情况（成功或失败，失败的原因及引发异常的原始数据信息）是非常有助于排查问题的，我这里分享两个自己做了简单封装的方法，我自己觉得很好用，希望也对你们有用。
2021-11-02 10:55:29
792
原创 HTTP状态码502与504的区别及解决思路
502与504错误是生产环境中难免会遇到的情况，出现问题不要紧，但要吃一堑长一智，变得越来越好最重要
2021-08-18 17:20:22
11320
原创 怎样用命令行查看和删除redis的数据
新部署了一台外部服务器的情况下，如果服务器的6379商品没有开放，但又需要查看或清理redis上的数据怎么办呢？可以通过SSH连接上去用命令行进行处理，步骤如下：1）通过SSH登录服务器；2）执行redis-cli -h 127.0.0.1 -p 6379，这时与redis建立了连接，但未鉴权的情况下是无法进行下一步操作的；3）执行auth [密码], 如 auth 123456，如果密码是正确的，页面上会输出OK字样，说明已经通过鉴权，可以对redis进行常规操作了；4）选择数据库，通常redis
2021-07-29 14:27:41
5898
原创 curl访问部署在境外服务器上的接口速度很慢怎么办?
前两天为客户交付了优订货裸钻订货系统后, 客户又增加了一个新需求：是为他对接一间来自新加坡的上游钻石供应商的接口, 以实现钻石数据自动同步的目的，这样就能免去每天上传钻石数据的麻烦，数据同步及时无偏差，而且能自动完成一些字段值的转换，例如自动将RD转为圆形，解决有些数据表述习惯不一致的问题。本来这个需求挺简单的，但在一开始就遇到问题，就是在浏览器中访问上游供应商提供的接口时，速度很正常，但一旦在开发环境（用的腾讯云服务器）用curl访问，就会变得很卡顿，很慢，刚开始以为是接口提供方做了什么防爬虫的机制，后
2021-07-21 13:36:56
488
原创 php获取第N周的日期区间的工具方法
php的日期库函数是很强大的，比如获取某个时间戳是当年度的第几周，可以用date(‘W’，$timestamp)实现，但如果已知是第几周，想取这周对应的时间区间怎么处理呢？php的库函数里没有相应的方法，所以我封装了以下方法：/** * 获取第n周的日期区间 * @param [int] $no 要获取第几周的日期 * @param [string] $dateFormat 日期格式 * @return string 日期区间字符串 */ p.
2021-07-07 15:48:14
368
1
原创 反向代理是什么意思?正向代理和反向代理的区别是什么？
一文说清楚正向代理与反向代理的区别今天，有位同事问我反向代理怎样理解，说某度上解释正向代理和反向代理的区别看后似懂非懂，于是有了此文。首先，从字面上理解，代理的意思是代替办理，就是一方委托另一方办事，在计算机网络的世界里,代理通常是指客户端与服务端之间的中介。计算机网络中的代理又分为正向代理和反向代理，正向代理很简单，就是客户端不直接访问服务端，而是通过一个中间人访问（中间人先代替客户端向服务端获取到数据，再将获取到的数据返回给客户端），很容易理解吧，那很多人会问，为什么客户端要“脱了裤子放屁”，
2021-05-19 18:00:38
4890
6
原创 私域企业邮箱与腾讯网易等企业邮箱的区别
背景：近来有个朋友在做港股开户的业务，需要用到大量邮箱，用网易邮箱等平台，注册需要手机号很麻烦，不方便批量注册，而且不能自定义域名（如果要自定义域名就要使用企业邮箱产品，账号稍多就要付不菲的费用），腾讯/网易企业邮箱，U-mail等平台都是如此，价格昂贵基本都高达100元/账户/年，这意味着如果要开通300个左右的邮箱账户每年需要3万的费用，这成本太高了！！！朋友的预算没有这么多，于是我开始了自己购买云服务器部署邮件服务的探索。道理来说，部署邮件服务这个事情需要两个要素：硬件+软件，硬件是一台云服...
2021-03-10 16:15:38
1515
1
原创 CentOS8.0安装迅搜(XunSearch)引擎报错的解决办法
CentOS8.0安装迅搜(XunSearch)引擎报错的解决办法在一些小型项目上需要应用全文搜索引擎时，我比较喜欢使用迅搜，因为部署方便，调用简单，今天给客户部署系统安装迅搜时，竟然有报错（极少遇到报错的情况），花了一些时间查资料，终于解决了，分享一下经验首先是定位原因，因为我已经在起码五六台Centos主机上安装过迅搜，前面都顺利安装完成了，所以应该是不迅搜本身有什么问题，更大可能是跟运行环境是有关系的，看了一下，目前这台机子安装的是Centos8.0，我之前安装的系统都是7.X的，所以极有可能是和
2020-12-09 14:48:36
1203
3
转载 composer install或composer update很慢的解决办法
当composer install或composer update很慢或卡住不动时，可以是composer的源出了问题，可以切换使用的源站来解决问题，网上大多数博客只会提到packagist.phpcomposer.com这个源站，应该是最早的国内源站的缘故吧 ，其实除了这个，国内两大云服务商阿里云和腾讯云也有提供这个源站服务的，具体如下：中国全量镜像composer config -g repo.packagist composer https://packagist.phpcomposer.com
2020-09-05 16:34:24
1000
原创 python怎样实现redis断开后自动重连的机制
redis实例化时虽然传入了ip，端口等参数，但是没有真正连接的，所以并没有触发异常。知道了原因，解决也很简单，就是在实例化redis连接后调用一下`ping`方法或`get`方法(key随意，就算是一个不存在的key也不影响结果)，这样当连接有问题时就会抛出异常，这时候再去尝试重连，直至成功再返回实例就可以了
2020-08-17 18:19:42
4781
1
原创 电子族谱与传统纸质族谱的区别?为什么要用电子族谱?
族谱是一项重要的家族史料，记载了族群的衍生，迁移，发展壮大的过程。它不仅是纪念先人是方式，也是传承家族血脉，教育和激励后辈进取的文化财产。
2020-06-30 09:06:33
1767
原创 微信小程序/H5页面/APP三种形式的应用优缺点分析比较
经常有朋友或意向客户需要开发一套应用时,在移动端选型上会纠结到底是在微信小程序或H5页面或APP,所以今天抽空整理了一下三种类型应用的利弊,供大家参考
2020-06-17 11:52:06
4368
原创 php的消息队列框架resque的使用小结
前段时间在开发一个量化交易系统，这是一个类似股票交易软件的系统：股票价格变化后要实时在终端（APP）的行情价格页面实时更新，如果用户是在持仓页面，还要计算持仓盈亏及预付款比例，因为有一个强制平仓机制（当预付款比较低于30%时系统要自动触发强制平仓），因为行情波动非常快（有些产品一秒钟内价格会变化五六次），所以当某个产品的价格变化时，要触发一系统的行情推送（通过长连接）及盈亏计算操作。因为价格变动非常快，如果使用同步操作的话，很容易造成阻塞，所以用异步消息队列是比较好的选择，在网上查了一番，决定用resqu
2020-06-16 10:22:21
1529
原创 Centos服务器怎样查看端口是否被占用，被占用的端口进程ID不断地变怎么结束（杀死）？
在服务器以cli模式运行服务后, 如果想正常结束服务, 就必须进入原来的目录执行停止命令, 但实际情况是, 经常因为某种原因找不到或无法进入到原来的目录了, 这种情况下怎样才能杀死原来的服务呢?
2020-05-28 17:16:32
844
原创 服务器意外重启后redis启动失败或无法连接的问题解决办法
redis服务器意外断电, 重启后发现连接不上了, 怎么办呢? 希望作者的解决过程对你有启发...
2020-05-15 11:48:25
5300
原创 查看和修改Centos系统ftp用户名和密码的方法
今天需要更新一个老项目，老到还是用FTP发布代码的那种项目，但有ftp账号，忘记密码了，于是需要登录到服务器重置密码，跟大家分享下经过，希望后续遇到类似问题的朋友有点启发。这台服务器是别人交接过来的，所以对这台服务器比较陌生。因为之前有所了解，Linux系统最常见的就是VSFTPD这个应用，所以先用whereis vsftpd尝试找到FTP配置目录，很顺利地，输出的结果显示配置文件在/etc/v...
2020-03-31 18:43:25
8734
原创 排查服务不可用是否防火墙配置问题的小窍门
排查服务不可用是否防火墙配置问题的小窍门今天用workerman实现一个WebSocket长链接时，在开发环境没问题，但在生产环境（做了反向代理）就一直连接不上，在解决这个问题时有些心得，跟大家分享一下。在不同服务器间做数据转发(如在nginx等web服务器中做反向代理等场景)时，通常会依据端口转发，有时候配置好的转发规则硬是不生效，例如出现504错误，让人非常头疼。其实这种情况很大可能是因...
2020-03-22 18:09:42
328
原创 通过Nginx配置快速完成服务器校验的办法
#通过Nginx配置快速完成服务器校验的办法很多平台在配置域名或服务器指向时，会要求用户将指定的文件放到服务器根目录下，他们通过访问域名根目录下这个文件的uri以确认用户对这个服务器（的目录）是有控制权限的，很常见的如：微信的网页授权域名添加修改，支付授权目录设置等场景都会需要校验流程。很多人会按照微信提供的思路，将txt文件下载下来后放到服务器根目录去完成校验，但这样操作比较繁琐，因为规模稍...
2020-02-27 18:25:20
1090
原创 微信中做302跳转时跳转不过去的问题
微信中做302跳转被拦截的原因及解决办法先交待一下背景：我们有一个套基于微信的会员系统，有一个商城，商城和会员系统是同一套账户体系的，商城利用会员系统的微信登录功能来实现第三方登录，所以这里面有跨域名跳转（因为会员系统和商城是单独部署的）。今天发现把商城发布到生产环境后，微信第三方登录的功能出现一个奇怪的情况：有些安卓手机能正常登录跳转，有些则跳转到了一个空白页面，经检查，这个页面的链接是属于...
2020-01-02 09:56:32
2492
原创 Sql性能优化--Explain命令后续之USE INDEX
为什么mysql数据库查询加了索引的字段仍然很慢呢？数据库查询性能优化不是加索引就了事的，遇到问题要一步步分析才能得到定位问题，解决问题！
2019-06-25 15:51:23
536
原创 定期清理Smarty的cache文件夹的办法
定期清理Smarty的cache文件夹的办法 很多网站会使用Smarty框架，其缓存机制减少了服务器的压力的同时提升了响应速度，优化了用户体验，是很有用的，但有个问题是其产生的大量缓存文件不会自动清理，这对于访问量巨大且页面多的网站是个很要命的事情，因为产生的大量缓存文件会占用很大的磁盘空间，如果长期不清理一个是浪费磁盘空间，二是容易不知不觉把服务器空间挤满了，导致网站挂掉。 有的博客分享...
2019-02-13 12:01:05
367
原创 支付宝APP接口SDK的坑分享
支付宝APP接口SDK的坑分享 近来在一个新项目中接入APP支付，已经很长时间没接触了，查了一下最新的文档，发现现在有个SDK包，封装了得不错，将加密，提交参数等步骤都封装起来了，看DEMO调用非常简便，以为一下子就能搞定，没想到，SDK及官方DEMO还是有些坑，在这里跟初接触的朋友分享一下，以节约宝贵的时间。 问题主要有三点： 1）SDK里生成用来签名的字符串时...
2018-05-24 19:32:08
1557
原创 迅搜xunsearch全文搜索引擎在负载均衡集群中的配置方法
迅搜xunsearch全文搜索引擎在负载均衡集群中的配置方法 近来在一个电商项目中需要对商品检索实现中文分词和全文搜索功能,，于是使用了国内做得比较好并且是开源的迅搜全文搜索引擎，对PHP支持良好并且简单易用好上手，安装和调用方法等就不详细介绍了，需要了解的朋友可以自行百度，这里主要是由于我们在这个项目中使用了负载均衡，但迅搜官方的文档里对这一块的配置说明不够详细，导致走我了一些弯路，所以写...
2018-05-24 15:57:38
9847
原创 怎样解决微信H5页面特殊字体库加载慢的问题
怎样解决用到特殊字体的页面因为要加载庞大的字体库导致加载慢的问题 在微信H5活动页面里， 为了增强活动的表现力或视觉效果，经常会出现设计师在页面中使用特殊字体库的情况,，如果页面没有复杂的交互，直接将含有特殊字体的片段切成图片就能解决这个问题，但有些场景下是不能这样做的，比如说图片是根据用户的输入合成的，这样图片就需要动态生成。 很自然就会想到，只要在这个页面上加载相应的TTF字体库，...
2018-05-05 15:44:46
4051
w微信开放平台生成应用签名.rar
2020-09-01
将用户的密码加密后再存入数据库的方法
2008-12-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人