- 博客(32)
- 收藏
- 关注
RSS订阅原创 听大佬说爬虫不合法？
网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。只要是浏览器能做的事情，原则上，爬虫都能够做。网络爬虫领域目前还属于拓荒阶段，虽然互联网世界已经通过自己的游戏规则建立起一定的道德规范(Robots协议)，但法律部分仍在进一步建立和完善中，也就是说，现在这个领域暂时还是灰色地带。在现在很多招聘平台上，大家可以看到爬虫工程师是有大量的需求的，在某拉，某直聘平台，搜索爬虫工程师会出现很多工作岗位，而且薪资从6K-40K都有。
2024-03-04 20:55:12
1234
原创 程序员英语词汇宝典(建议收藏)
很多小伙伴说，英文不好能不能学习编程，我个人的看法是英文不好，并不影响你学习编程，但有可能会影响到你的编程上限，因为一些最新的文档都是英文的。如果你想成为一个编程大牛，那么英文还是很有必要的。今天就给大家整理了一些编程中常用的一些单词。
2024-03-04 20:53:04
348
原创 【超详细】Python入门到放弃指南
这是基础入门必须要学的一些知识点，写的比较笼统，没有特别详细，这里面的知识点，大家如果感兴趣，后续也都会写，如果你也在自学Python，点个关注再走吧~就大概知道怎么自学了，那接下来就跟大家说下学习路线，不一定适合每一个人，可以作为参考。大家如果看了我写的这篇文章《
2024-03-01 16:43:07
289
原创 从应用出发，探索Pycharm常用单词表
应用场景：Python.exe 是解释器，Pycharm 是编辑器。用大白话来说，Pycharm 只是用来写代码的，如果要运行代码还得靠 Python.exe 这个老大哥😎。应用场景：如果你需要运行 Python 文件里面的代码，我们也可以用大白话来理解——也就是要让你的代码跑起来🏃♀️。应用场景：在你写代码时，也可以理解为是在编辑代码。💡 Appearance 英译中为外表；💡 Settings 英译中为设置；💡 Behavior 英译中为外表；💡 file 英译中为文件；💡 new 英译中为新的；
2024-03-01 16:11:01
695
原创 【每日算法】宝，你今天练算法了吗？
利用字符重复出现的次数，编写一种方法，实现基本的字符串压缩功能。比如，字符串aabcccccaaa会变为a2b1c5a3。若“压缩”后的字符串没有变短，则返回原先的字符串。你可以假设字符串中只包含大小写英文字母（a至z）。先将字符串处理成[[a,2], [b,1]]，然后循环列表拼接成字符串,对比拼接后字符串与原字符串长度。
2024-02-29 20:33:57
215
原创 你怕是学了个假Python吧
显然这样的表示形式无法精确的表示浮点数，最终的结果是近似 1/10。这是因为 round() 的工作原理为：对于 round(number[, ndigits])，如果 number 可以被正常处理，则它的值会被舍入到最接近的 10 的负 ndigits 次幂的倍数上，对于与两个倍数的差值（差值的绝对值）均相等的情况，则会选择两个倍数中的偶数。浮点数在计算机硬件中以二进制的形式存在，但是我们现在看到的都是十进制，而十进制的浮点数不能都完全精确的表示为二进制小数。这样看是不是有些问题，什么问题呢？
2024-02-29 17:22:25
452
原创 Docker基本介绍
在学习Docker之前，我们先来看下Docker为什么会出现？大家在公司中在开发项目的时候，一般会有两套环境，一套开发环境，一套线上环境，可能还有测试环境，演示环境等等，这时候开发和运维人员是比较苦恼的，一套代码要部署多次。而且也非常容易出现一种程序员经常碰到的现象：在我的电脑上可以运行啊！你是不是配置的不对啊！你重启试试等等这些问题…在比如我的版本更新了，导致服务不可用了，对于运维来说，考验就非常大而现在大家都应该听过一个词，就是DevOps，开发即运维。
2024-02-28 14:39:01
745
原创 【Python入门到放弃】基础语法
在Python3中，全面支持Unicode，默认以UTF-8编码，我们不用再纠结中文的问题，乱码的问题，所以本行其实可以不需要。/usr/bin/python3.6，这会强制要求使用系统中的python3.6解释器执行文件，这种方式不好，一旦你本地的Python3.6版本删除了，会出现找不到解释器的错误。这算是一个代码的规范，我们在定义一个方法的时候。另外要注意的是，由于l(小写的L）和数字1， 大小写的o与数字0在外观上的相似性，请尽量不要让它们相邻出现，保持语义的清晰性，确保不会发现错误认读的情况。
2024-02-28 14:30:48
876
原创 【每日算法】宝，你今天练算法了吗？
变位词”是指两个词之间存在组成字母的 重新排列关系 如:heart和earth，python和typhon 为了简单起见，假设参与判断的两个词仅由小写 字母构成，而且长度相等(Python实现)将词1中的字符逐个到词2中检查是否存在,存在就打勾标记(防止重复检查),如果每个字符都能找到,则两个词是变位词,只要有一个字符找不到,就不是变位词。解题思路：对比两个词中每个字母出现的 次数，如果26个字母出现的次数都相同的话，这两个字符串就一定是变位词。大家可以看下这三种方式,分别的时间复杂度是多少？
2024-02-26 20:50:21
139
原创 【Python入门到放弃】Python环境搭建
第二种解题思路：将字符串用内置函数 set() 转换为集合，此时集合会自动排除重复项。实现一个算法,确定一个字符串 s 的所有字符是否全都不同（Python实现）第一种解题思路：将不重复的元素放到列表中,判断列表长度和字符串长度。
2024-02-26 20:48:25
1278
原创 【每日算法】宝，你今天练算法了吗？
第二种解题思路：将字符串用内置函数 set() 转换为集合，此时集合会自动排除重复项。实现一个算法,确定一个字符串 s 的所有字符是否全都不同（Python实现）第一种解题思路：将不重复的元素放到列表中,判断列表长度和字符串长度。
2024-02-25 13:31:34
69
原创 Python基础面试题下
15.filter 方法求出列表所有奇数并构造新列表，a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]9.hasattr()、getattr()、setattr() 的用法。13.Python 中的元类 (metaclass) 使用举例。10.请列举你知道的 Python 的魔法方法及用途。19.如何交换字典{“A”:1, “B”:2}的键和值。31.字符串、列表、元组、字典每个常用的5个方法？11.如何知道一个 Python 对象的类型？17.在 Python 中是如何管理内存的？
2024-02-23 16:15:53
191
原创 盲目自学只会毁了你
如果你真的想以编程去就业，我还是劝大家去花点钱认真学几个月，会比自学少走很多弯路，当然这个不是今天我们讨论的主题，接下来就给大家推荐一个比较适合零基础小白的学习方法。
2024-02-23 10:49:41
380
1
原创 趣谈Python常用单词
研究人员费了半天时间，总算发现原因所在，把这只小虫子从真空管中取出后，计算机又恢复正常。应用场景：当安装好 Python 后，我们可以在命令行中输入 Python 进入 Python 交互环境。如果你见过没有安装系统之前的电脑，你就会知道电脑的初级状态都是没有图形界面的，但是为了人类快捷的使用，所以开发出了一个图形界面的窗口系统——我们叫做 windows 系统。💡 install 英译中为安装；作为程序员，我们经常要去官网下载一些软件，那就需要认识 downloads 这个单词啦~● down：向下的。
2024-02-22 16:11:50
219
原创 Python基础面试题上
50.对list排序foo = [-5,8,0,4,9,-4,-20,-2,8,2,-4] 使用lambda函数从小到大排序。45.list=[2,3,5,4,9,6] 从小到大排序 不许用sort 输出[2,3,4,5,6,9]31.列表推导式求列表所有奇数并构造新列表，a=[1,2,3,4.5.6,7,8,9.,10]38.[[1,2],[3,4],[5,6]]一行代码展开该列表,得出[1,2,3,4,5,6]34.两个列表[1,5,7,9]和[2,2,6,8]合并为[1,2,2,5,6,7,8,9]
2024-02-22 16:06:53
510
原创 跟着居然学＜爬虫逆向＞
本文章中所有内容仅供学习交流，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关，若有侵权，请联系我立即删除！网址：aHR0cHM6Ly9nZ3p5ZncuZmouZ292LmNuL2J1c2luZXNzL2xpc3Qv逆向参数：Data。
2023-06-05 19:08:31
811
原创 Python爬虫数据写入MongoDB
除了插入数据，MongoDB还支持更新、查询和删除等操作，我们可以根据不同的业务需求选择相应的方法进行操作。总之，Python和MongoDB的结合可以帮助我们实现高效的数据爬取和存储，为数据分析和挖掘提供了良好的基础。上述代码中，我们定义了一个包含三个书籍信息的列表，使用insert_many()方法将这些书籍信息批量插入到MongoDB中，并打印出新插入数据的ID。在上述代码中，我们使用insert_one()方法将字典类型的数据插入到MongoDB中，并打印出新插入的数据的ID。
2023-05-13 19:33:12
2071
原创 SQLMap 渗透工具详细讲解
我们在学习 SQLMap 的时候，可以根据官网的介绍来了解 SQLMap 的功能。官网地址：https://sqlmap.org/进入官网，我们可以看到这张图片，类似一个小针头的图标，可能为了表达我是 SQL 注入……根据官网的介绍，我们可以了解到 SQLMap，是一种开源渗透测试工具，它可以自动化检测和利用 SQL 注入缺陷以及接管数据库服务器的过程。
2023-05-11 19:12:56
1441
原创 ＜居然讲爬虫＞-8-MongoDB介绍
MongoDB是一个流行的文档型NoSQL数据库，它以高度可扩展性、灵活性和强大的查询能力而闻名。本文将介绍MongoDB的基本特点、数据模型、查询语言和应用场景。
2023-05-09 19:18:43
37
原创 ＜Python面试题＞一起找个逼班上
在上述代码中，当调用 my_generator() 函数时，它会返回一个生成器对象，而不是立即执行函数中的所有代码。在 Python 中，lambda 函数的语法格式为：lambda arguments: expression，其中 arguments 是参数列表，expression 是函数的返回值表达式。Python 中的生成器是一种特殊类型的函数，它可以用于生成一个序列值。与普通函数不同的是，在执行到 yield 语句时，生成器会暂停执行，并将当前的状态保存下来，等待下一次调用时恢复执行。
2023-05-05 21:23:18
28
原创 ＜居然讲爬虫＞7-多线程爬虫
Python 多线程爬虫是一种常见的网络爬取技术，可以利用多个线程同时进行数据获取，提高爬取效率。然后，我们创建了 5 个线程，并启动了爬虫任务。每个线程都会调用 crawl 函数执行任务，并输出当前线程编号和 title 内容。接下来，我们将编写一个简单的多线程爬虫，该爬虫用于获取百度首页的 HTML 内容，并输出获取到的内容和线程信息。综上所述，这些功能的添加可以使爬虫程序更加健壮、灵活和实用。最后，我们使用 join 方法等待所有线程结束，并打印完成信息。我们可以完善我们写的多线程爬虫程序。
2023-05-05 20:52:24
264
原创 ＜居然讲爬虫＞6-selenium入门到放弃
Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。Selenium 的使用需要，下载浏览器驱动。ChromeDriver 是一个驱动 Chrome 浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的 driver。
2023-05-05 20:40:37
233
原创 ＜Python面试题＞一起找个逼班上
装饰器是一种Python语法糖，用于在不改变原函数代码的情况下给函数添加新的功能。可以使用@符号定义装饰器，并将其应用到函数上。func()# 调用经过装饰器修饰的函数。
2023-05-04 19:13:16
37
原创 ＜居然讲爬虫＞4-数据解析之XPATH
Xpath全称是Xpath是一门在HTML/XML文档中查找信息的语言，可用来在HTML/XML文档中对元素和属性进行遍历，XPath使用路径表达式来选取HTML/XML文档中的节点或者节点集看到这里有的小伙伴可能会对XML比较陌生，XML是可扩展标记语言，被设计为传输和存储数据，其焦点是数据的内容，而HTML是超文本标记语言，主要是显示数据以及如何更好显示。
2023-04-06 20:33:30
99
原创 ＜居然讲爬虫＞3-数据解析之正则表达式
正则表达式中的一些表示方法，可以同时匹配某个预定义字符集中的任意一个字符。比如，表达式\d可以匹配任意一个数字。虽然可以匹配其中任意字符，但是只能是一个，不是多个。表达式匹配\d任意一个数字，0~9 中的任意一个\w任意一个字母或数字或下划线，也就是 A-Z,a-z,0-9,_ 中的任意一个\s空格、制表符、换页符等空白字符的其中任意一个\D\d的反集，也就是非数字的任意一个字符，等同于[^\d]\W\w的反集，也就是[^\w]\S\s的反集，也就是[^\s]例如表达式\d\d，在匹配。
2023-04-06 17:29:45
195
1
原创 ＜居然讲爬虫＞2-requests模块
requests模块作为爬虫中最常用的一个模块，我们必须要拿捏它。requests模块我会给大家分享以下的知识点可能之前看过一些教程的小可爱在想，为什么不是从urllib开始，而是从requests模块开始，原因有以下几点。
2022-11-05 22:01:28
172
原创 ＜居然讲爬虫＞1-爬虫概述
爬虫方向的知识是十分碎片化的，我们在写爬虫针对的各种各样的网站，每个网站用到的反爬技术可能都不一样，所以我们面对不同的网站要有不同的解决方案。
2022-11-05 19:06:27
341
原创 揭晓 Python 列表数据结构的底层
文章目录顺序表顺序表的基本形式数组要从 0 开始编号，而不是从 1 开始呢？基本顺序表与元素外围顺序表顺序表的结构顺序表的两种基本实现方式元素存储区替换元素存储区扩充顺序表的操作删除元素Python 中的顺序表list 的基本实现技术今天我们来深入地唠唠列表，不过先别着急，我们来思考以下几个问题：列表的下标为什么从零开始？为什么列表 append 比 insert 快？为什么列表 append 之后，id 值为什么不变，也可以说内存地址不变？但是一旦要解决这几个问题，我们首先就得了解顺序表。
2022-05-14 21:53:23
890
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人