mshine0-CSDN博客

原创 python爬取链家房源信息存入excel

python爬取链家二手房源信息可视化

2024-04-12 15:36:22 270

原创 python爬取安居客房产信息存入excel

python爬取安居客房源信息，并保存到excel。

2024-04-11 20:59:13 233

原创 python爬取新浪微博评论存入excel

python爬取新浪微博评论，并保存到excel。

2024-04-10 21:29:12 366

原创 AES加密解密CBC模式与ECB模式

AES（Advanced Encryption Standard）是一种对称加密算法，广泛应用于信息安全领域。AES支持多种密钥长度，包括128比特、192比特和256比特。在AES加密和解密中，同一个密钥用于两个过程。下面是一个简单的Python实例，演示如何使用AES加密和解密文本。

2024-03-12 21:18:47 402

然后，使用 multiprocessing.Pool 创建了一个包含 4 个进程的进程池，并通过 pool.map(crawl_page, urls) 并行执行爬虫任务。urls 列表中的每个链接都会被传递给 crawl_page 函数并在不同的进程中执行。在 Python 中，可以使用 multiprocessing 模块创建进程池，并使用其 map 方法来并行执行爬虫任务。请注意，这只是一个简单的示例。在实际应用中，你可能需要更复杂的爬虫逻辑和异常处理，以及确保对共享资源的正确访问。

2024-03-09 20:05:03 965

原创 python中进程池Pool内置的map函数

在 Python 中，multiprocessing 模块提供了 Pool 类，它是一个用于创建进程池的工具。通过进程池，你可以更方便地并行执行多个任务，充分利用多核处理器的优势。其中的 map 方法是一种常用的方式，它类似于内置的 map 函数，但是可以并行处理输入数据。

2024-03-09 19:59:43 462

原创 xpath获取不到数据

你是否也遇到过，在浏览器中选中了某个元素后，再copy xpath，想在代码中获取到你选中的元素，但是代码中显示结果为空。不要看现在页面内容显示不全，这丝毫不影响我们copy xpath，两次copy xpath的结果如下，一个是原网页的，一个是下载到本地的，可以看到两个xpath有差异。如果有ID选择器，我们最好使用ID选择器，因为具有唯一性，类选择器的话，结果就不好说了。使用xpath插件，能获取到正确的数据，为什么就是到代码中就不行了呢？下载到本地后，我们再使用浏览器打开，获取xpath。

2024-01-23 20:02:11 605

原创 selenium.common.exceptions.WebDriverException: Message: ‘chromedriver‘ executable needs to be in PAT

selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://chromedriver.chromium.org/home

2024-01-21 22:27:42 350

原创 windows安装selenium，googledriver安装，selenium爬虫

不要直接使用pip安装，到时运行时可能会报访问不了谷歌网站的错误，使用国内源安装。

2024-01-21 22:21:07 434

原创 python爬取喜马拉雅音频文件

本次案例以爬取喜马拉雅上的英文儿歌为例，网址https://www.ximalaya.com/album/55952392。

2024-01-21 16:59:24 501

原创 python爬取百度翻译反爬解密

本文只是分享一下python爬虫学习心得，如果有违规，会删除本文。

2023-12-16 21:41:23 716 2

原创自然语言处理（NLP）技术

命名实体识别：命名实体识别是一种NLP技术，它可以在文本中识别出特定的实体（例如人名、地名、组织机构名称等）。机器翻译：机器翻译是一种NLP技术，它可以将一种语言的文本自动翻译成另一种语言的文本。例如，Google Translate是一种机器翻译工具，它可以将英语文本翻译成其他语言的文本。例如，当你在社交媒体上发表一条带有标签的帖子，情感分析可以帮助自动确定你的帖子的情绪是积极的还是消极的。语音识别：语音识别是一种NLP技术，它可以将语音转换成可识别的文字。

2023-09-20 15:42:27 74