- 博客(17)
- 收藏
- 关注
RSS订阅原创 PythonCrawler 13day05
PythonCrawler 13day03xpath的使用介绍前面我们介绍了 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath安装pip install lxmlXpath语法...
2019-10-23 20:49:26
136
原创 JAVA面试题集锦
JAVA面试题集锦单例模式1.手写单例模式2.线程安全的单例模式什么是单例单例类在整个程序中只能有一个实例，这个类负责创建自己的对象，并确保只有一个对象被创建。代码实现要点a) 私有构造器b) 持有该类的属性c) 对外提供获取实例的静态方法饿汉式：线程安全、反射不安全、反序列化不安全登记式（静态内部类）：线程安全、防止反射攻击、反序列化不安全枚举式：线程安全、支持序列...
2019-10-22 16:28:17
200
原创 PythonCrawler 13day04
PythonCrawler 13day03越学越懵，同学们已经开始投简历，其实大家都慌得一匹1. re的使用使用urllib库可以模拟浏览器发送请求获得服务器返回的数据，下一步就是把有用的数据提取出来。数据分为两种形式结构化和非结构化。非结构化数据一般指的是文本和HTML。文本中的内容特别杂，比如有电话号码，邮箱等信息，只能使用正则表达式进行提取；HTML可以使用CSS选择器、xpath、...
2019-10-21 19:13:32
125
原创 PythonCrawler 13day03
PythonCrawler 13day03愉快的十一假期结束了，接下来就要快乐的学习起来啊啊啊！！！爬虫系列进行到第三天。。。1. ajax请求的抓取动态加载页面信息的提取当我们浏览一个新闻类的网站，例如微博，今日头条，知乎等，由于它的内容极多，当我们搜索某一关键词的信息后，服务器只会向我们返回少量的数据，微博和头条是返回指定数量的数据，当我们再次向下刷新的时候，会再次通过Ajax请求返...
2019-10-14 20:50:15
235
原创 Hadoop学习
专业是大数据，也终于接触到了这方面的知识，遇到无良老师，也只能画个圈圈诅咒。呜呜呜想学就自己努力吧！Hadoop是什么？Hadoop是一个分布式系统基础架构，可以使用户在不了解分布式系统底层细节的情况下开发分布式程序，充分利用集群进行高速存储和运算。其两大核心是HDFS和MapReduce，分别解决了大数据存储和大数据分析/计算的问题。 - HDFS(Hadoop Distributed ...
2019-09-26 14:52:15
102
原创 爬虫面试题集锦
作为即将毕业的大四人员写这类博客用于总结积累面试问题技巧，当然了这些资料来源于网络，收集起来用于自己学习和提醒1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎么解决的?通过headers反爬虫：解决策略，伪造headers基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为通过动态更改代理ip来反爬虫基于动态页面的反爬虫：跟踪服务器发送的ajax请求，模拟ajax请...
2019-09-26 11:17:00
421
原创 MySql第一天
MySQL单实例安装1.创建MySQL虚拟用户：useradd -s /sbin/nologin mysql2.创建存放软件的文件夹：mkdir /application3.yum install -y lrzsz 将压缩包上传 rz4.解压 压缩包到文件夹中：tar xf mysql-5.5.62-linux-glibc2.12-x86_64.tar.gz -C /application...
2019-09-18 20:55:54
69
原创 pythonCrawler 13day01
python crawler接触到Python语言，感受到了它的实用性与强大，最近对Python crawler就是爬虫起了兴趣，乌拉卡卡卡卡是新手小白一枚，各方面收集了资料开始研究，如有纰漏错误请多见谅。所有练习源码在：https://github.com/xiaoazhao/pythonCrawler爬虫是什么：爬虫的比喻： 如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是...
2019-08-29 10:21:37
107
原创 爬虫，爬取猫眼电影Top100的电影名与评分
**爬虫，爬取猫眼电影Top100的电影名与评分**import requestsimport threadingimport reclass maoyan_top500(threading.Thread): def __init__(self, start_, end_,lock): threading.Thread.__init__(self) ...
2019-08-22 18:02:12
1135
原创 Day 07 python线程de一天
Day 07 python线程de一天多线程:在一个进程内部，要同时干很多事，就需要同时执行多个子任务 那么我们把进程内的这些子任务叫做线程线程的内存空间是共享的 每个线程都共享同一个进程的资源模块: 1、_thread模块 低级模块 2、threading模块 高级模块 对_thread模块进行了封装多线程类似于同时执行多个不同程序，多线程运行有如下优点...
2019-08-22 17:54:40
100
原创 Day06 python进程与线程
Day06 python的进程一脸懵的一天什么是进程：**进程（Process）**是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。。狭义定义：进程是程序的一次执...
2019-08-21 19:44:00
102
原创 Day 05 python进阶
Python进阶鸭作为新手小白，代码写的好不好先不说，但是必须要规范，给前辈留下好的印象PEP8代码规范代码编排：缩进4个空格，禁止空格与Tab混用import：不要使用from xxx import *...
2019-08-20 18:07:37
122
1
原创 Day04 python 面向对象编程基础
Day04 面向对象编程基础学习目标描述对象和类定义带数据域和方法的类使用构造方法调用初始化来创建和初始化数据域以构建一个对象使用self参数引用对象本身面向对象思想有三大要素：封装、继承和多态为了简化程序的设计，我们引入了函数的概念，把相对独立且经常重复使用的代码放置到函数中，在需要使用这些功能的时候只要调用函数即可；如果一个函数的功能过于复杂和臃肿，我们又可以进一步将函数继续...
2019-08-19 19:28:16
116
原创 Day03 开始上头昂！！！
Day03 开始上头昂！！！知识梳理：好啦！接下来开始说我们的字符串系列先说一下Python转义字符在需要在字符中使用特殊字符时，python用反斜杠()转义字符。如下表：转义字符 描述(在行尾时) 续行符\ 反斜杠符号’ 单引号" 双引号\a 响铃\b 退格(Backspace)\e 转义\000 空\n ...
2019-08-19 16:25:38
102
原创 Day02 python
Day02知识梳理：循环结构有两种：Python中构造循环结构有两种做法，一种是for-in循环，一种是while循环。如果在知道范围的情况下进行迭代我们要推荐使用for - in循环eg:用for循环实现1~100求和sum = 0for x in range(101):sum += xprint(sum)值得注意的是range也是一个前闭后开的区间。如果在不知道要具...
2019-08-19 16:23:08
162
原创 day01 python
Day01 python烧脑第一天知识梳理：关于python语言对于没有基础的人来说，python更容易上手。也是开源的得解释性语言，拥有强大的第三方库。其他的优点现在还没体会到。安装vscode基础语法数据类型：Python的数字类型有int整型、long长整型、float浮点数、以及布尔值（0和1）对于布尔值，只有两种结果即True和False、 ps:除了0和none其余都为...
2019-08-19 16:21:11
79
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人