- 博客(48)
- 收藏
- 关注
RSS订阅原创 MySQL优化知识点分类
MySQL优化目录一、设计方面1、存储引擎1.1、InnoDB1.2、MyISAM1.3、锁的概念2、字段类型选择3、范式与逆范式3.1、范式3.2、逆范式二、功能方面1、索引1.1、索引概述1.2、索引种类1.3、总结2、查询缓存2.1、开启2.2、注意事项3、分区3.1、分区算法3.2、分区管理与选择4、分表4.1、水平分表4.2、垂直分表三、架构方面1、主从复制1.1、为什么做主从复制。
2023-06-03 15:57:12
556
1
原创 前后端分离项目部署学习-好课商城项目部署详细步骤-DjangoDRF+Vue+Nginx+Uwsgi
前后端分离项目部署学习-好课商城项目部署详细步骤-DjangoDRF+Vue+Nginx+Uwsgi
2023-05-26 14:38:32
697
原创 Ubuntu18系统安装：node及node版本管理工具nvm部署前端项目
Ubuntu18系统安装：node及node版本管理工具nvm部署前端项目
2023-03-01 18:05:36
888
原创 Python 自动化办公-1
1使用Python 对表格文件添加数据和读取文件路径（表格文件需要提前准备好比如a.csv）这是添加文件内容import csvdef witecsv(path,data): # 定义一个方法传入参数with open(path,‘w’) as f: # 使用with 方法对文件进行写入witer = csv.writer(f) # 将写入的内容赋值给witer变量for rowData in data: #使用循环并打印print(‘rewD
2020-09-14 23:29:27
195
原创 RabbitMQ的介绍-1
什么是MQ？消息总线(Message Queue)，是一种跨进程、异步的通信机制，用于上下游传递消息。由消息系统来确保消息的可靠传递。MQ的作用的？应用解耦、异步、流量削锋、数据分发、错峰流控、日志收集等等…MQ衡量标准服务性能、数据存储、集群架构主流竞品分析当前市面上mq的产品很多，比如RabbitMQ、Kafka、ActiveMQ、ZeroMQ和阿里巴巴捐献给Apache的RocketMQ。甚至连redis这种NoSQL都支持MQ的功能。ActiveMQActiveMQ是apache出
2020-09-03 23:08:21
123
原创 PyQt5学习笔记-1
PyQt5是一套来自Digia的Qt5应用框架和Python的粘合剂。支持Python2.x和Python3.x版本。本教程使用Pyhton 3。Qt库是最强大的GUI支持库的一种。PyQt5的官方主页是www.riverbankcomputing.co.uk/news。是Riverbank Computing开发了PyQt5。PyQt5以一套Python模块的形式来实现功能。它包含了超过620个类，600个方法和函数。它是一个多平台的工具套件，它可以运行在所有的主流操作系统中，包含Unix，Window
2020-08-14 22:05:13
859
原创 3.3MapReduce实战
3.3.1 利用MRJob编写和运行MapReduce代码mrjob 简介使用python开发在Hadoop上运行的程序, mrjob是最简单的方式mrjob程序可以在本地测试运行也可以部署到Hadoop集群上运行如果不想成为hadoop专家, 但是需要利用Hadoop写MapReduce代码,mrJob是很好的选择mrjob 安装使用pip安装pip install mrjobmrjob实现WordCountfrom mrjob.job import MRJobclass
2020-06-29 11:34:26
282
原创 3.2分布式处理框架 MapReduce
3.2.1 什么是MapReduce源于Google的MapReduce论文(2004年12月)Hadoop的MapReduce是Google论文的开源实现MapReduce优点: 海量数据离线处理&易开发MapReduce缺点: 实时流式计算3.2.2 MapReduce编程模型MapReduce分而治之的思想数钱实例：一堆钞票，各种面值分别是多少单点策略一个人数所有的钞票，数出各种面值有多少张分治策略每个人分得一堆钞票，数出各种面值有多少张汇总，每个人负
2020-06-29 11:12:35
184
原创 3.1.1 什么是YARN
资源调度框架 YARN前面我们在分享Hadoop的核心组件的时候说过Yarn就是他的核心组件之一3.1.1什么是YARN- Yet Another Resource Negotiator, 另一种资源协调者- 通用资源管理系统- 为上层应用提供统一的资源管理和调度，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处3.1.2 YARN产生背景通用资源管理系统Hadoop数据分布式存储（数据分块，冗余存储）当多个MapReduce任务要用到相同的hdfs数据， 需要进行资源调度管
2020-06-20 11:31:59
232
原创 2.4 HDFS环境搭建
下载jdk 和 hadoop 放到 ~/software目录下 然后解压到 ~/app目录下tar -zxvf 压缩包名字 -C ~/app/配置环境变量vi ~/.bash_profileexport JAVA_HOME=/root/bigdata/jdkexport PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATHexport HADOOP_HOME=/root/bigdata/hadoopexport PATH=HADOOPHO..
2020-06-17 12:17:13
106
原创 2.3 HDFS设计思路和构架
分布式文件系统的设计思路：HDFS的设计目标适合运行在通用硬件(commodity hardware)上的分布式文件系统高度容错性的系统，适合部署在廉价的机器上HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用容易扩展，为用户提供性能不错的文件存储服务HDFS 的构架1个NameNode/NN(Master) 带 DataNode/DN(Slaves) (Master-Slave结构)1个文件会被拆分成多个BlockNameNode(NN)负责客户端请求.
2020-06-14 00:04:20
216
原创 2.2 HDFS shell操作
2.2 HDFS shell操作调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式ls使用方法：hadoop fs -ls 如果是文件，则按照如下格式返回文件信息：文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下：目录名 修改日期 修改时间 权限 用户ID 组ID示例：hadoop fs -ls /user/hadoop/file1 /u
2020-06-13 01:03:47
216
原创 2.1 分布式文件系统HDFS-使用
启动HDFS来到$HADOOP_HOME/sbin目录下执行start-dfs.sh[hadoop@hadoop00 sbin]$ ./start-dfs.sh可以看到 namenode和 datanode启动的日志信息 Starting namenodes on [hadoop00] hadoop00: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-hadoop-na.
2020-06-13 00:49:36
237
原创 1.3 Hadoop优势
高可靠数据存储: 数据块多副本数据计算: 某个节点崩溃, 会自动重新调度作业计算高扩展性存储/计算资源不够时，可以横向的线性扩展机器一个集群中可以包含数以千计的节点集群可以使用廉价机器，成本低Hadoop生态系统成熟总结：Hodoop是开源的而且生态系统成熟，所有很多公司都会使用他，安全性高，成本低，是分布式的存储和计算的系统，是大数据开发的首选...
2020-06-13 00:34:48
167
原创 1.2 Hadoop核心组件
1.2 Hadoop核心组件Hadoop是所有搜索引擎的共性问题的廉价解决方案如何存储持续增长的海量网页: 单节点 V.S. 分布式存储如何对持续增长的海量网页进行排序: 超算 V.S. 分布式计算HDFS 解决分布式存储问题MapReduce 解决分布式计算问题Hadoop Common: The common utilities that support the other Hadoop modules.(hadoop的核心组件)Hadoop Distributed File S
2020-06-13 00:28:07
302
原创 1.1什么是Hadoop
Hadoop名字的由来 - Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:**Apache™ Hadoop® 是一个开源的, 可靠的(reliable), 可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展: 从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储可靠的: 不依靠硬件来提供高可用性(high-availability)，而是在应用层检测和处理故障，从而在计算机集群
2020-06-13 00:14:08
207
原创 使用spark对文件内容进行分组
1.首先打开spark命令：bin/spark-shell2.在spark中创建一个文件夹，在里面创建2个TXT文件3 执行命令 sc 是上下文执行文件 textFile(“input”)是指定文件夹，.flatMap(.split(" ")) 是进行分组 .map((,1))是一种转化结构，.reduceByKey(+)是分组聚合 .collect打印结果scala> ...
2020-05-02 12:56:58
645
原创 Spark学习-1
1、什么是SparkSpark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架park拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的...
2020-04-30 23:08:24
155
原创 flask中app和current_app的理解
在flask内部维护者两个线程隔离的栈，current_app指向了AppContext(应用上下文)中的栈顶，request指向了RequestContext(请求上下文)栈顶，当请求进入的时候，Request对象被压入栈，从而request有了指向处理请求，接下来会判断AppContext栈顶是否为空，若为空则向栈中压入一个AppContext对象，即app,从而current_app就有了...
2020-04-12 20:13:20
1905
原创 爬虫基础(二)
爬虫中数据的分类结构化数据 ：json，xml等处理方式：直接转化为python类型非结构化数据：html处理方式：re 正则表达式，xpathjson模块方法（浏览器切换手机版）可以根据删除请求的url地址的参数，剃掉不想要的json数据，如：callbackjson.dumps 把python类型转化为json字符串json.loads json字符串数...
2020-03-20 18:02:28
371
原创 爬虫基础入门（一）
爬虫的作用1.数据采集抓取微博评论（机器学习舆情监控）抓取招聘网站的招聘信息（数据分析，挖掘）新浪滚动新闻百度新闻网站2.软件测试爬虫之自动化测试虫师3.12306抢票4.网站上的投票5.网络安全短信轰炸web漏洞扫描爬虫分类根据被爬取的数量不同，分类： 通用爬虫：通常指搜索引擎的爬虫聚焦爬虫：针对特定网站的爬虫根据是否获取数据为目的，分类：功能性爬虫，比如，...
2020-03-18 17:18:07
458
1
原创 python中get 和post的区别
1.1 我们耳熟能详的的区别http协议最常见的两种方法GET和POST，这几点答案其实有几点并不准确请求缓存：GET 会被缓存，而post不会收藏书签：GET可以，而POST不能保留浏览器历史记录：GET可以，而POST不能用处：get常用于取回数据，post用于提交数据安全性：post比get安全请求参数：querystring 是url的一部分get、post都可以带上。 ge...
2020-01-10 16:16:15
331
原创 Mysql数据的查询优化
.能够知道数据库的作用用来持久化存储和快速读取数据的2.能够完成MySQL数据库的安装sudo apt-get install mysql # ubuntu下服务器端的安装sudo apt-get install mysql-client3.能够知道数据类型和数据约束的作用1.数据类型，可以指定存储的大小和字段类型。2.not null, default, primary key,...
2019-11-27 16:58:43
69
原创 Mysql数据库的使用命令
首先分享一个关于本文的链接，各位感觉有用的可以搜索查看文档：MySql强化(1).note链接：http://note.youdao.com/noteshare?id=5bd2ee6b9dcb2de7f56149531f1d59a7&sub=C4DB7D5FE69B458D814FE55204AD3953数据库操作– 查看所有数据库:show databases;– 创建数据库...
2019-11-27 16:57:47
149
原创 Mysql 事务特征和索引---有彩蛋
首先分享一个自己写的笔记链接文档：MySql基础.note链接：http://note.youdao.com/noteshare?id=8ca86cfcd0265d31b5b57c9ff26f163d&sub=8CFBDF15E4874EA4B21D3951956E33271.事务的四大特性原子性(Atomicity)一致性(Consistency)隔离性(Isolation)...
2019-11-27 16:51:16
105
原创 Python程序操作Mysql数据库
安装pymysql第三方包:sudo pip3 install pymysql说明:安装命令使用 sudo pip3 install 第三方包名卸载命令使用 sudo pip3 uninstall 第三方包大家现在使用的虚拟机已经安装了这个第三方包，可以使用： pip3 show pymysql 命令查看第三方包的信息pip3 list 查看使用pip命令安装的第三方包列表pymys...
2019-11-27 16:46:01
302
原创 Mysql基础使用
1.分类：关系型数据库：OracleMicrosoft SQL ServerMySQLSQLite非关系型数据库：（强调key-value的方式存储）MongoDBRedis2.数据库的特点持久化存储读写速度极高保证数据的有效性SQL语言主要分为：DQL：数据查询语言，用于对数据进行查询，如select(重点)DML：数据操作语言，对数据进行增加、修改、删除，如ins...
2019-11-27 16:42:42
385
原创 Flask-RESTful风格marshal 工具
marshal 工具 方式有2中步骤：使用marshal_with 装饰器先自定义想要返回的的数据格式class User(object):def init(self, user_id, name, age):self.user_id = user_idself.name = nameself.age = agemy_fields = {user_id’: fields.Inte...
2019-11-22 22:59:02
1104
原创 Flask-RESTful 使用RequestParser获取参数
from flask_restful reqpes import RequestParser好处： 过滤和转换类型步骤：1创建对象：reqser = ReqserParser()2添加参数声明：reqser.add_argument(‘name’)required 是否必须存在 True 必须 False 默认help 错误时返回错误信息type 参数类型 系统类型： i...
2019-11-22 22:56:51
2109
原创 Flask-RESTful中使用装饰器
1以列表的方式赋值给method_decorators类属性，对所有请求方法有效method_decorators =[dornfs1,dornfs2]2 以字典的方式赋值给method_decorators,分别给请求方法失效method_decorators = {‘get’: [dornfs1,dornfs2],‘post’: [dornfs2]}def dornfs1(func):...
2019-11-22 22:55:07
661
原创 Flask-RESTful风格的使用
首先下载pip install flask-restful使用步骤：导入Rrsource ,Api创建api对象，并关联api = Api(app)定义视图类class Hello(Rrsource):def get(self):return {‘data’:‘hello’}使用api对象绑定路由和视图api.add_resouce(Hello， ‘/’)在蓝图中使用Fla...
2019-11-22 22:45:00
222
原创 flask中返回响应数据-json,jinja2
返回响应json数据有2种 json.dumps({‘token’ : ‘laoshi’} ; json.dumps(data)方式一 直接在返回的后面添加响应的数据比如{‘token’:'laoshi},404方式二 使用response 设置response = make_response(‘index’)response .status_code = 404 # stat...
2019-11-21 15:32:07
814
原创 flask中请求参数-转换器和自定义转换器
1路径参数flask 转换器 的作用转化数据类型，获取参数，过滤掉不符合规则请求@app.route(’/users/<user_id> # 匹配任意格式的字符串@app.route(’/users/int:usuer_id # 匹配整数格式的字符串@app.route(’/users/<int(min):user_id’> # 匹配最小为1 的整数开始的字符自定...
2019-11-21 15:28:36
256
原创 flask中蓝图的基本使用
蓝图是flask中必不可少的，基本flask显示到浏览器的内容都需要使用蓝图，蓝图的使用是减轻了代码之间的耦合度，即使某个地方报错也不会影响全局d07_blueprint.py创建蓝图对象user_bp = Blueprint(‘user’, name)使用蓝图对象定义路由和视图函数@user_bp.route(’/)def user_index():return把蓝图对象注册到a...
2019-11-21 15:25:58
131
原创 关于flask中app的引用
首先进入flask中的第一步就是先了解它的使用，而app是flask中使用的一个对象通过这个对象可以引用出flask中的很多方法具体使用如下：form flask immport Flask注册对象app = Flask(name)编写视图@app.route(’/’)def index():return ‘index’启动调试服务器if name == ‘main’:app...
2019-11-21 15:20:40
1590
原创 关于flask框架中默认的请求方式的理解
首先我们可以在flask框架中使用：print（app.url_map）和在pycham的终端中输入 flask routes 这两种方式来查看默认的请求方式从中可以看到GET,HEAD,OPTIONS,这3种请求方式HEAD : 只返回首部，一般用于检查超链接 比如URL是否可用OPTIONS :返回接口路由允许的请求方式跨域前期检测应用程序的配置参数...
2019-11-21 15:08:55
497
原创 Flask和Djiang的区别
认识Falsk本身当于一个内核,其他的所有功能都要用到扩展（邮件扩展flask-mail,用户扩展falsk-login,数据库扩展falsk-SQLAlchemy）flask=Werkzeug(路由模块) + jinja2模板最新版本 1.0.2 旧的版本 0.9； 0.10框架的对比框架的、轻重重量级的框架：为了方便业务程序的开发提供了丰富的工具，组件，如Django轻量级的框架...
2019-11-20 22:08:15
221
原创 认识Flask
认识Falsk本身当于一个内核,其他的所有功能都要用到扩展（邮件扩展flask-mail,用户扩展falsk-login,数据库扩展falsk-SQLAlchemy）flask=Werkzeug(路由模块) + jinja2模板最新版本 1.0.2 旧的版本 0.9； 0.10框架的对比框架的、轻重重量级的框架：为了方便业务程序的开发提供了丰富的工具，组件，如Django轻量级的框架...
2019-11-20 22:03:32
105
原创 分布式文件系统---FastDFS系统
KASS系统KASS File System（简称KFS）是开始软件自主研发基于JAVA的纯分布式文件系统，功能类似于DFS、GFS、Hadoop，通过HTTP WEB为企业的各种信息系统提供底层文件存储及访问服务，搭建企业私有云存储服务平台。DFS系统DFS是AFS的一个版本，作为开放软件基金会(OSF)的分布分布式文件系统分布式文件系统式计算环境DCE中的文件系统部分。如果文件的...
2019-11-10 12:25:35
335
原创 优秀程序员应该学习的网站
优秀程序员必逛网站编程学习类菜鸟教程：https://www.runoob.com/我要自学网：https://www.51zxw.net/W3CSchool：https://www.w3cschool.cn/Edx：https://www.edx.org/GitHub：https://github.com/CSDN：https://www.csdn.net极客学院：https:/...
2019-10-19 18:59:25
836
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人