- 博客(21)
- 收藏
- 关注
RSS订阅
原创 python自带logging模块的使用总结 附github测试
django使用python自带的logging日志模块来实现，调试或者生产环境中调试信息的记录。尤其是在生产环境中尤为重要，与调试环境下 日志输出控制台不同，生产环境下需要将日志打印到文件中，方便检查程序运行过程中的相关信息。官方文档查看地址>>>>>>>>https://docs.python.org/3/library/logging.han...
2019-05-16 11:00:38
376
原创 django项目中使用crontab定时任务
django-crontab 在ubuntu-18.04.2上的使用需求：django项目中需添加定时任务，定时执行某个函数或者自定义的命令等）2. 在settings.py文件中注册3. 在settings.py文件中配置定时执行自定义函数定时执行django中自定义的命令格式：参数1：定时 例如*/1 * * * * 表示每隔1分钟执行参数2：方法的python模块路径，如果执行django-admin命令，则写django.core.management.call_comma
2019-05-10 09:09:44
1690
1
原创 KafKa集群搭建和知识点
KafKa是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据试试处理领域是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
2023-08-10 18:19:48
633
原创 docker使用
中央仓库上的镜像， 也是Docker的用户自己上传上去的# 1 创建一个Dockerfile文件，并且指定自定义的镜像 # Dockerfile文件中常用的内容 from: 指定当前自定义镜像以来的环境copy: 将相对路径下的内容复制到自定义的镜像中workdir: 声明镜像的默认工作目录cmd: 需要执行的命令（在workdir下执行的，cmd可以写多个，但是以最后一个为准）准备Dockerfile文件from 依赖的镜像地址or链接copy 工程文件 镜像路径workdircmd。
2023-08-10 15:53:07
578
原创 redis big key
假设我们使用List数据结构保存某个明星/网红的粉丝，或者保存热点新闻的评论列表，因为粉丝数量巨大，热点新闻因为点击率、评论数会很多，这样List集合中存放的元素就会很多，可能导致value过大，进而产生Big Key问题。redis中这些value很大，在序列化和反序列化的过程中会花费很长的时间，因此再操作redis的Big Key的时候，通常就比较耗时，有可能导致redis发生阻塞，从而降低redis的性能。没有对无效数据进行定期清理，造成如HASH类型Key中的成员持续不断的增加。
2022-11-30 16:29:25
337
原创 mac 搭建php + nginx + yii 项目
mac前言Yii是一个基于组件的高性能PHP框架，用于开发大型Web应用。Yii采用严格的OOP编写，并有着完善的库引用以及全面的教程。从MVC，DAO/ActiveRecord，widgets，caching，等级式RBAC，Web服务，到主题化，I18N和L10N，Yii提供了今日Web 2.0应用开发所需要的几乎一切功能。事实上，Yii是最有效率的PHP框架之一。Yii是一个高性能的P...
2020-03-25 16:57:42
716
原创 flask中使用celery做异步任务
需求：项目中某些接口会执行一些较为耗时的处理，这时候接口的响应速度太慢，会影响系统的并发能力，故使用celery对耗时的代码段进行异步处理，完成后再进行回调1 安装依赖包Flask-Celery == 2.4.3Flask-Celery-Helper == 1.1.0Flask-Script == 2.0.6 # flask的脚本工具，可以设定在命令行执行的自定义的命令celery...
2020-03-02 16:01:55
1084
6
原创 flask使用redis对请求ip与设备进行限制
需求：对客户端ip与设备进行访问控制有这么一个需求，需要对flask的接口进行限制。同一ip下只允许固定数量的设备进行访问。1 方法：使用flask_limiter，缺点只能对ip进行访问频率和次数的控制，无法与设备进行绑定。参考链接：flask_limiter使用缓存来设置，redis这里使用redis来实现对ip和设备进行绑定来时先2 实现：flask自有的功能:...
2019-12-09 10:07:32
1056
原创 在anaconda中配置时，始终报错Multiple Errors Encountered
之前的python是3.7，今天因为需要环境为python3.6版本的，就想安装个虚拟环境在anaconda中配置时，始终报错Multiple Errors Encountered，简直奔溃在cmd输入conda create --name scrapy python=3.6也是报错，如下后面发现将缓存的包删除就可以了 conda clean --packages --tarballs...
2019-11-04 22:21:08
6444
3
原创 使用snownlp对京东购物评论进行情感分析
使用snownlp对京东购物评论进行情感分析目的：利用snownlp包，对京东评论进行情感分析涉及： mysql，snownlp，pandas等工具包代码结构如下：注意：jd_comments.csv中存储的是从京东爬取的二手苹果收集的评论，共计589条，并已标注了好评和差评neg.txt 以及 pos.txt 是利用pandas对jd_comments的数据进行切分过滤得到的好评...
2019-09-09 14:34:32
2795
5
原创 嵌套列表拆分-python
python中嵌套列表的拆分方法import collectionsdef flatten(lst): for item in lst: if isinstance(item,collections.Iterable)and not isinstance(item,(str,bytes)): yield from flatten(item) ...
2019-08-27 11:56:22
1766
原创 celery_once在Django中的使用
celery_once在Django中的使用（结合celery）原理，redis的分布式锁1 django项目下的celery.py文件中添加如下：# 目的是拒绝隐士引入，celery.py和celery冲突。from __future__ import absolute_import, unicode_literalsfrom celery import Celery, platf...
2019-08-06 17:39:28
1732
原创 ELK数据搜索引擎搭建
ELK数据搜索引擎搭建1. 简介模块的主要功能有：Filebeat: 读取数据、日志等文件，并将数据传输给LogstashLogstash: 收集Filebeat传递的数据，经过filter格式化、过滤后，输出到ElasticsearchElasticsearch：获取Logstash传递的数据，存储到设定好的索引中，方便使用API、Kibana进行查询、分析等Kibana：可视化...
2019-08-01 17:07:37
408
转载 【uWSGI】 listen queue of socket (fd: 3) 错误分析----转发
出错场景centos 6.6uWSGI2.0nginx1.6错误日志截取Tue Jun 2 17:33:27 2015 - *** uWSGI listen queue of socket "127.0.0.1:9001" (fd: 3) full !!! (101/100) ***Tue Jun 2 17:33:28 2015 - *** uWSGI listen queue ...
2019-06-25 10:23:17
371
原创 Mongodb的用户管理简单操作
mongodb数据库的用户管理操作1. 创建用户语法：db.createUser({ user:<name_string>, #字符串 pwd:<password_strin>...
2019-05-23 11:55:08
157
原创 Python中 sort、itemgetter、groupby内置函数的使用
sort、itemgetter、groupby等内置函数的使用1、需求：有一个学生信息表studentsinfo（这里以字典来举例说明），需要对其操作：按照所属班级排序并进行分组（可以理解为对字典进行排序的操作）infos = [ {"id": 1, "name": "red", "sex": "male", "age": 17, "class": 2}, {"id": 2, ...
2019-05-15 12:02:25
727
翻译 python3中requests库和urllib包对比
python中有多种库可以用来处理http请求，比如：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了，requests库使用了urllib3。requests库特别简洁和容易理解。下面我们来分别使用urllib包和requests库写一个get请求，进行一下对比，如下：1、使用urllib....
2018-09-19 09:17:14
6024
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人