二次元肥宅

原创 算法 雪花算法 Python

Twitter 于 2010 年开源了内部团队在用的一款全局唯一 ID 生成算法 Snowflake，翻译过来叫做雪花算法。Snowflake 不借助数据库，可直接由编程语言生成，它通过巧妙的位设计使得 ID 能够满足递增属性，且生成的 ID 并不是依次连续的。它连续生成的 3 个 ID 看起来像这样：563583455628754944563583466173235200563583552944996352Snowflake 以 64 bit 来存储组成 ID 的4 个部分：1、最高位占1

原创 算法 冒泡排序 Python

冒泡排序就是把小的元素往前调或者把大的元素往后调。比较相邻的两个元素，如果两个元素相等，不发生交换。这个应该算原理吧。 时间复杂度： 因为存在那么一种情况，数组无需排序，但是，算法执行的时候该比还是要比的，所以最乐观的情况下，时间复杂度为O(n)。最差的情况下为O(n^2),事实上，一般平均时间复杂度都是O(n^2)。 算了，废话不多说。import datetimeimport randomdef bubble_sort(array): fo...

原创 算法 快速排序 Python

快速排序策略：分而治之，一种著名的递归式问题解决方法。只要你会递归 ，这个快速排序就很是简单。如果你不会递归，建议去学一下或许会有所疑问为何输出 时间00：00：00 那是因为用时不足一秒。import datetimeimport randomdef query_sort(array): if len(array) < 2: return array # 最多只有一个元素的数组就别来凑热闹了 else: p = arra.

原创 算法 费氏搜寻法 Python

费氏搜寻法简介费氏搜寻法，利用斐波那契数列从有序数列中搜寻特定元素的一种搜索算法。上文说的是二分法，二分法每次搜寻时，都会将区间分为一半，所以其时间为O(log₂n)。费氏搜寻，其利用费氏数列作为间隔来搜寻下一个数，所以区间收敛的速度更快，搜寻时间为O(logn)。用一个例子来说明：查询的数组：num[]0 0 1 1 1 2 2 2 3 5 6 7 8 8 9斐波拉契数列：F[]1 1 2 3 5 8 13 21…现在假定我们查询的数字是：find=7.方便计算，我们的num[]和F[]

原创 算法 二分法 Python

二分法 二分法，有这么一个场景，大概咱们都能下意识的使用到它。 猜数字游戏：我随机生成了一个数字，范围是0-100之间，你需要用最短的时间，最少的次数去猜到它，我会告诉你每次猜测的结果是大于还是小于，直至正确为止。 游戏开始：随机数字78 范围 0 - 100 次数 玩家 系统 第一次 50？ 小了 第二次 75？ 小了 第三次 88? 大了 第四次

原创 git常用命令

翻译 web网站性能优化

图来，源于网络，侵权立删：最小化HTTP请求标签：内容最终用户响应时间的80％用于前端。大部分时间都在下载页面中的所有组件：图像，样式表，脚本，Flash等。减少组件数量反过来减少了呈现页面所需的HTTP请求数量。这是更快页面的关键。减少页面中组件数量的一种方法是简化页面设计。但有没有办法构建内容更丰富的页面，同时还能实现快速响应时间？以下是一些减少HTTP请求数量的技术，同时...

原创 Redis 性能调优

图来，源于网络，侵权立删：  前言尽管Redis是一个非常快速的内存数据存储媒介，也并不代表Redis不会产生性能问题。Redis采用单线程模型，所有的命令都是由一个线程串行执行的，所以当某个命令执行耗时较长时，会拖慢其后的所有命令，这使得Redis对每个任务的执行效率更加敏感。针对Redis的性能优化，主要从下面几个层面入手：最初的也是最重要的，确保没有让Redis...

原创 django restful api接口优化

老规矩，图来；源自网络，侵权立删： 　前言　　系列文章：　　《django入门：环境及项目搭建》　　《django入门：数据模型》　　《django入门：视图及模版》　　《django入门：Admin管理系统及表单》　　《django入门：通用视图类重构视图》　　在《用django写接...

原创 高内聚、低耦合

 按照惯例，先来个图镇楼（图片源自网络，侵权立删）： 高内聚、低耦合是为了解决：接口开发规范，实现可插拔   起因：模块独立性指每个模块只完成系统要求的独立子功能，并且与其他模块的联系最少且接口简单，两个定性的度量标准――耦合性和内聚性。 　　 耦合性也称块间联系。指软件系统结构中各模块间相互联系紧密程度的一种度量。模块之间联系越紧密，其耦合性就越强，模块的独立性则越差...

原创 python 爬虫如何使用代理IP

                                     python3 爬虫如何使用代理IP                                                             前言       众所周知，爬虫速度过快，频繁访问都会被封IP，怎么解决这个问题呢？再去换一台设备？先不说数据是否同步，仅仅换个设备的成本就不低，这个时候就需要...

原创 Python Scrapy框架速率优化

 先来个图镇楼（图片源自网络，侵权立删） scrapy基于twisted异步IO框架，downloader是多线程的。但是，由于python使用GIL（全局解释器锁，保证同时只有一个线程在使用解释器），这极大限制了并行性，在处理运算密集型程序的时候，Python的多线程效果很差，而如果开多个线程进行耗时的IO操作时，Python的多线程才能发挥出更大的作用。（因为Python在进行长时I...

原创 django + mysql 登陆注册

创建django项目 方式不唯一创建app: python manage.py startapp testmodel 创建模型类 由orm 生成数据库表from django.db import modelsfrom django.utils import timezoneclass User(models.Model): GENDER_CHOICE = (('m...

原创 爬虫集锦之校花网

 爬取的目标网页：http://www.xiaohuar.com/hua/项目源码已上传至github，码云详情请查看github内的readme.txt文件github链接：https://github.com/18839739027/all_scrapy最终效果图：...

转载 API大全 汇总（转载）

API是获取网络服务最便捷的方式，合理地使用API开发项目可以大大提高开发效率，把精力都集中在程序的业务逻辑之上，避免重复造轮子。推荐给大家个人觉得很赞的第三方API（资源整合自网络）。文章分为天气查询、生活常用、文体娱乐、企业金融、通讯服务、交通出行、技术开发七大类，如果你觉得分类不直观，想直接获取免费可试用的api，也可以直接搜索用友APILink，或访问官网api.yonyoucloud.c...

原创 tb评论

 重点： 读取的是本地的json 文件，本地文件未上传，有本地json文件结构图，代码在最下边！思路：1.  打开文件2.  解析文件3. 保存4. 其实吧，看着run函数里的代码执行逻辑一步一步走下来，这个思路就出来了。5.容我偷个懒，不写了 。。。结构图：# -*- coding: utf-8 -*-# @Time : 2019/1/7 12:05...

原创 爬取我大Bilbil的视频相关数据

 爬取的内容不是那么的多，但也够用了，比葫芦画瓢就能画出来自己想要的，nice捋下思路：1. 进入页面，开发者工具抓取到自己需要的请求2. 带上请求头，分析参数3. 获取自己的目标数据4. 格式化json数据5. 抓取自己需要的数据6.数据保存# -*- coding: utf-8 -*-# @Time : 2019/1/7 10:58# @Author ...

转载 扒一扒那些奇葩的代码注释，程序不会崩，但程序员会（转载）

导读：作为程序员，有没有让你感到既无语又崩溃的代码注释？StackOverflow 上有一个类似的问题，问大家见过哪些超秀的注释，不少程序员纷纷吐槽自己见过的那些逆天注释，我们一起来围观一下。1. 只有上帝知道//我写这一行的时候，只有上帝和我知道我在写什么//现在，只有上帝知道了2. 相隔时空的diss//somedev1 -  6/7/02 添加对登录屏幕的暂时...

原创 获取某东的里的信息，并保存至csv,mysql(类)

# -*- coding: utf-8 -*-# @Time : 2018/12/28 12:01# @Author : zhangxinxin# @Email : [email protected]# @Software: PyCharmimport requestsimport timeimport jsonimport csvimport pymysql.cu...

原创 爬取京东的商品信息，并保存至CSV文件中（类）

# -*- coding: utf-8 -*-# @Time : 2018/12/27 17:06# @Author : zhangxinxin# 感谢小六，小勾， 小胖给予的帮助# @Email : [email protected]# @Software: PyCharmimport csvimport requestsimport timeimport jso...

原创 CSV 文件的读写（函数）

# -*- coding: utf-8 -*-# @Time : 2018/12/27 11:22# @Author : zhangxinxin# @Email : [email protected]# @Software: PyCharm"""CSV(Comma-Separated Values)即逗号分隔值，可以用Excel打开查看。由于是纯文本，任何编辑器也都可打...

原创 携带cookies请求github个人信息(类封装)

本文请求的是gitbub个人设置页 的邮箱信息，可以在函数内添加您的需求，代码内已注明# -*- coding: utf-8 -*-# @Time : 2018/12/2620:48# @Auther : zhangxinxin# @Email : [email protected]# @Software: PyCharm# 需要登陆的情况"""场景：个人信息页， ...

原创 论因究果

        这个草稿写了几个月了，从几千字的文章，擦掉，又一点一点的写出来，又擦掉，心理活动无以言表。 

原创 网络和http协议理论

网络和http协议理论===协议protocol：两台计算机互相通讯，需要定义规则，如何发现对方、谁先发起通讯、通讯语言规则、结束通讯标识。## TCP/IP协议族协议族：不止一个协议，一堆协议的总称- TCP UDP：传输控制协议。 - IP: 网络地址- HTTP：hyper text transfer protocol 超文本传输协议。 html- DNS: 域名解析...

原创 浅析 函数 列表 字典

 先来个图镇楼（图片源自网络，侵权立删）函数   函数的定义：函数就是封装一个功能代码的集合功能：定义一个函数define 定义 函数名的命名 ：每个单词小写，两个单词用_下划线连接，函数名要做到见名知意格式：def 函数名函数调用格式： 函数名（）函数是有参数的  参数分两种1.必要参数必须要传的参数， 不传会触发异常。2.缺省参数...