Mr_Qian_Ives的博客

原创 python 实现hash数据库分片

系统设计

原创 transformers下载模型并引用

transformers模型的下载以及离线引用

原创 datagrip连接sqlserve发生[08S01] 驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接

解决bug

原创 Python实现排列组合

from itertools import combinationsfrom itertools import permutations"""所谓排列，就是指从给定个数的元素中取出指定个数的元素进行排序。组合则是指从给定个数的元素中仅仅取出指定个数的元素，不考虑排序。"""# 组合 从10个数里面挑4个data = list(combinations([i for i in range(1, 11)], 4))print(f"共有{len(data)}中选法")print(data)#

原创 Navicat连接SQLserver出现‘未发现数据源名称并且未指定默认驱动程序‘

原创 腾讯云发送短信

如果你没购买腾讯云短信服务，请关闭这个网页，或者浏览以下链接去学习如何购买腾讯云短信服务后，再来浏览页面下方的内容，避免浪费时间。使用腾讯云短信教程安装腾讯云短信的包pip install qcloudsms_py源码# encoding:utf-8from qcloudsms_py import SmsMultiSender, SmsSingleSenderfrom qcloudsms_py.httpclient import HTTPErrorappid = ""appkey =

原创 Python xls转换为xlsx

# encoding:utf-8import win32com.client as win32# 如果批量文件处理，循环即可。filePath = r""excel = win32.gencache.EnsureDispatch('Excel.Application')wb = excel.Workbooks.Open(filePath)# 51是.xlsx格式# 56是.xls格式wb.SaveAs(filePath + "x", FileFormat=51)wb.Close()ex

原创 gensim训练Word2Vec词向量模型

gensim训练Word2Vec词向量模型

原创 关于.gitignore更改后Push无效

git rm -r --cached .git add . git commit -m 'update .gitignore'

原创 Python从配置文件导入环境变量

import osfrom dotenv import load_dotenv# 默认把'.env'或者'.flaskenv'看作配置文件for env_file in ('.env', '.flaskenv'): # 获取当前目录下的文件 env = os.path.join(os.getcwd(), env_file) # 如果配置文件存在，则导入配置文件中的内容 if os.path.exists(env): load_dotenv(env)配置文件

原创 Python 生成Sha256序列

# encoding:utf-8import hashlibkey = "随便啥"value = hashlib.sha256(key.encode()).hexdigest()print(value)

原创 Mac Navicat 环境配置

下载和安装和汉化来自xclient网站，如果链接失效，自行搜索。常见问题1、提示已损坏无法打开解决办法：打开终端；输入以下命令，回车；sudo xattr -d com.apple.quarantine /Applications/xxxx.app注意：/Applications/xxxx.app 换成你的App路径（推荐直接将.app文件拖入终端中自动生成路径，以防空格等转义字符手动复制或输入出现错误）重启App即可。2、更换app下载来源sudo spctl --master-di

原创 docker 安装mysql

拉取镜像docker pull mysql:5.7建立文件夹并赋权限mkdir -p /usr/mysql/conf /usr/mysql/data /var/log/mysqlchmod -R 777 /usr/mysql/conf /usr/mysql/data /var/log/mysql修改配置文件vim /usr/mysql/conf/my.cnf输入以下内容[client]default-character-set = utf8mb4[mysqld]datadir = /

原创 pip设置清华源

临时pip install package -i https://pypi.tuna.tsinghua.edu.cn/simple永久pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

原创 Anaconda设置清华源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anacond

原创 Python开启HTTP

Python3python -m http.server 8000Python2python -m SimpleHTTPServer 8000

原创 生成python环境requirements.txt

pip freeze > requirements.txt

原创 Python全局引用自定义包

当作第三方库把包加入site-packages文件夹暂时添加sys.path.append(path)配置文件在site-packages创建xx.pth文件，把包的绝对路径写入改文件

原创 地市的天气code

# encoding:utf-8import jsonimport requestsresult = requests.get("https://j.i8tq.com/weather2020/search/city.js").text.strip().replace("var city_data =", "")mes_to_dict = json.loads(result)with open("areaAndCode.txt", mode='w', encoding="utf-8") as f

原创 获取GitHub上TOP项目

多参考大佬的项目，从中获得启发import requests# 根据参数，获得对应的项目信息def getInfo(language="python", date="2020-12-31", laterOrBefore="later", number=10): # %3E 大于 # %3C 小于 if laterOrBefore.__eq__("later"): laterOrBeforeTemp = "%3E" elif laterOrBefore

原创 Python 爬取全国天气

来源爬取所有城市的URL一个城市对应一个URL，需要所有城市的URL并保存到本地文件。运行该步骤的时间会很长，但是一劳永逸，只需要跑一遍。也可以百度云链接: https://pan.baidu.com/s/1QJRwvLpYavoOeNpMOVRwUg密码: l98rimport requestsfrom bs4 import BeautifulSoupfrom WebWorm.RandomHeader import getRandomHeaderimport re"""1、参

原创 Python 爬取豆瓣电影、书籍、音乐Top250

成果源码import requestsfrom bs4 import BeautifulSoupfrom WebWorm.RandomHeader import getRandomHeader# 根据url返回HTML内容def parse(url): # 设置随机头 headers = {"user-agent": getRandomHeader()} # 请求URL request = requests.get(url, headers=header

原创 Python 爬取微博、百度实时热点

成果代码import timefrom WebWorm.RandomHeader import *import requestsfrom bs4 import BeautifulSoup# 爬取微博实时热事def weiBo(): # 微博热搜URL url = 'https://s.weibo.com/top/summary' # 随机头 headers = {"User-Agent": getRandomHeader()} # 请求网页

原创 Python 繁体简体互相转换

import zhconv# 简体转繁体word = "往后余生，策马奔腾，步步高升，一览天下。"# 输出print(zhconv.convert(word, 'zh-tw'))# 繁体转简体word = "往後餘生，策馬奔騰，步步高升，一覽天下。"# 输出print(zhconv.convert(word, 'zh-cn'))...

原创 Python 爬取毒鸡汤、甜言蜜语等话语

成果源码import requestsimport timefrom WebWorm.RandomHeader import *# 下载口吐芬芳的话语def downloadAbuse(): download('https://nmsl.shadiao.app/api.php?level=min&lang=zh_cn', '口吐芬芳')# 下载拍马屁的话语def downloadPraise(): download('https://chp.shadiao

原创 Python 解析数独

前几天，四年级的弟弟拿着数独题来问我，我陷入了沉思，为了避免以后的尴尬，做了一个数独解析的算法。"""1、参数grid是数独中所有的数row是行下标col是列下标2、主要功能寻找空值并返回对应的行列下标3、返回值x、y是空值的行列下标如果数独中没有空值，就返回-1,-1"""def getNullIndex(grid, row, col): # 从row，col开始遍历 for x in range(row, 9): for y in range

原创 Python pdf、docx的互相转、提取docx中的文本、图片、表格

pdf转docxfrom pdf2docx import Converter"""1、参数pdfPath为pdf的路径，docxPath为docx的路径2、主要功能把pdf文件转换成docx文件，先解析pdf文件，再添加到docx文件。"""def pdfToDocx(pdfPath, docxPath=None): # 解析pdf文件 cv = Converter(pdfPath) # 设置docx文件的默认路径 if docxPath is None

原创 Python SMTP 发送邮件

163邮箱163邮箱不太稳定，所以Demo中只发送文本信息。图片、附件使用QQ邮箱发送。import smtplib# 163邮箱的服务器host = 'smtp.163.com'# 端口port = 465# 发件人的邮箱senderEmail = '[email protected]'# 发件人邮箱的授权码（自己百度QQ邮箱授权码，教程满天飞）password = 'xxxxx'# 发件人的称呼name = "钱先生"# 拼接昵称 钱先生 <Mr_

原创 Python 二维码

生成二维码myqr库（不支持中文，但支持图片背景）from MyQR import myqrimport os# 存入二维码的信息info = "https://blog.csdn.net/Mr_Qian_Ives"# 生成二维码myqr.run( # 1、存入二维码的信息 info, # 2、二维码的大小 # Version 1 是 21 x 21 的矩阵， # Version 2 是 25 x 25 的矩阵， # Version

原创 Java Serializable（序列化）

序列化的意义序列化机制将Java对象转换为字节序列，这些字节序列可以保存在磁盘上，或通过网络传输。序列化机制使得java对象可以脱离程序而独立存在。使用场景把对象进行网络传输把对象保存到磁盘可序列化的类如果父类是可序列化的，那么子类可以序列化如果类的成员是可序列化的，那么类可以序列化序列化和序列化的Demo /* 1、参数 file是文件对象 object是写入的对象 2、主要功能 把对象序列化后写入文件，规则：一个文件只写一个对象

原创 Java File类

目录实例化文件对象能否读能否写能否执行是否为文件是否为文件夹是否为绝对路径该路径是否隐藏创建新的文件创建新的随机数文件删除文件路径是否存在上一次修改时间获得绝对路径获得路径的名字获得路径的字符串格式获得父母的信息路径的大小创建文件夹路径重命名设置执行权限设置上一次修改时间设置可读设置可写设置只读获得文件夹下的内容获得文件夹下符合条件的内容实例化文件对象//创建File对象File file = new File("/Users/apple/Downloads/123.txt");能否读//是否可

原创 Python 内置函数

目录获取数字的绝对值获取两数相除的商和余数控制台输入打开文件获取数字的绝对值 """ 参数可以是整数、浮点数、复数（z=a+bj） 如果你不知道复数是啥，当我没说= 。= """ # 输出整数的绝对值 结果：1 print(abs(-1)) # 输出浮点数的绝对值 结果：1.5 print(abs(-1.5)) # 输出复数的绝对值 结果：2.23606797749979 print(abs(1 + 2j))

原创 导入sql文件到mysql

使用终端登陆mysql-u和-p不要动，root是你的用户名，password是你的密码。mysql -uroot -ppassword导入数据如果sql文件中没有‘use xxx’（使用某个数据库），但是你想sql文件中的表导入到数据库A，先执行‘use A’，再导入sql数据。 source /Users/xxx/spark_project.sql使用navicate如果报错，请及时联系我或者在下方评论，大家一起进步。...

原创 fake_useragent的所有header

为了方便以后随机header的使用，我把fake_useragent中几乎所有的header提取出来了，有250个header。提取header代码from fake_useragent import UserAgent# 实例化ua = UserAgent(use_cache_server=False)# 存放header的数组a = []# 循环100w次提取headerfor i in range(1000000): # 获得随机header header = u

原创 Python calendar模块

目录获取某年的日历获取某月的日历判断某年是否为闰年获取两年之间闰年的数量获取某天是周几获取某月的天数和当月第一天是周几获取某年的日历"""得到某年的日历默认参数：3个月一行，间隔距离为c。 每日宽度间隔为w字符。l是每星期的行数。输出结果： 2020 January February MarchMo Tu We Th Fr Sa Su Mo T

原创 Python time模块

目录获得当前时间睡眠字符串转换成时间对象获得当前时间"""每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示。""""""1、输出当前时间戳 结果：1610986047.725496"""print(time.time())"""2、输出当前时间的元组格式结果：time.struct_time(tm_year=2021, tm_mon=1, tm_mday=19, tm_hour=0, tm_min=7, tm_sec=27, tm_wday=1, tm_yday

原创 Python os模块

这里写目录标题查看操作系统的名称查看路径的权限修改路径的权限查看当前工作目录改变当前工作目录查看目录下所有内容创建文件夹删除文件夹、文件重命名路径查看文件的详细信息查看目录的结构查看文件的绝对路径、相对路径、文件名称、上层文件夹的路径查看路径是否存在查看路径是否为绝对路径、是否为文件、是否为目录查看路径的最近访问时间、最近修改时间、创建时间、大小拼接目录和文件名（无视操作系统的差异）查看两个路径是否相等得到路径的文件夹和文件名得到路径的绝对文件名和后缀执行终端指令查看操作系统的名称 # 输出操作系统的名

原创 CenOS7配置HBase环境

Hive是基于Hadoop，我相信你已经安装好Hadoop全分布式集群环境了安装Hadoop全分布式集群教程开发包链接: https://pan.baidu.com/s/12uZYC3VHN0RkF6nlAyQurA 密码: 647f下载途径不唯一解压、换名# 解压tar -vxf hbase-1.1.2-bin.tar.gz# 修改名称mv hbase-1.1.2 hbase配置环境变量vim /etc/profile/software/hbase 是我的开发包位置# hb

原创 Java Thread（多线程）

单线程和多线程多线程的利弊：利：多线程可以提高程序运行效率和资源的利用率。弊：多线程会比较消耗资源，效率比较低。处理不好的话会造成线程死锁。代码演示单线程和多线程public class ThreadDemo extends Thread { @Override public void run() { // TODO Auto-generated method stu...

原创 Python easygui（窗体）

这里写目录标题导包通知框按钮双选多选下拉框单选多选输入框单输入框多输入框自动换行的输入框选择文件夹选择文件保存文件异常框导包import easygui as g通知框# 返回ok_button的值a = g.msgbox(msg="信息", title="标题",ok_button="OK")# 输出'OK'print(a)按钮双选# 选择default_choice返回True，选择cancel_choice返回 Falseb = g.ccbox(msg="信息", titl