蓝之赟-CSDN博客

原创 python不用api爬twitter

最近需要twitter数据进行爬取，申请了开发者账号但是被拒了，没得办法，只能另寻它路，平时使用tweetdeck看twitter，所以针对twitter研究入手，本文从研究分析开始记录一下完整的费劲过程。目录一、分析tweetdeck网站1、登录账号关注的人的tweets内容1.1首次请求数据的链接：1.2更新数据的请求连接：1.3下滑滚动的数据请求链接：2、搜索数据...

2020-04-15 08:47:24 2573 3

vscode使用Xdebug对php进行断点调试发现断点不起作用，原因是切换了WAMP的PHP版本，导致php.ini文件中配置为原始配置，没有修改过，因此修改php.ini文件中的下面几行即可：[xdebug]zend_extension="c:/wamp64/bin/php/php7.4.9/zend_ext/php_xdebug-2.9.6-7.4-vc15-x86_64.dll"xdebug.remote_enable = 1xdebug.remote_autostart = 1修改

2021-10-14 20:26:38 378

原创 github upport for password authentication was removed on August 13, 2021. 错误解决

remote: Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. remote: Please seehttps://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/for more information. fatal: una..

2021-09-18 14:53:52 572

原创解决PHP调用Python返回中文乱码的问题

最近在做知识图谱的相关程序，有部分算法是python写的，想在已有php网站上去调用这些算法，但是调用了python后返回给php的结果中的中文会在php里乱码，经过实验可以这样解决：在python中添加两行代码即可：import codecssys.stdout = codecs.getwriter('utf-8')(sys.stdout.detach())下面再说一下php调用python的方法：php文件中：$output = urldecode(shell_exec('py

2021-09-16 10:43:28 846

原创 Neo4j 4.2.7社区版如何切换数据库

在Neo4j企业版中，可以通过create database xxx命令来创建一个新的数据库，但是：社区版本不支持命令create database xxx！可以在neo4j目录的neo4j-community-4.2.7\conf\neo4j.conf中找到：# The name of the default database#dbms.default_database=neo4j将其加一行改为：# The name of the default database...

2021-09-10 15:32:06 1382

原创 python时间戳与字符串互相转换及年月日提取 time datetime模块使用

1、时间戳转字符串timeArray = time.localtime(each_timestamp)otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)2、字符串转时间戳timeStamp = int(time.mktime(time.strptime(each[0], "%Y-%m-%d %H:%M:%S")))timeArray = time.localtime(timeStamp)3、时间戳提取年月日时分

2021-04-13 21:28:47 586

原创 windows从头开始使用git github pycharm全流程

第一步：安装git，一路默认就好，不再赘述第二步：配置git1、使用git bash 初始化在工程路径中右键git bash here 输入：git init2、设置user.name和user.mail git config --global user.name "***"git config --global user.mail"***" 3、生成ssh-key的私钥和公钥，注意保存 ssh-keygen...

2021-03-12 11:29:46 98

原创 python爬虫获取以及使用cookie

python爬虫获取以及使用cookie首先获取cookie：@logger.catch()def get_cookie(): cookie_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome / 53.0.2785.143Safari / 537.36', 'Connection': 'ke

2021-03-12 09:48:32 267

原创 kali更新源文件无权限

普通用户是没有权限更改源的，也就是sources.list，更改流程为：etc/apt/sources.list文件先贴上国内源：#中科大#deb https://mirrors.ustc.edu.cn/kali kali-rolling main non-free contrib#deb-src https://mirrors.ustc.edu.cn/kali kali-rolling main non-free contrib #阿里云deb https://mirrors.al

2021-01-24 19:30:34 893

原创 kali Vmware版root密码设置

kali Vmware版免去了虚拟机的安装麻烦，但是root密码如要设置一下，要不打开root的时候不方便VMware版本的kali下载地址：https://www.offensive-security.com/kali-linux-vm-vmware-virtualbox-image-download/下载的解压VMware打开即可使用，默认登录账户kali，密码kali，下面介绍设置root密码：输入命令：sudo passwd root [sudo] password fo

2021-01-23 19:52:37 6923 1

原创 visual studio使用gitblit

发现很多文章都是讲如何在远端新建将远端的库克隆下来进行开发，但是很多人经常遇到的是在本地vs已经有工程了，想上传上去，这个操作其实就是git的初始化操作，可能有人觉得简单没人介绍过，但是对于很多初步接触使用的人可能还是比较不明白，走了弯路。今天来梳理一下根据上一篇将本地代码使用git上传到gitblit后，利用git会很麻烦，因此直接用visual studio就可以使用gitblit了，我用的是vs2015安装配置gitblit：https://blog.csdn.net/u010458948/.

2021-01-21 16:26:21 1009 1

原创 git使用及本地项目本地库上传使用gitblit

发现很多文章都是讲如何在远端新建将远端的库克隆下来进行开发，但是很多人经常遇到的是在本地vs已经有工程了，想上传上去，这个操作其实就是git的初始化操作，可能有人觉得简单没人介绍过，但是对于很多初步接触使用的人可能还是比较不明白，走了弯路。今天来梳理一下根据上一篇安装好gitblit后，就要配置使用gitblit了，安装配置gitblit：https://blog.csdn.net/u010458948/article/details/112886496一、登录gitblit adm...

2021-01-21 15:59:24 787 1

原创 windows上GitBlit安装与使用

windows上GitBlit安装与使用可以说是单机版的Github使用记录一下安装过程，不截图，简明扼要按点按顺序操作就ok了一、安装jdk国外的官网下载非常慢，可以使用国内的镜像进行下载，快得很jdk官网：https://www.oracle.com/java/technologies/javase-jdk15-downloads.html国内各大镜像站：华为的：https://repo.huaweicloud.com/java/jdk/ 清华(只有adoptopenjdk

2021-01-20 16:28:55 566 2

原创 C#JToken获取key值

JProperty jProperty = token.ToObject<JProperty>();string id = jProperty.Name; //获取key值

2020-12-22 08:38:20 6890

原创 python request添加cookies

try: logger.debug('执行try') # response = requests.get(url) cookies = dict(_ga="***", __q**="****",_gid="***", update_time="***", ****="*******") ss...

2020-03-31 11:29:59 1202

原创 pyqt5--Qthread解决窗口未响应问题

本文主要介绍Qthread的使用方法，用来解决python后台爬数据时窗口未响应问题。使用这样的结构可以实现后台爬数据的同时实时UI显示，克服假死问题，代码主要参考了文章：Qt——线程类QThread，网上看了很多文章，这一篇是起到最大作用的，最条理清楚的，这里我结合我自己的代码，做个自己的记录我的程序是给一个url来提取数据格式化显示的，界面如下：一、数据获取及处理代码...

2020-03-25 23:33:03 4452

原创 pyqt5 初始pycharm配置

为方便使用pyqt5，需要对pycharm做一些配置打开PyCharm，选择Settings -> Tools -> External Tools，点击左上角的绿色加号。第一个配置QtDesigner，参数如图，Program填python.exe的路径，这样设置后可以直接找到这个External Tool点击就可以打开qtdesigner第二个配置操作流程同上，用于将...

2020-03-24 20:26:25 216

原创 python+selenium爬取网站并截图屏蔽网站根据window.navigator.webdriver检测模拟浏览器

# -*- encoding:utf-8 -*-import osimport tracebackfrom selenium import webdriverfrom selenium.webdriver import ChromeOptionsimport timefrom threading import Threadfrom config import *from log...

2019-10-18 23:37:16 681

原创 C# DataTable的select方法进行搜索模糊查找

对gridcontrol表格中的所有列数据统一的一个实现模糊查找的功能 private void button1_Click(object sender, EventArgs e) { Console.WriteLine(textBox1.Text); search(textBox1.Text);//通过获得textBox的内容...

2019-10-09 15:38:54 11552 1

原创 DexExpress的mapcontrol根据经纬度在地图上打点 C#地图画点地图标点

接着上一篇文章讲，地图实现显示之后，可以通过经纬度进行打点操作，实现效果如图：在mapcontrol中添加一层然后选择MapItemStorage之后可以通过添加MapBubble进行添加点也可以使用map_dot这个方法实现，代码如下： private void map_dot(double lat, double lon) { ...

2019-10-09 15:27:41 1870

原创 DevExpress的mapcontrol使用

DevExpress中的mapcontrol是一个很好用的控件，但是相关的博客教程却不是太多，我也只是摸索着用了其中的一点小功能，记录分享一下。使用首先将mapcontrol添加到窗口界面中，然后通过添加层来添加地图上的一些元素这个控件可以直接连接bing的地图，需要申请一个key，网上有很多教程，我就不再写了。我是通过离线的一个地图数据文件进行的使用，添加一个Vector层，...

2019-10-09 15:08:42 3750

原创设置C#界面左侧导航栏的点击与gridcontrol显示

接着前文，我用的是DevExpress的RibbonForm1布局，拖了SplitContainer进去导航栏是用NavBarControl实现的，拖进去，添加item实现导航栏点击里面的item项，在右侧gridcontrol显示对应的数据，我是使用了多个datatable实现的，每个item对应一个dt，代码在文章https://blog.csdn.net/u010458948...

2019-09-29 11:46:58 1852

原创设置gridcontrol的单击事件和右键菜单

接着上一篇显示，讲一下显示之后的对一行数据的点击和右键菜单的实现点击事件首先在界面中点击gridcontrol，在属性中选择时间（小闪电的标志），找到操作-Click，在后面自己明明点击的方法名，回车进入函数实现界面，输入实现的功能代码即可实现点击后的功能，代码为按操作执行后的自动生成的 private void gridControl1_Click(object s...

2019-09-29 11:22:57 1962

原创设置DevExpress的gridcontrol的数据并显示

使用了devExpress的RibbonForm，里面加了一个gridcontrol用来实现数据的列表显示，按照网上的说法通过Run Designer先添加列名，但是这种方式我的数据插不进去，不知道为啥，也懒得找原因了，为了后期该列名啥的方便就直接代码中实现了，通过InitDt实现列名添加，注意需要 using System.Data; 通过this.add_data(dt, item)添加数据...

2019-09-29 10:55:57 2300

原创 C#设置复制gridcontrol的行里的指定cell的内容到剪切板

在项目中是实现右键GridControl的行，将行中的部分内容复制，实现去外部程序中的粘贴试用private void Click_Copy(object sender, EventArgs e) { DataRow myDataRow = gridView1.GetDataRow(gridView1.FocusedRowHandle); //获取行内...

2019-09-27 08:42:55 1084

原创 C#设置点击打开外部exe程序，并判断是否程序已开启，未开启的话打开，已经在运行了就前置

C#设置点击打开外部exe程序，并判断是否程序已开启，未开启的话打开，已经在运行了就前置[DllImport("user32.dll ")]private static extern bool SetForegroundWindow(IntPtr hWnd);[DllImport("user32.dll")]private static extern bool ShowWindow(...

2019-09-27 08:27:35 2021

原创 C#使用GeoLite2根据ip进行ip和地理位置的转换

首先下载得到GeoLite2-City.mmdb，放入项目根目录using MaxMind.GeoIP2;public string[] Map_ip(string ip){ string[] loc = { "", "", "" }; using (var reader = new DatabaseReader("GeoLite2-City.mmdb")) {...

2019-09-27 08:20:41 956

原创 C#写爬虫及解析Json数据

之前一直用python写爬虫，因工作需要使用C#，记录一下，得到Json数据写过爬虫的应该都知道public string GetResponse(string Url) { string ResponseData = string.Empty; try { HttpWe...

2019-09-26 16:51:19 726

原创 python提取txt中的手机号

# -*- coding: UTF-8 -*- #主要是用手机导出的cvf文件中提取手机号字段import ref1 = open('number.txt','r')f2 = open('cal1.txt','w+')a=[]for line in f1.readlines(): if re.findall('mobile:',line): #查找含有“mobile：”的行 ...

2018-06-26 09:17:11 3810