咸鱼的翻身-CSDN博客

原创 ETL工具写调度器 ----python mysql 数据库链接

python 小白，公司需要用ETL工具写调度器做数据抓取试写脚本第一步就遇到大坑准备使用配置文件写数据库链接工具。查询了一天出现一个深坑，以下是写的工具栏截图修改后：读取文件 utf-8, connect 链接需要写属性二、读取json 文件获取属性值json 文件：以上终于的两步已完成，其他的做一个填充一个调度脚本就可以完成了...

2022-05-31 18:26:35 315

翻译爬虫的request 学习，反扒机制代码

使用Idea 爬数据，idea集成python环境自行查找。这是项目目录文件，主要集成request 方式的反扒机制处理和构建代理池并验证和高并发的验证。from urllib import requestfrom bs4 import BeautifulSoupfrom fake_useragent import FakeUserAgentimport r...

2019-04-10 13:16:50 1269

转载爬虫 windows 安装 scrapy 的神坑

在Windows平台上安装scrapy，直接采用pip install scrapy重来没有成功过，今天刚装完系统，分享一下。首先scrapy的安装之前需要安装这个模块：wheel、lxml、Twisted、pywin32，最后在安装scrapylxml这个库是用来做xpath提取的，这个库非常容易安装，直接在cmd窗口输入：pip intsall lxml因为我们后面将不采用pi...

2019-04-10 13:01:10 171

转载 sqlserver分页

sqlserver的四种分页方式第一种：ROW_NUMBER() OVER()方式select * from (　　　　select *, ROW_NUMBER() OVER(Order by ArtistId ) AS RowId from ArtistModels　　) as b where RowId between 10 and 20　　---where ...

2018-11-01 13:08:05 5514 2

区号+座机号码+分机号码：regexp="^(0[0-9]{2,3}/-)?([2-9][0-9]{6,7})+(/-[0-9]{1,4})?$"手机(中国移动手机号码)：regexp="^((/(/d{3}/))|(/d{3}/-))?13[456789]/d{8}|15[89]/d{8}"所有手机号码：regexp="^((/(/d{3}/))|(/d{3}/-))?13[0-9]/d{8...

2018-10-30 11:18:09 167

转载不需要安装任何开发环境，在浏览器里面就能在线练习31种编程语言

如果有一天心血来潮，想试试和看看新的语言如何使用，总不可能每个开发环境都装一套吧，而且有的开发环境还不太好装，而且必须在特定的设备下面才能使用，比如苹果（Apple）公司的Swift语言.就有下面的编程语言：AsmBCPLBashC (clang)C (gcc)C#C++ (clang++)C++ (g++)Cha

2018-01-22 10:26:29 4486

转载 MySQL怎么存文本不乱码

MySQL里怎么存储那些看起来会乱码的字符？我在“UTF8字符集的表怎么直接转UTF8MB4”一文中介绍了如何把表字符集由UTF8直接转换成UTF8MB4的几种方法。导读MySQL里怎么存储那些看起来会乱码的字符？我在“UTF8字符集的表怎么直接转UTF8MB4”一文中介绍了如何把表字符集由UTF8直接转换成UTF8MB4的几种方法。1、只修改字符集（使用默认校

2017-12-11 14:36:02 281

转载这才是从菜鸟程序猿到技术大牛正确的打开方式

作为一个刚进入编程开发这个行业的新人，总会有一段较长的迷茫期，遇到资深的前辈，总会问“工作的时候有没有什么窍门”、“怎样才可以快速成为高手”等这样或那样的问题当然，每个人都会经历一段什么都不太懂的迷茫期，今天，小编就分享《Axb的自我修养》，总结程序猿的学习窍门，与你们共勉。1、学会学习学习无疑是程序员最为重要的素质之一，尤其是互联网这种日新月异的行业，把学习当做工作的一大半也不为过。

2017-12-05 17:38:58 208

转载关于java的国内外论坛地址分享

Java的学习离不开交流，本文提供了许多国内外较为优秀的Java论坛，Java学习者爱好者可于此进行交流，学习和提高。Java论坛汇总：国内Java论坛：www.chinajavaworld.com -论坛人很多，高手也多，不过好像都在潜水www.cn-java.com -也很不错，文章很好，但是就是商业性浓了点。www.chinaitlab.com- 非常有系统性，而且推

2017-11-29 17:38:00 10256

转载 css页面一些动态效果展示

文字跑马灯效果：http://www.wxapp-union.com/portal.php?mod=view&aid=1038触摸水波涟漪效果：http://www.wxapp-union.com/portal.php?mod=view&aid=1350下拉菜单效果：http://www.wxapp-union.com/portal.php?mod=view&aid=1875

2017-11-29 10:53:08 5691

转载 Spring boot 集成MyBatis（1）

一、Spring boot集成MyBatisMybatis提供了mybatis-spring-boot-starter 目前 1.3.x 是最新版https://github.com/mybatis/spring-boot-startergit下载地址http://www.mybatis.org/spring-boot-starter/mybatis-spring-boot-autoc

2017-11-22 17:02:20 300

转载 JAVA、WEB最新技术框架整理

1.基础框架1.1 后台基础框架分布式：dubbox统一配置：zookeeper消息：kafka服务化：spring spring boot 微服务化框架spring mvcspringframework持久层：mybatis、hibernate、jedis项目构建：maven单元测试：junit、testNG可视化测试：soapUI、jmeter2. 前端框架

2017-11-22 12:02:09 931

qq_36464264的博客