景珏-CSDN博客

原创【python】东方财富网获取股东减持信息

目标：为了获取东方财富网的上市公司减持信息，查看了下信息页面，属于单页面的信息，不需要使用scrapy，甚至于beautifulsoup也不用使用，只需要查看页面刷新数据时候访问的url即可。比起巨潮，东方财富网更简单的使用了get方法，并且参数使用都在页面加载返回的一个js里写的非常清楚，感觉就是为了方便爬取。。。同时，对参数pagenum都没有做限制，更加方便获取数据。唯一的难点在编解...

2018-04-24 09:49:36 2026

原创【python challenge】level2

__author__ = 'user'# -*- coding:utf-8 -*-import requestsimport urllib2import redef enchar(): url = 'http://www.pythonchallenge.com/pc/def/ocr.html' request = urllib2.Request(url) res

2016-07-26 10:21:21 424

原创【python challenge】level0_level1

最近正在学python，有同学推荐可以玩一下python challenge。玩了几关竟然上瘾了，挺有意思，不过总的来说，有一些解决思路比较接近的好做，但是更多的是对题意的分析还不够，没有什么思路的。level0：url = http://www.pythonchallenge.com/pc/def/0.html2的38次方计算：

2016-07-20 17:00:58 935

原创【Django】本地csv数据的页面table展示

实现目标：1 pandas：从本地读取csv文件，返回dataFrame数据格式。这里是考虑到未来以后要对数据进行分析结果。2 将DataFrame转化为json数据，返回到前端3 jQuery发送请求，接收json数据并灌到table标签中1 views.pydef ajax_list(req): a = req.GET.get('a') #获取参数

2016-05-31 16:31:50 4355

原创【Django】数据库操作

1 settings.py的配置之前博文里面以及提及过django数据库连接的配置DATABASES = { 'default': { #'ENGINE': 'django.db.backends.sqlite3', # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), 'ENGINE': 'd

2016-05-24 14:52:15 413

原创【django】初探

1 环境安装python+Django+mysql安装，这个很简单就不说了，python是2.7.3版本，Django是1.9，mysql是5.5 把Django的bin目录添加到环境变量里面2 项目建立首先建立一个目录Django，这里存放我们的Django项目 cmd下，运行 Django-admin.py startproject

2016-05-17 15:39:46 538

原创【python】零碎总结_转

1 产生数据随机产生（0,1）中的数据： np.random.random(2) # array([ 0.66516976, 0.44746339]) 随机产生一个区间内的指定个数：np.random.randint(-10,10,12).reshape(3,4) #array([[-9, 6, -1, 9],[ 7, -1, -4, 3],[ 7, 5,

2016-05-13 09:04:33 287

原创【python】read_csv+编码问题

想要读取一个excel文件，并且获取某一个分类下的所有的数据1 pandas官方api有read_excel方法,然而我试了总是提示找不到这个方法，so 还是采用了read_csv2 将excel转为csv文件，pd.read_csv(path)可以读取，但是乱码，pd.read_csv(path,encoding='utf-8')会出现只有变更csv文件本身的编码了，用not

2016-04-20 16:37:24 27362

原创 javacsv读写csv

import java.io.IOException;import java.nio.charset.Charset;import java.util.ArrayList;import com.csvreader.CsvReader;import com.csvreader.CsvWriter;public class csvTest { public static ArrayL

2016-04-18 15:40:24 350

原创【python】python for data analysis环境安装

书上说的直接EPDFree，但是得卸载之前的python，所以我就零散安装了。。环境windows+python2.71 安装numpy,scipy,matpoltlibhttp://blog.csdn.net/zhangyuehuan/article/details/391347472 安装ipythonhttp://blog.csdn.net/hmy1106/artic

2016-04-11 11:30:56 980

原创【scrapy】模拟登陆知乎

这个网上有个通用的教程，然而为这个教程已经花费了太多时间进行调试，和知乎上的朋友交流，很多人也是这个地方遇到了问题，最后的结果。。是放弃了crawlspider。。先贴下这个链接。。。http://ju.outofmemory.cn/entry/105646 谨慎。。针对上面这个教程，遇到的几点问题：问题1：知乎的登陆url不再是/login了，根据email和phonenum分

2016-03-30 08:23:32 2143 3

原创【scrapyd】windows下安装运行scrapyd

写在前面的话：根据最近的想法是想把scrapy和Django结合起来，调研了下，django-dynamic-scraper框架貌似是可以做到，如是乎按照http://my.oschina.net/rc6688/blog/175508 安装配置，奈何网上资料太少，对照官方文档和example并没有多少头绪。。所以就先放弃了。。scrapyd也可以部署scrapy工程，今天对照着网上资料捯饬了一天，

2016-03-22 18:56:31 2376

原创【python】scrapy初探_抓取糗事百科hot帖子

首先安装好相关环境：我的python2.7+pycharm安装配置scrapy参考 http://cuiqingcai.com/912.html ；讲的很详细，需要说的是，我的下载pip后，使用pip安装依旧有很多问题，所以使用的是easy_install1 新建一个project，在pycharm就能看到这个目录结构在cmd下进入到pycharm的location目录(我的是

2016-03-16 18:22:03 1716

原创【待】excel使用记录

最近由于工作需要，使用excel，之前不太熟悉这个工具，chenzhe

2014-10-13 15:08:53 487

原创多例模式

多例模式：test1和test3是一个实例import java.util.HashMap;public class testInstance { private String s; //private static testInstance instance; private static HashMap instances = new HashMap(19); pri

2014-07-04 10:44:37 489

转载 JavaMail发送邮件

java实现发送邮件：

2014-07-03 12:40:47 535

原创 SSH远程连接执行shell脚本

有时候项目会要求远程登录到主机进行相应的ca

2014-07-03 10:33:13 1891

原创遍历获取JSONObject的所有Key

JSON解析使用JSONObject.keys()可以获取所有的key值，但是

2014-07-02 15:50:59 53590 4

随意的博客