Python学习笔记 on 搁浅St的blog

基于python的requests库，模拟登录csdn博客

Sat, 23 May 2015 19:06:04 +0000

还是继续我的python学习。以前写的爬虫用的urllib2来实现，也用过scrapy的爬虫框架，这次试试requests，刚开始用，用起来确实比urllib2好，封装的更好一些，使用起来简单方便很多。

安装requests库

在ubuntu下面安装很简单

pip install requests

就搞定了

快速上手的小例子

下面给个快速入门，最简单的例子

import requests
r = requests.get('http://www.baidu.com')
print r.text

这段代码，很简单。第一行，引入requests库，这是必然的。第二行，通过get方式获取baidu首页的内容。第三行，把返回的response内容，输出出来

果然很简单，这样就可以发送一个get请求，同理，你还可以使用 requests.post,requests.put,requests.options,requests.head，发送请求，没错就是这么简单，果然比urllib2好用。

模拟登录csdn

我们需要其他的辅助工具

浏览器：Firefox

浏览器插件：tamper data，firebug

我们需要tamper data来拦截请求，因为chrome没有这个功能的插件，所以这个只能使用firefox来做（除了拦截请求chrome没有，其他的工作都可以用chrome，看个人喜好吧）。

分析登录过程

1 打开登录页面

我们首先打开csdn的登录页面https://passport.csdn.net/account/login?ref=toolbar 这个链接，前面部分是登录的网址，问号后面的参数，顾名思义，referer，就是你从哪里跳过来的，也许是一个页面跳转到登录的，toolbar就是我自己点击顶部导航栏，然后跳转到登录页面的。

2 清除相关的cookie

为了排除不必要的干扰，我们先清除掉所有的相关的cookie，这样方便我们分析哪些参数是必须的。

3 登录过程分析

清除了cookie后，我们刷新一下页面https://passport.csdn.net/account/login?ref=toolbar，重新获取对应的cookie。然后我们就开始用tamper data来拦截请求。我们点击start tamper，在网页中填写用户名和密码。点击登录，会发出一个请求，然后tamper data会拦截下这个请求，询问我们是否拦截，点击tamper，我们可以在这个请求提交之前，查看请求的内容，还可以做删改。 csdn的登录过程比较简单，发送一个登录表单过去，就登录成功了，不过记得修改headers，这是后话。

4 开始模拟登录

知道登录过程了，我们就开始写登录的代码。

import requests
# 使用beautifulsoup来处理获取的html内容，这个库需要安装，还是使用pip install beautifulsoup4来安装
from bs4 import BeautifulSoup as bs
# 这个函数使用来提取流水号的
def toJson(str):
    '''
    提取lt流水号，将数据化为一个字典
    '''
    soup = bs(str)
    tt = {}
    # 提取form表单中所有的input标签，以字典的形式来保存name：value
    for inp in soup.form.find_all('input'):
        if inp.get('name') != None:
            tt[inp.get('name')] =inp.get('value')
    return tt
    
# 这行代码，是用来维持cookie的，你后续的操作都不用担心cookie，他会自动带上相应的cookie
s = requests.Session()
# 我们需要带表单的参数,这里面有个参数lt,登录操作的流水号，我们需要从html页面中进行提取
payload ={'username':'jackroyal','password':'123456','lt':soup["lt"],'execution':'e1s1','_eventId':'submit'}
r = s.post("http://passport.csdn.net/account/login",data=payload,headers=header)
print r.text

ok，至此，登录就成功了

5 优化

当你登录成功后，你会问，我怎么知道登录成功了呢？当你试图去抓取http://write.blog.csdn.net/postlist的内容的时候，你会发现一个403的错误，这是为啥呢？很简单，user agent没有修改，我们用的是默认的user agent，这可不是一个正常的用户，所以被网站拒绝了。我们加上他就好了

header = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0'}
r = s.post("http://passport.csdn.net/account/login",data=payload,headers=header)
print r.text

后话

上面的代码还是太简单，我们都知道cookie是有有效期的，我在做调试的时候，没修改一次，就要模拟登录一次，这样不好，我们要保存cookie，这样下次就不需要重新发送登录请求了分享出完整的代码

# !/usr/bin/env python
# -*- coding: utf-8 -*-

import requests
import time
import os
from bs4 import BeautifulSoup as bs
from cookielib import LWPCookieJar


def toJson(str):
    '''
    提取lt流水号，将数据化为一个字典
    '''
    soup = bs(str)
    tt = {}
    for inp in soup.form.find_all('input'):
        if inp.get('name') != None:
            tt[inp.get('name')] =inp.get('value')
    return tt


# cookie setting
s = requests.Session()
s.cookies = LWPCookieJar('cookiejar')
header = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0'}
if not os.path.exists('cookiejar'):
    print "there is no cookie,setting"
    r = s.get("http://passport.csdn.net/account/login")
    soup = toJson(r.text)
    payload ={'username':'jackroyal','password':'123456','lt':soup["lt"],'execution':'e1s1','_eventId':'submit'}

    print payload
    r = s.post("http://passport.csdn.net/account/login",data=payload,headers=header)
    s.cookies.save(ignore_discard=True)

    print r.text
else:
    print "cookie exists,restore"
    s.cookies.load(ignore_discard=True)

# r = s.get("https://passport.csdn.net/content/loginbox/loginapi.js")
r = s.get("http://write.blog.csdn.net/postlist",headers=header)
print r.text

参考文献

1 requests官方文档快速上手——中文版 2 beautifuisoup官方文档 3 python的requests如何保存cookie到文件

ubuntu下使用scrapy抓取cnblogs

Sun, 26 Apr 2015 16:52:28 +0000

今天在伯乐在线上看到一篇翻译的博客，讲的是使用scrapy来抓取stackoverflow上的问题，刚好好久没用这个，于是一并捡起来玩一下。

软件安装

我的环境是：ubuntu 14.04 lts 需要安装相关软件

scrapy

pip install Scrapy

PyMongo

pip install pymongo

Mongodb

上面安装的是python使用Mongodb的接口，很显然，我们要安装Mongodb才能使用

sudo apt-get install mongodb-server

至此，要使用的软件都已经安装完毕

使用scrapy新建工程

使用scrapy新建工程很简单，如下所示，我们新建一个stack的项目，他会在你的当前目录新建一个stack文件夹

scrapy startproject stack

并且会建成如下所示的目录树结构

chen@chen-P31:~$ tree stack
stack
├── stack
│   ├── __init__.py
│   ├── items.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       └── __init__.py
└── scrapy.cfg

接下来，我们修改items.py的内容，这个文件用于定义存储“容器”，用来存储将要抓取的数据。

from scrapy.item import Item,Field

class StackItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = Field()# 我们添加两个字段，我们等会儿会抓取一个标题和url两个字段
    url = Field()

接着，还有一个很重要的东西，对，就是我们的蜘蛛，我们在spider目录下，新建一个stack_spider.py文件。顾名思义，这就是我们的蜘蛛。我们需要定义我们爬虫的起点，爬虫的规则等等

from scrapy import Spider
from stack.items import StackItem  # 导入我们上面定义的容器类
class StackSpider(Spider):
    name = 'stack'   # 定义我们爬虫的名字
    allowed_domains = ["cnblogs.com"]   # 规定爬虫爬取的域名
    start_urls = ['http://www.cnblogs.com/geqianst/p/',]   # 爬虫工作的起点

    def parse(self, response):# 爬虫用来做数据解析的
        questions = response.xpath('//div[@id="myposts"]//a[@id]')
        # xpath选择器，这里的含义是取所有id为myposts的div，在它下面找所有带id的超链接a
        # 实际结果是这样的
        # [<Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_0" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_1" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_2" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_3" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_4" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_5" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_6" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_7" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_8" hr'>,
        # <Selector xpath='//div[@id="myposts"]//a[@id]' data=u'<a id="PostsList1_rpPosts_TitleUrl_9" hr'>]
        #

        for question in questions:
            item = StackItem()
            item['title'] = question.xpath(
                'text()').extract()[0]
            item['url'] = question.xpath(
                '@href').extract()[0]
            print item
            yield item

测试

ok，上述工作基本完成，我们来测试一下

scrapy crawl stack

还可以这样测试一下，使用shell命令妈蛋，我的竟然出错了，输出如下

chen@chen-P31:~/stack$ scrapy crawl stack
2015-04-26 16:49:11+0800 [scrapy] INFO: Scrapy 0.24.6 started (bot: stack)
2015-04-26 16:49:11+0800 [scrapy] INFO: Optional features available: ssl, http11
2015-04-26 16:49:11+0800 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'stack.spiders', 'SPIDER_MODULES': ['stack.spiders'], 'BOT_NAME': 'stack'}
Traceback (most recent call last):
  File "/usr/local/bin/scrapy", line 11, in <module>
    sys.exit(execute())
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 143, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 89, in _run_print_help
    func(*a, **kw)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 150, in _run_command
    cmd.run(args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/commands/crawl.py", line 60, in run
    self.crawler_process.start()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 92, in start
    if self.start_crawling():
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 124, in start_crawling
    return self._start_crawler() is not None
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 139, in _start_crawler
    crawler.configure()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 46, in configure
    self.extensions = ExtensionManager.from_crawler(self)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 50, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 29, in from_settings
    mwcls = load_object(clspath)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/utils/misc.py", line 42, in load_object
    raise ImportError("Error loading object '%s': %s" % (path, e))
ImportError: Error loading object 'scrapy.telnet.TelnetConsole': No module named conch

这是什么gui？还好我有stackoverflow，google一番，找到解决办法（其实这不是最后的解决办法，请往后看）网上说是twisted的问题，重新安装一下就好了，ok，走起

chen@chen-P31:~/stack$ sudo apt-get install twisted
Reading package lists... Done
Building dependency tree       
Reading state information... Done
E: Unable to locate package twisted
chen@chen-P31:~/stack$ sudo apt-get install twisted.conch
Reading package lists... Done
Building dependency tree       
Reading state information... Done
Note, selecting 'python-twisted-conch' for regex 'twisted.conch'
Note, selecting 'python2.7-twisted-conch' for regex 'twisted.conch'
Note, selecting 'python-twisted-conch' instead of 'python2.7-twisted-conch'
The following packages were automatically installed and are no longer required:
  cli-common dockmanager freepats gstreamer1.0-plugins-bad-faad
  gstreamer1.0-plugins-bad-videoparsers libbotan-1.10-0:i386 libcdaudio1
  libdbus-glib2.0-cil libdbus2.0-cil libdbusmenu-glib4:i386
  libdbusmenu-gtk4:i386 libegl1-mesa:i386 libegl1-mesa-drivers:i386 libflite1
  libfluidsynth1 libgbm1:i386 libgconf2.0-cil libgdiplus libgif4
  libgles2-mesa:i386 libglib2.0-cil libgme0 libgmp10:i386
  libgnome-desktop-2-17 libgnome-keyring1.0-cil libgnomedesktop2.20-cil
  libgstreamer-plugins-bad0.10-0 libgstreamer-plugins-bad1.0-0 libgtk2.0-cil
  libicu52:i386 libmimic0 libmms0 libmono-addins0.2-cil libmono-cairo4.0-cil
  libmono-corlib4.0-cil libmono-corlib4.5-cil libmono-data-tds4.0-cil
  libmono-i18n-west4.0-cil libmono-i18n4.0-cil libmono-posix4.0-cil
  libmono-security4.0-cil libmono-sharpzip4.84-cil libmono-sqlite4.0-cil
  libmono-system-configuration4.0-cil libmono-system-core4.0-cil
  libmono-system-data4.0-cil libmono-system-drawing4.0-cil
  libmono-system-enterpriseservices4.0-cil
  libmono-system-runtime-serialization-formatters-soap4.0-cil
  libmono-system-security4.0-cil libmono-system-transactions4.0-cil
  libmono-system-web-applicationservices4.0-cil
  libmono-system-web-services4.0-cil libmono-system-web4.0-cil
  libmono-system-xml-linq4.0-cil libmono-system-xml4.0-cil
  libmono-system4.0-cil libmono-web4.0-cil libmpg123-0 libnotify0.4-cil
  libofa0 libopenal-data libopenal1 libopenvg1-mesa:i386 libqrencode3:i386
  libqt5core5a:i386 libqt5dbus5:i386 libqt5gui5:i386 libqt5network5:i386
  libqt5widgets5:i386 libqtshadowsocks:i386 librsvg2-2.18-cil libslv2-9
  libsoundtouch0 libspandsp2 libsrtp0 libssl1.0.0:i386 libv4l-0:i386
  libv4lconvert0:i386 libvo-aacenc0 libvo-amrwbenc0 libwayland-client0:i386
  libwayland-egl1-mesa:i386 libwayland-server0:i386 libwildmidi-config
  libwildmidi1 libwnck2.20-cil libxcb-icccm4:i386 libxcb-image0:i386
  libxcb-keysyms1:i386 libxcb-randr0:i386 libxcb-render-util0:i386
  libxcb-shape0:i386 libxcb-util0:i386 libxcb-xfixes0:i386 libxcb-xkb1:i386
  libxkbcommon-x11-0:i386 libxkbcommon0:i386 libzbar0:i386 mono-4.0-gac
  mono-gac mono-runtime mono-runtime-common mono-runtime-sgen python-mpd
  python-mutagen python-twisted-names
Use 'apt-get autoremove' to remove them.
The following extra packages will be installed:
  python-pyasn1
The following NEW packages will be installed:
  python-pyasn1 python-twisted-conch
0 upgraded, 2 newly installed, 0 to remove and 6 not upgraded.
Need to get 286 kB of archives.
After this operation, 1,793 kB of additional disk space will be used.
Do you want to continue? [Y/n] 
Get:1 http://mirrors.ustc.edu.cn/ubuntu/ trusty/main python-pyasn1 all 0.1.7-1ubuntu2 [44.2 kB]
Get:2 http://mirrors.ustc.edu.cn/ubuntu/ trusty/main python-twisted-conch all 1:13.2.0-1ubuntu1 [242 kB]
Fetched 286 kB in 0s (1,595 kB/s)         
Selecting previously unselected package python-pyasn1.
(Reading database ... 359746 files and directories currently installed.)
Preparing to unpack .../python-pyasn1_0.1.7-1ubuntu2_all.deb ...
Unpacking python-pyasn1 (0.1.7-1ubuntu2) ...
Selecting previously unselected package python-twisted-conch.
Preparing to unpack .../python-twisted-conch_1%3a13.2.0-1ubuntu1_all.deb ...
Unpacking python-twisted-conch (1:13.2.0-1ubuntu1) ...
Processing triggers for doc-base (0.10.5) ...
Processing 1 added doc-base file...
Processing triggers for man-db (2.6.7.1-1ubuntu1) ...
Setting up python-pyasn1 (0.1.7-1ubuntu2) ...
Setting up python-twisted-conch (1:13.2.0-1ubuntu1) ...

安装总算完成，再试一次，妈蛋，又来一个新错误，这是什么gui？？？

chen@chen-P31:~/stack$ scrapy crawl stack
2015-04-26 16:50:44+0800 [scrapy] INFO: Scrapy 0.24.6 started (bot: stack)
2015-04-26 16:50:44+0800 [scrapy] INFO: Optional features available: ssl, http11
2015-04-26 16:50:44+0800 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'stack.spiders', 'SPIDER_MODULES': ['stack.spiders'], 'BOT_NAME': 'stack'}
Traceback (most recent call last):
  File "/usr/local/bin/scrapy", line 11, in <module>
    sys.exit(execute())
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 143, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 89, in _run_print_help
    func(*a, **kw)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/cmdline.py", line 150, in _run_command
    cmd.run(args, opts)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/commands/crawl.py", line 60, in run
    self.crawler_process.start()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 92, in start
    if self.start_crawling():
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 124, in start_crawling
    return self._start_crawler() is not None
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 139, in _start_crawler
    crawler.configure()
  File "/usr/local/lib/python2.7/dist-packages/scrapy/crawler.py", line 46, in configure
    self.extensions = ExtensionManager.from_crawler(self)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 50, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/middleware.py", line 29, in from_settings
    mwcls = load_object(clspath)
  File "/usr/local/lib/python2.7/dist-packages/scrapy/utils/misc.py", line 42, in load_object
    raise ImportError("Error loading object '%s': %s" % (path, e))
ImportError: Error loading object 'scrapy.contrib.memusage.MemoryUsage': No module named mail.smtp

最后的最后，我在我们万能的github上找到答案，原来是我们没有安装python-twisted，安装一下，世界都美好了

sudo apt-get install python-twisted

输出到文件

为了更直观的看到结果，我们将结果输出到一个json文件

scrapy crawl stack -o items.json -t json

噢耶，第一个爬虫成功

存储到mongodb

接下来，我们做最后一件事，我们将结果存储到mongodb的数据库中在这里，我遇到一个大坑，无论是伯乐在线翻译的博客还是网上搜索到的一般教程，都是使用pymongo.Connection来连接数据库，可是妈蛋，你使用pip install pymongo安装的版本都是最新版本3.0.1，那个Connection的写法已经不支持，被丢弃了，擦。我们来看一下版本，我学到一个新命令pip show pymongo，用来查看某一个包的版本的。在pymongo 3.0的版本中，已经不再支持pymongo.Connection，而是使用pymongo.MongoClient来替代。

第一步

创建一个用来保存我们抓取数据的数据库。打开settings.py,指定管道，然后加入数据库的相关设置


BOT_NAME = 'stack'

SPIDER_MODULES = ['stack.spiders']
NEWSPIDER_MODULE = 'stack.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
# USER_AGENT = 'stack (+http://www.yourdomain.com)'

ITEM_PIPELINES = ['stack.pipelines.MongoDBPipeline', ]
# 关于mongodb的相关设置，包括服务器的ip，端口号，数据库名，表名，
# 我也是第一次使用mongodb竟然不需要用户验证信息，而且这表名确实奇怪，叫做MONGODB_COLLECTION
MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = "stackoverflow"
MONGODB_COLLECTION = "questions"

DOWNLOAD_DELAY = 5  # 抓取的延迟

第二步

我们已经能够爬取和解析html数据了，而且已经配置了数据库，接下来，我们通过pipelines.py中建立一个管道去连接这两个部分。我们首先来完成数据库的连接部分

import pymongo

from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import log


class MongoDBPipeline(object):

    def __init__(self):
        connection = pymongo.MongoClient(
            settings['MONGODB_SERVER'],
            settings['MONGODB_PORT']
        )
        db = connection[settings['MONGODB_DB']]
        self.collection = db[settings['MONGODB_COLLECTION']]

接下来定义一个处理函数

    def process_item(self, item, spider):
        for data in item:
            if not data:
                raise DropItem("Missing data!")
        self.collection.update({'url': item['url']}, dict(item), upsert=True)
        log.msg("Question added to MongoDB database!",
                level=log.DEBUG, spider=spider)
        return item

ok,搞定，我们再测试一把

scrapy crawl stack

执行效果如下

参考文献

1 ImportError: Error loading object ‘scrapy.contrib.memusage.MemoryUsage’: No module named mail.smtp 2 http://stackoverflow.com/questions/8671071/error-to-execute-python-scrappy-module 3 Python下用Scrapy和MongoDB构建爬虫系统（1）

blog2markdown程序打包,csdn爬虫

Sun, 29 Mar 2015 22:08:22 +0000

项目地址https://github.com/Jackroyal/blog2markdown.git

用来实现普通blog到markdown的搬家，自动将blog的html转换成HEXO可用的Markdown格式暂时只做了CSDN

UPDATE:

2015-03-29 添加了打包成exe的程序,修复cmd下乱码,win和ubuntu完美运行 2015-03-29 连夜修复了在win下乱码的问题,删除了冗余代码 2015-03-28 将某些参数改为从配置文件中读取,加入更多异常判断 2014-12-15 优化标签解析功能,添加了标题,tag和category 2014-12-13 实现解析功能,基本完成解析功能 2014-12-10 实现CSDN的抓取，正在实现parse解析过程

BUG

如果代码中有# 和*会被转义成\#和\* 对table的支持不好

依赖库

爬虫使用了beautifulsoup 4.3.2 点我点我你必须安装这个才可以正常使用 PS:我打包了exe点此下载,可以什么不装,改完配置文件,直接运行

使用:

# 首先,编辑配置文件`spider.conf`

格式如下:

[blog]
# 此处url不需要单引号或者双引号,不然类型识别错误,网址最后不要/
url=http://blog.csdn.net/jackroyal
[setting]
wait_time=5

这里的url地址注意不要加引号,下面的wait_time是指两次抓取的间隔时间,这是为了安全起见,如果高频访问,可能会被封,我设置的5秒,你可以根据自己需要去设置

打包

我打包了一个exe程序,放在github项目的dist目录下,在windows系统中,直接下载,运行

PS:由于pyInstaller的问题,导致无法在中文路径下正常运行

比如你放在C:/users/张三/spider.exe 这样是无法正常运行的所以应该放在全英文的目录下 C:/software/spider.exe 运行结果如图

源码执行

如果你对我的exe不放心,可以自己执行python源码

# 执行

在linux下,首先要给予执行权限

chmod a+x spider.py ParseBlog.py
python spider.py

然后就可以了,输出文件在output文件夹

在win下,经过修复也可以正常运行了,在idle(在win中你安装了python2.7的话就会有这个编辑器)中是可以完全正常的显示中文~~~~,在系统自带的cmd里中文显示会有问题,因为cmd中的编码默认是GBK,我程序基本都是utf-8,如果要在cmd显示正常,显示的代码都要加个str.encode(‘utf-8’)才行. 不过抓取是没有问题的,此处就不纠结了哈,能用就好~~~~

# 在win下,没有权限的问题,直接执行就好了
python spider.py

python学习笔记--python和beautifulsoup遇到的编码问题

Sun, 29 Mar 2015 14:43:45 +0000

在刚开始使用github pages的时候,我用python写了一个爬虫,计划是从csdn和cnblogs等博客网站上,把自己之前写的博客爬取下来,然后再转换成hexo用的markdown格式,样就可以直接添加到我的github pages.

项目主页: https://github.com/Jackroyal/blog2markdown

最近刚好在学习python,刚好就把它给优化了一下,顺便做了个跨平台(哈哈,win和ubuntu都可以跑哈),昨天遇到很蛋疼的问题,一它给了我很多思路帮助我定位问题,.直搞到凌晨两点才弄好. 非常非常感谢【总结】Python 2.x中常见字符编码和解码方面的错误及其解决办法作者做了一个很好的总结,帮助我们定位问题.

1 编码类型

首先确定好你的编码类型,比如一般推荐用utf-8.当确定编码类型后,就要保持统一,不要又弄些GBK的编码在里面.

1.1 编辑器编码
- 我们有时候会犯一个错误,我在py文件的头部声明当前文件是按照utf-8来编码.但是文件实际保存的编却不是utf-8,这样也会导致乱码.建议使用可以查看当前文件编码的编辑器,比如sublime text或者notepad++ 或者pycharm.在sublime下如图所示
- 文件编码声明,我们要在py文件的头部添加一行# -*- coding: utf-8 -*-,表明我接下来要使用utf-8编码
1.2 python解释器
- 如果是Python的IDLE，如果你没修改defaultencoding，那么就使用默认的字符编码可以通过sys.getdefaultencoding()而获得，比如此处获得是：ascii
1.3 执行python代码
- 其中，很常见的几种动作是：
  - 打印print对应的所获得的字符
    - 对于字符串打印,Python的逻辑:
      - 如果是Unicode字符串,则可以,自动地,编码为对应的终端所用编码,然后正确的显示出来
      - 比如unicode的字符串,输出到windows的默认编码为GBK的cmd中,则Python可以自动将Unicode编码为GBK,然后输出到cmd中
      - 个别特殊情况,也会出错:
        
        当此unicode字符串中包含某特殊字符,而目标终端的编码集合中,没有此字符,则很明显也是无法实现将Unicode编码为对应的特定编码的字符串,无法正确显示的
      - 如果是某种编码类型的str,则需要该str的编码类型,和目标终端编码匹配
        
        比如GBK的字符串,输出到windows的默认编码为GBK的cmd,则是可以正常输出的
        
        此处后来经过代码测试，就发现一个有趣或者说诡异的问题，虽然我们python文件声明的UTF-8编码，但是实际上实际上是用GBK编码，而此时，文件中的字符串，很明显是用GBK存储的，所以，将此GBK字符，输出到GBK的cmd中，是可以正常输出的。即，此处字符串的类型，很明显只和文件所用的实际编码有关，而和文件所声明的代码无关。
      - 如果是UTF-8的字符串,输出到windows的默认编码为GBK的cmd,就会出错
        
        对相应的字符，进行编码（为某种特定类型的字符str），或解码（为对应的unicode类型的字符）
        
        比如将当前的某种编码的字符串，解码为Unicode字符串
        
        很明显，也是要保证，你字符串本身的编码和所指定的编码，两者之间要一致的
        
        比如：decodedUnicode = someUtf8Str.decode(“UTF-8”)
        
        而如果用这样的：decodedUnicode = someGbkStr.decode(“UTF-8”)，那就会出现错误

2 常用方法

2.1 encode和decode

encode() unicode编码->其他编码

decode() 其他编码->unicode编码

使用这两个方法的前提是,你要知道当前是什么编码.然后用对应的编码去进行解码比如对于s字符串可以用

s.encode('utf-8') # 将s由unicode转码成utf-8
s.decode('GBK') # s是GBK编码,将s转换成unicode

2.2 isinstance()

isinstance(s , unicode) # 检测s是否是unicode编码

isinstance(s , str) # 检测s是否是str格式

3 beautifulsoup编码问题

Beautiful Soup 会按顺序尝试不同的编码将你的文档转换为Unicode：

可以通过from_encoding参数传递编码类型给soup的构造器
通过文档本身找到编码类型：例如XML的声明或者HTML文档http-equiv的META标签。
如果Beautiful Soup在文档中发现编码类型，它试着使用找到的类型转换文档。 +
但是，如果你明显的指定一个编码类型，
并且成功使用了编码：这时它会忽略任何它在文档中发现的编码类型。
通过嗅探文件开头的一下数据，判断编码。如果编码类型可以被检测到，
它将是这些中的一个：UTF-*编码，EBCDIC或者ASCII。
通过chardet库,嗅探编码，如果你安装了这个库。
UTF-8
Windows-1252

一般来说,bs的自动识别,是不会有问题的,但是在我这里除了问题,具体原因不太清楚我的网页上已经声明了是utf-8编码原来代码如下

# 这是原来的编码,在win下面乱码
self.soup = bs((response.read()))
print self.soup.originalEncoding   # 此处结果竟然返回Windows-1252

修改后代码如下

# win下乱码的关键在这里,beautifulsoup解析的编码不对,我们这里直接指定编码
self.soup = bs((response.read()), from_encoding='utf-8')
print self.soup.originalEncoding   # 修正后代码正确返回'utf-8'

看来beautifulsoup的自动识别编码不能全部依赖. 好不容易才定位到这里的问题,折腾了一天啊这里用了一个方法来检测编码.就是soup.iriginalEncoding属性

print self.soup.originalEncoding   # 修正后代码正确返回'utf-8'

这篇博客好水,毕竟不是很懂,所以说不出来

update:2015-03-30

4 新技能get

之前都没好好理解原作者的博客,觉得没办法一个程序在win和ubuntu中不更改正常运行,现在发现,如果把编码改为unicode格式输出,那么系统会自动转换,这样就不存在utf-8编码在windows下cmd乱码了.

参考文献

1 【总结】Python 2.x中常见字符编码和解码方面的错误及其解决办法 2 【已解决】python中文字符乱码（GB2312，GBK，GB18030相关的问题）参考资料太多,贴不过来啊,主要都是cifan的博客,里面资料很多,一步一步都有过程,非常好用,谢谢cifan作者

python学习笔记--一个简单聊天室的实现

Thu, 26 Mar 2015 21:33:35 +0000

最近项目真多,一个接一个的失之交臂,全部都错过了.最近状态有些不好,容易胡思乱想. 这是来自书上的一个python聊天程序,我照着敲了一遍,然后给扩展了一下,加了多个房间和创建选择房间的功能,写了好久好久,感觉都拖了一个星期了. 下一步是做一个gui,恩,那将是我的第一个gui程序.

先贴一下代码 server5.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'

from asyncore import  dispatcher
from  asynchat import async_chat
import socket,asyncore

PORT = 5005  # 设定程序的端口号
NAME = 'testchat'  # 给服务器一个名称

class EndSession(Exception):pass

class CommandHandler:
    """
    类似标准库中cmd.Cmd的简单命令处理程序
    """
    # 如果输入的命令,那么就返回unknown命令
    def unknown(self, session, cmd):
        session.push('Unknown command: %s \r\n' % cmd)
    
    def handle(self, session, line):
        if not line.strip():
            return
        parts = line.split(' ', 1)
        cmd = parts[0]
        try:
            line = parts[1].strip()
        except IndexError:line = ''
        meth = getattr(self, 'do_' + cmd, None)
        try:
            meth(session, line)
        except TypeError:
            self.unknown(session, cmd)
# 这个类是聊天房间的类,继承上面的类是为了继承执行命令的功能
class ChatRoom(CommandHandler):
    def __init__(self, name, server):
        self.server = server
        self.name = name
        self.sessions = []

    def add(self, session):
        self.broadcast(session.name + ' has entered the room %s\r\n' % self.name)
        session.push('you can type "h" for help\r\n')
        ## 因为后面要将用户挪动房间,所以必须保存每个用户的session,这样才能挪动和删除
        self.server.users[session.name] = session
        self.sessions.append(session)

    def remove(self, session):
        try:
            self.sessions.remove(session)
        except: pass # 如果此处的sessions为空或者已经不存在,会出错,此处不上报

    def broadcast(self, line):
        # 广播,只广播到当前房间
        for session in self.sessions:
            session.push(line)

    def do_say(self, session, line):
        # 说话
        self.broadcast(session.name + ":" + line + '\r\n')

    def do_login(self, session, line):
        # login,其实是实现改名字的功能,懒得去改函数名了
        name = line.strip()
        if not name:
            session.push('please enter a name\r\n')
        elif name in self.server.users.keys():
            session.push('The name %s is taken\r\n' % name)
            session.push('please try again\r\n')
        else:
            session.server.users[name] = session.server.users.pop(session.name)
            session.name = name
            session.enter(self)
            self.do_list(session, '')
            session.push('type "select name" to choose one room\r\n')
    # 查看当前房间有哪些人
    def do_look(self, session, line):
        session.push('the following are in this room:\r\n')
        for other in self.sessions:
            session.push(other.name + "\r\n")
    # 查看当前在线的用户,所有房间的用户
    def do_who(self, session, line):
        session.push('the following are logged in:\r\n')
        for name in self.server.users:
            session.push(name + '\r\n')
    # 查看当前所有的房间
    def do_list(self, session, line):
        session.push('the room list is below\r\n')
        session.push('   '.join(self.server.rooms) + '\r\n')
    # 选择房间
    def do_select(self, session, line):
        name = line.strip()
        if not name:
            session.push('please enter a room name\r\n')
        elif name in self.server.rooms.keys():
            session.enter(self.server.rooms[name])
            self.broadcast(' %s ,welcome to join %s\r\n'% (session.name, name))
    # 输出帮助
    def do_h(self, session, line):
        session.push('you can use this commands:\r\n1,who to see who is on this server(online and offline)\r\n2,'
        'list to see how many room are avaliable\r\n3,look to see who are in this room\r\n4,login to login online and '
        'change a name\r\n5,create to create a new room')
    # 创建新房间
    def do_create(self, session, line):
        name = line.strip()
        if not name:
            session.push('please enter a name\r\n')
        elif name in self.server.rooms.keys():
            session.push('The room name %s is taken\r\n' % name)
            session.push('please try again\r\n')
        else:
            ChatRoom(name, self.server)
            session.server.rooms[name] = ChatRoom(name, self.server)
            session.push("the room %s create successful\r\n" % name)
            session.enter(session.server.rooms[name])
# 每个用户回话,这个是重点类
class ChatSession(async_chat):
    def __init__(self, server, sock):
        async_chat.__init__(self, sock)
        self.server = server
        self.set_terminator('\r\n')
        self.data = []
        self.name = 'visitor' + str(len(server.users))# 初始化用户名,用visitor1之类来表示
        self.room = self.server.main_room
        self.enter(self.server.main_room)

    def enter(self, room):
        try:
            cur = self.room
        except AttributeError: pass
        else: cur.remove(self)
        self.room = room
        room.add(self)
    # 当用户有输入的时候
    def collect_incoming_data(self, data):
        self.data.append(data)
    # 当用户输入终止符的时候
    def found_terminator(self):
        line = ''.join(self.data)
        self.data = []
        try:
            self.room.handle(self, line)
        except EndSession:
            self.handle_close()
    # 关闭用户回话
    def handle_close(self):
        async_chat.handle_close(self)
        # self.enter()

# 服务器类,这个也是重点类
class ChatServer(dispatcher):
    def __init__(self, port, name):
        dispatcher.__init__(self)
        self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
        # 端口复用
        self.set_reuse_addr()
        self.bind(('', port))
        self.listen(5)
        self.sessions = {}
        self.name = name
        self.users = {}
        self.rooms = {}
        # 新建一个房间hall,因为每个初始登陆的用户没有房间,但是操作是依赖与ChatRoom类的,所以给一个初始默认的房间
        self.main_room = ChatRoom('hall', self)
        self.rooms[self.main_room.name] = self.main_room

    def handle_accept(self):
        conn,addr = self.accept()
        ChatSession(self, conn)
        print 'connection attempt from ', addr[0]

if __name__ == "__main__":
    print 'server start'
    s = ChatServer(PORT, NAME)
    try:
        asyncore.loop()
    except KeyboardInterrupt: print

效果如图所示

python学习笔记--socket编程端口复用

Wed, 18 Mar 2015 08:47:02 +0000

最近在学习socket编程,遇到一个问题: 我先bind一个端口后,如果通过ctr+c关闭进程.接下来执行程序的时候,就会提示socket.error: Address already in use.

照例google一番,找到这个.博主说的情况和我的一样. 我还在stackoverflow上找到这个. 修改后代码如下:

    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 下面这行是关健
    server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

    server_socket.bind(('', PORT))
    server_socket.listen(5)

然后就搞定了.

下面的代码是socket编程敲得两个小例子,基于socket的聊天小程序都是别人的东西,只是练习一下,源地址在本文最后.

多线程版本服务器端程序server2.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'


import socket,sys
from thread import *

HOST = ''
PORT = 8888

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
print 'socket created'

try:
    s.bind((HOST, PORT))
except socket.error, msg:
    print 'bind failed.Error code: |||%S Message: %s' %(str(msg[0]), msg[1])
    sys.exit()


print 'socket bind complete'

s.listen(10)
print 'socket now listening'

def clientthread(conn):
    conn.send('welcome to the server.Type something and hit enter\n')

    while True:
        data = conn.recv(1024)
        reply = 'ok...' + data
        if not data:
            break
        conn.sendall(reply)
    conn.close()

while 1:
    conn, addr = s.accept()
    print 'connected with %s : %s' %(addr[0],str(addr[1]))

    start_new_thread(clientthread, (conn,))

s.close()

直接telnet连接socket,就可以调试

telnet localhost 8888

改良版,带广播的聊天室程序server3.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'

import socket, select

def broadcast_data(sock, message):
    for socket in CONNECTION_LIST:
        if socket != server_socket != sock:
            try:
                socket.send(message)
            except msg:
                socket.close()
                CONNECTION_LIST.remove(socket)

if __name__ == "__main__":
    CONNECTION_LIST = []
    RECV_BUFFER = 4096
    PORT = 5000
    server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
    server_socket.bind(('', PORT))
    server_socket.listen(5)

    CONNECTION_LIST.append(server_socket)
    print "chat server started on port %s" % str(PORT)

    while 1:
        read_sockets, write_sockets,error_sockets = select.select(CONNECTION_LIST, [], [])

        for sock in read_sockets:
            if sock == server_socket:
                sockfd,addr = server_socket.accept()
                CONNECTION_LIST.append(sockfd)
                print "client (%s, %s) connected" % addr

                broadcast_data(sockfd, "[%s:%s] entered room\n" % addr)

            else:
                try:
                    data = sock.recv(RECV_BUFFER)
                    if data:
                        print  "[%s:%s]" % (str(sock.getpeername()), data)
                        broadcast_data(sock, "[%s:%s]" % (str(sock.getpeername()), data))
                except msg:
                    print msg
                    broadcast_data(sock, "client (%s, %s) is offline "% addr)
                    print "client (%s,%s) is offline " % addr
                    sock.close()
                    CONNECTION_LIST.remove(sock)
                    continue
    server_socket.close()

客户端程序client3.py

# !/usr/bin/env python
# -*- coding:utf-8-*-
__author__ = 'chen'

import socket,select,string,sys

def prompt():
    sys.stdout.write('[you]')
    sys.stdout.flush()

if __name__ == "__main__":
    if(len(sys.argv)<3):
        print 'usage: python client3.py hostname port'
        sys.exit()

    host = sys.argv[1]
    port = int(sys.argv[2])

    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.settimeout(2)

    try:
        s.connect((host, port))
    except:
        print 'unable to connect'
        sys.exit()

    print 'connected to remote host. start sending messages'
    prompt()

    while 1:
        rlist = [sys.stdin, s]

        read_list, write_list, error_list = select.select(rlist, [], [])

        for sock in read_list:
            if sock == s:
                data = sock.recv(4096)
                if not data:
                    print '\nDisconnected from chat server'
                    sys.exit()
                else:
                    sys.stdout.write(data)
                    prompt()

            else:
                msg = sys.stdin.readline()
                s.send(msg)
                prompt()

参考文献

1 Python Socket 网络编程 2 Python Socket 编程——聊天室示例程序

Python学习笔记 on 搁浅St的blog

基于python的requests库，模拟登录csdn博客

安装requests库

快速上手的小例子

模拟登录csdn

浏览器：Firefox

浏览器插件：tamper data，firebug

分析登录过程

1 打开登录页面

2 清除相关的cookie

3 登录过程分析

4 开始模拟登录

5 优化

后话

参考文献

ubuntu下使用scrapy抓取cnblogs

软件安装

scrapy

PyMongo

Mongodb

使用scrapy新建工程

测试

输出到文件

存储到mongodb

第一步

第二步

执行效果如下

参考文献

blog2markdown程序打包,csdn爬虫

UPDATE:

BUG

依赖库

使用:

# 首先,编辑配置文件spider.conf

打包

源码执行

# 执行

python学习笔记--python和beautifulsoup遇到的编码问题

1 编码类型

2 常用方法

2.1 encode和decode

2.2 isinstance()

3 beautifulsoup编码问题

Beautiful Soup 会按顺序尝试不同的编码将你的文档转换为Unicode：

4 新技能get

参考文献

python学习笔记--一个简单聊天室的实现

先贴一下代码 server5.py

python学习笔记--socket编程端口复用

多线程版本服务器端程序server2.py

改良版,带广播的聊天室程序server3.py

客户端程序client3.py

参考文献

# 首先,编辑配置文件`spider.conf`