爬虫

多线程爬虫

由于天文项目需要，我写了个爬虫去抓取了20000多张图片，一开始没有考虑到各种乱七八糟的exception，例如断网呀，url上的image已经没了呀之类的，导致爬虫会中途停掉，程序健壮性差。于是我except了requests.exceptions.ConnectionError和HTTPError，之后再判断一下status_code==200。不过奇怪的是，这样下载的图片有的还是会打不开或损坏，猜测是天文网站本身的问题，所以最后我又添加一个判断，尝试性的使用PIL的Image打开它，没有抛出IOError就可以认为图片是完好的了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def download_star(url, params, filename):
    """ 下载星系图片
    """
    try:
        response = requests.get(url, params=params, headers=header, stream=True)
    except exceptions.ConnectionError as e:
        print("连接失败"+str(e.message))
    except exceptions.HTTPError as e:
        print('http请求错误:' + str(e.message))
    else:
        # 通过status_code判断请求结果是否正确
        if response.status_code == 200:
            print(response.url)
            with open("F://Test//" + filename + ".jpg", "wb") as f:
                for chunk in response.iter_content(1024):
                    f.write(chunk)

运行这个程序，着实很慢，加上一些IO操作，差不多1秒一张图片，如此一来，20000张还是要好久的，想着可不可以用多线程提高下速度。
一开始使用threading+Queue的方式，参考的这里：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
class threadDownload(threading.Thread):
    def __init__(self, que):
        threading.Thread.__init__(self)
        self.que = que
    def run(self):
        while True:
            if not self.que.empty():
                temp_list = self.que.get()
                print temp_list
                download(temp_list[0], temp_list[1], temp_list[2], temp_list[3], time.time())
                # saveImg(self.que.get(), 'os' + str(self.no) + '.jpg')
            else:
                break
class ThreadCrawl(threading.Thread):
    def __init__(self, queue, out_queue):
        threading.Thread.__init__(self)
        self.queue = queue
        self.out_queue = out_queue
    def run(self):
        while True:
            item = self.queue.get()
            self.queue.task_done()

最后启动多个线程去运行，最后计算时间，提高了很多，后来又写了scrapy的版本,参考的简书上的例子,速度差不了太多，之后将会试试多进程的版本。

Selenium练手

很早之前就听说了Selenium使用起来非常方便，所以花了一下午练了下手，主要用来模拟登录武大图书馆，并选择常用座位：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
import os
import re
import sys
import time
import random
import json
import datetime
import requests
from bs4 import BeautifulSoup
from xml import etree
# from importlib import reload
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
# reload(sys)
# sys.setdefaultencoding("utf-8")
_username = ''
_password = ''
browser = webdriver.Chrome()
def login(username_, password_, ):
    url = 'http://seat.lib.whu.edu.cn/login'
    browser.get(url)
    time.sleep(5)
    # # 输入用户名,密码
    username = browser.find_element_by_xpath('//input[@name="username"]')
    password = browser.find_element_by_xpath('//input[@name="password"]')
    captcha = browser.find_element_by_xpath('//input[@name="captcha"]')
    username.clear()
    username.send_keys(username_)
    password.clear()
    password.send_keys(password_)
    captcha.clear()
    verify_code_ = input('verify_code > ')
    print(verify_code_)
    captcha.send_keys(verify_code_)
    # 提交登陆
    sub_btn = browser.find_element_by_xpath('//input[@class="btn1"]')
    sub_btn.click()
    time.sleep(5)
    print('登陆完成')
    cookies = browser.get_cookies()
    cookie = [item["name"] + "=" + item["value"] for item in cookies]
    cookiestr = '; '.join(item for item in cookie)
    print(cookiestr)
    headers = {'cookie': cookiestr}
    return headers
def choose_seat():
    '''
    选择常用座位
    :return: 
    '''
    # 是否循环重新选座
    looping = True
    # 获取cookie
    headers = login(_username, _password)
    # 进入常用座位
    often_seat = browser.find_element_by_xpath('//a[@href="/freeBook/fav"]')
    often_seat.click()
    # 网页源码
    html_doc = browser.page_source
    soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')
    # 获得常用座位列表
    all_seats = soup.find_all("div", id="seats")
    seat_num = ""
    # todo 这里暂时只是做了选常用的第一个座位做测试，后面应该考虑座位是否占用，选后面的座位等
    for seat in all_seats:
        # print(seat)
        seat_num = seat.find("li").attrs['id']
        print(seat_num)
    if seat_num != "":
        string = '//li[@id="' + seat_num + '"]'
    print("seat_num is ", seat_num)
    # 前提是有常用座位
    seat_number = browser.find_element_by_xpath(string)
    seat_number.click()
    time.sleep(5)
    # 时间选择页面
    time_html_doc = browser.page_source
    soup = BeautifulSoup(time_html_doc, 'html.parser', from_encoding='utf-8')
    # 开始循环抢座位, 这部分尚未测试
    while looping:
        ul = soup.find_all("ul")[4]
        if ul is not None:
            print("################")
            li_list = ul.find_all("a")
            if li_list is None or len(li_list) == 0:
                print("sorry no start time to choose")
                looping = True
            else:
                start_time = li_list[0].attrs['time']
                # 选择开始时间
                temp = '//a[@time="' + start_time + '"]'
                start_btn = browser.find_element_by_xpath(temp)
                start_btn.click()
                # print(seat_num[5:])
                # 再选择结束时间
                endtime_html = requests.post('http://seat.lib.whu.edu.cn/freeBook/ajaxGetEndTime', data={
                    'start': start_time,
                    'seat': seat_num[5:]
                }, headers=headers)
                soup = BeautifulSoup(endtime_html.content, 'html.parser', from_encoding='utf-8')
                a = soup.find_all("a")
                if a is None or len(a) == 0:
                    print("sorry no end time to choose")
                    looping = True
                else:
                    end_time = a[len(a) - 1].attrs['time']
                    # 选择时间处的验证码
                    another_captcha = browser.find_element_by_xpath('//input[@id="captchaValue"]')
                    verify_code = input("choose time captcha > ")
                    another_captcha.send_keys(verify_code)
                    response = requests.post('http://seat.lib.whu.edu.cn/selfRes', data={'seat':seat_num[5:],
                                                'start':start_time,
                                                'end':end_time,
                                                'captcha':verify_code},
                                             headers=headers)
                    if response.status_code == 200:
                        looping = False
                        print('预约成功')
                # # 点击预约按钮
                # sure_btn = browser.find_element_by_xpath('//a[@id="reserveBtn"]')
                # sure_btn.click()
        else:
            print("no start time to choose")
if __name__ == '__main__':
    choose_seat()

这里值得注意的几点是：选择开始时间的时候，源码中js是停顿了一会加载的，所以我们这里在点击了位置之后，需要休眠一下等待开始时间加载出来；其次，这里的结束时间是根据选择的位置和开始时间参数，通过ajax动态访问的，我原本想着直接用selenium去访问ajax访问的页面，再返回来，结果发现没什么用，效果不佳，于是在这里用requests拿到ajax访问后返回的结果，选取结束时间。

抢座位的部分一直也没有测试，因为呆在实验室，也没怎么去图书馆了….

赏

谢谢你请我吃糖果

支付宝
微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

怕人询问，咽泪装欢