初探python之做一个简单小爬虫
· 实践教程 · 12 comments · 7,138 Views

初探python之做一个简单小爬虫

· 实践教程 · 12 comments · 7,138 Views

准备工作

初探python,这个文章属于自己的一个总结。所以教程面向新手,无技术含量。
python环境Linux基本都有,Windows下官网也提供了便利的安装包,怎么安装配置网上有很多教程在此就不一一说明。
我使用的python版本为Python 3.6.4,后面的代码也是基于python3的。

分析需求

做一个小爬虫离不开获取网页内容和匹配存储内容,那么我们先装上python爬虫的老朋友requests:
pip install requests
再装上pymysql扩展,方便将匹配到的内容插入到mysql数据库中:
pip install pymysql

第一步:获取网页内容

在python中有意思的是你需要什么,就去import什么,不像php一样获取网页内容直接来个file_get_contents完事儿
废话不多说,贴出代码来看一下:

# -*- coding:utf-8 -*-

# 加载 requests 模块
import requests
# GET方式获取 Response 对象
response = requests.get('https://www.xxx.com/')
if response:
    # 输出html代码到控制台
    print(response.text)
else:
    # 输出错误信息
    print('requests error')

在python中缩进一定要严格,初学者(4个空格为语句块缩进)经常犯的错误是tab键和空间键混用,造成的缩进不一致。凡是报错信息看到:IndentationError: unexpected indent ,就是表示缩进不一致。
如果本身没有编码基础,那么我推荐你看一下python的基本概念:http://www.kuqin.com/abyteofpython_cn/ch04.html
如果已经有了编码基础但对缩进这方面没有深究,可以看python的缩进规范:http://www.kuqin.com/abyteofpython_cn/ch04s09.html

好,写完代码之后我们拿到控制台试一下,完美输出html代码
requests

第二步:正则匹配内容

既然能够获取html代码,那我们就要找出需要的部分,这就用上了正则。Python 自1.5版本起增加了 re 模块,它提供 Perl 风格的正则表达式模式。具体细节可以在菜鸟教程中查看:http://www.runoob.com/python/python-reg-expressions.html,话不多说再贴代码:

# -*- coding:utf-8 -*-
# 加载 requests 模块
import requests
# 加载 re 模块
import re

response = requests.get('https://www.xxx.com/')
# 正则匹配文本
match = re.findall(r'<p><!--markdown-->([\s\S]*?)</p>', response.text)
if match:
    # 输出匹配的内容到控制台
    print(match[0])
else:
    # 输出html代码到控制台
    print(response.text)

re

注:原网址为随机一句文字显示,每刷新一次就会变化一次。

第三步:循环匹配并加入数据库中

首先我们把数据库和表做好,可以用sql语句创建:

CREATE DATABASE IF NOT EXISTS `sentence`;
USE `sentence`;

CREATE TABLE IF NOT EXISTS `sexy` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `content` varchar(250) NOT NULL,
  `datetime` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `content` (`content`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

这里将content设置为了UNIQUE KEY,是为了保证抓取到的内容不重复,如果有已存在的值便直接跳过

# -*- coding:utf-8 -*-
# 加载 requests 模块
import requests
# 加载 re 模块
import re
# 加载 pymysql 模块
import pymysql

# 打开数据库连接
db = pymysql.connect('127.0.0.1', 'root', 'root', 'sentence', charset='utf8')
# 使用cursor()方法获取操作游标
cursor = db.cursor()

#死循环到天长地久
while(True):
    response = requests.get('https://www.xxx.com/')
    # 正则匹配文本
    match = re.findall(r'<p><!--markdown-->([\s\S]*?)</p>', response.text)
    if match:
        sql = "INSERT INTO `sexy` (`content`) VALUES ('%s')" % (match[0])
        try:
           # 执行sql语句
           cursor.execute(sql)
           # 提交到数据库执行
           db.commit()
        except:
           # 如果发生错误则回滚
           db.rollback()
        # 输出sql语句到控制台
        print(sql)
    else:
        # 输出html代码到控制台
        print(response.text)

运行演示:
pymysql
数据库内容:
mysql

总结

python是个好东西,万物based on python
感觉教程贴比较难写,每个地方都有细节,但如果讲细了文章又太繁琐,若简单些不好取舍初学者又看不懂什么意思,向那些写易懂的入门教程文章的作者致敬。
注:由于原网址不方便公布,代码中的网址全部替换为了xxx.com。

添加新评论
  1. 我开源的爬虫代码,用的也是这个网站!

    回复
    1. @菜鸟博客

      哈哈,估计这网站要被玩坏了~

      回复
  2. 嘿嘿

    露珠 你用的啥数据库管理软件呀

    回复
    1. @嘿嘿

      HeidiSQL

      回复
  3. Fox

    emmmm这个网址是那个你好污啊的那个嘛?

    回复
    1. @Fox

      是的~

      回复
  4. 最近也在学习爬虫

    回复
  5. 我爬下来一个网页,用什么方法提取有效信息??

    回复
    1. @mexbochen

      可以用正则提取有效信息

      回复
  6. 好东西,mark了

    回复