使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

多轻多软的雪花啊,在空中飘舞着,追逐着,像—朵朵精巧的白菊。暗黄色的天际中像燃着一团百年都没有澌灭的野火,它肆无忌惮的吞噬着天间彩云,仿佛地狱使者受到差遣,来破坏天际的和谐。

熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。


#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----标题----\n" + a_click.renderContents()#标题
print "----链接----\n" + str(a_click.get("href"))#链接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print

到此这篇关于使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例就介绍到这了。宁愿跑起来被拌倒无数次,也不愿规规矩矩走一辈子。就算跌倒也要豪迈的笑。更多相关使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例内容请查看相关栏目,小编编辑不易,再次感谢大家的支持!