本文目录一览：
- 1、如何通过python调用新浪微博的API来爬取数据
- 2、python 能抓去微信的聊天记录吗
- 3、如何用 Python 爬取社交网络
- 4、可以用python爬我的微信聊天记录吗
- 5、微信聊天记录使用python爬虫到底能采集吗
- 6、python爬虫项目实战：爬取用户的所有信息，如性别、年龄等
如何通过python调用新浪微博的API来爬取数据
1：安装python(这个不多说啦)
2：下载新浪微博SDK的python包，解压为weibopy目录
3：申请AppKey，
流程：
1：通过oAuth认证
按我的理解简化如下：
用户在新浪微博给的页面输入账号密码，然后微博给应用一个PIN码，这样应用通过PIN码才有权限访问该用户的信息，而应用在整个过程中是接触不到密码的，所以用户觉得很安全，后果很满意
2：获得认证之后，就可以使用微博SDK提供的API获得信息啦
3：如果想设计web或者客户端应用的话，那就继续加个GUI好啦(未完成)
代码：
#!/usr/bin/python
import webbrowser
from weibopy.auth import OAuthHandler
from weibopy.api import API
AppKey = '2525355147'
AppSecret = '2e2c7bcdfc362eace266d1f2bf83fe6b'
my_auth = OAuthHandler(AppKey , AppSecret)
webbrowser.open(my_auth.get_authorization_url())
verifier = raw_input('PIN: ').strip()
my_auth.get_access_token(verifier)
my_api = API(my_auth)
for comment in my_api.mentions():
object = comment
id = object.__getattribute__("id")
text = object.__getattribute__("text")
print str(id) + " : " + text
python 能抓去微信的聊天记录吗
1. 微信把一个人删除以后，只要对方未删除对方手机聊天记录，对方还能看见我们之前的聊天记录。 2. 微信删除好友是单向的行为，删除好友，你仍会在对方好友列表存在，除非对方主动删除。 3. 删除好友后，对方将从你好友列表删除，你和对方聊天即...
如何用 Python 爬取社交网络
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author: Administrator
# @Date: 2015-10-31 15:45:27
# @Last Modified by: Administrator
# @Last Modified time: 2015-11-23 16:57:31
import requests
import sys
import json
import re
reload(sys)
sys.setdefaultencoding('utf-8')
#获取到匹配字符的字符串
def find(pattern,test):
finder = re.search(pattern, test)
start = finder.start()
end = finder.end()
return test[start:end-1]
cookies = {
'_ga':'GA1.2.10sdfsdfsdf', '_za':'8d570b05-b0b1-4c96-a441-faddff34',
'q_c1':'23ddd234234',
'_xsrf':'234id':'"ZTE3NWY2ZTsdfsdfsdfWM2YzYxZmE=|1446435757|15fef3b84e044c122ee0fe8959e606827d333134"',
'z_c0':'"QUFBQXhWNGZsdfsdRvWGxaeVRDMDRRVDJmSzJFN1JLVUJUT1VYaEtZYS13PT0=|14464e234767|57db366f67cc107a05f1dc8237af24b865573cbe5"',
'__utmt':'1', '__utma':'51854390.109883802f8.1417518721.1447917637.144c7922009.4',
'__utmb':'518542340.4.10.1447922009', '__utmc':'51123390', '__utmz':'5185435454sdf06.1.1.utmcsr=zhihu.com|utmcgcn=(referral)|utmcmd=referral|utmcct=/',
'__utmv':'51854340.1d200-1|2=registration_date=2028=1^3=entry_date=201330318=1'}
headers = {'user-agent':
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36',
'referer':'',
'host':'','Origin':'',
'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
'Connection':'keep-alive','X-Requested-With':'XMLHttpRequest','Content-Length':'81',
'Accept-Encoding':'gzip,deflate','Accept-Language':'zh-CN,zh;q=0.8','Connection':'keep-alive'
}
#多次访问之后，其实一加载时加载20个问题，具体参数传输就是offset，以20递增
dicc = {"offset":60}
n=20
b=0
# 与爬取图片相同的是，往下拉的时候也会发送http请求返回json数据，但是不同的是，像模拟登录首页不同的是除了
# 发送form表单的那些东西后，知乎是拒绝了我的请求了，刚开始以为是headers上的拦截，往headers添加浏览器
# 访问是的headers那些信息添加上，发现还是拒绝访问。
#想了一下，应该是cookie原因。这个加载的请求和模拟登录首页不同
#所以补上其他的cookies信息，再次请求，请求成功。
for x in xrange(20,460,20):
n = n+20
b = b+20
dicc['offset'] = x
formdata = {'method':'next','params':'{"offset":20}','_xsrf':'20770d88051f0f45e941570645f5e2e6'}
#传输需要json串，和python的字典是有区别的，需要转换
formdata['params'] = json.dumps(dicc)
# print json.dumps(dicc)
# print dicc
circle = requests.post("",
cookies=cookies,data=formdata,headers=headers)
#response内容 其实爬过一次之后就大同小异了。 都是
#问题返回的json串格式
# {"r":0,
# "msg": ["div class=\"zm-profile-section-item zg-clear\"\n
# span class=\"zm-profile-vote-count\"\ndiv class=\"zm-profile-vote-num\"205K\/div\n
# div class=\"zm-profile-vote-type\"\u6d4f\u89c8\/div\n
# \/span\ndiv class=\"zm-profile-section-main\"\n
# h2 class=\"zm-profile-question\"\n
# a class=\"question_link\" target=\"_blank\" href=\"\/question\/21719532\"
# \u4ec0\u4e48\u4fc3\u4f7f\u4f60\u8d70\u4e0a\u72ec\u7acb\u5f00\u53d1\u8005\u4e4b\u8def\uff1f\/a\n
# \/h2\ndiv class=\"meta zg-gray\"\na data-follow=\"q:link\" class=\"follow-link zg-unfollow meta-item\"
# href=\"javascript:;\" id=\"sfb-868760\"
# i class=\"z-icon-follow\"\/i\u53d6\u6d88\u5173\u6ce8\/a\nspan class=\"zg-bull\"•\/span\n63 \u4e2a\u56de\u7b54\nspan class=\"zg-bull\"•\/span\n3589 \u4eba\u5173\u6ce8\n\/div\n\/div\n\/div",
# "div class=\"zm-profile-section-item zg-clear\"\n
# span class=\"zm-profile-vote-count\"\n
# div class=\"zm-profile-vote-num\"157K\/div\n
# div class=\"zm-profile-vote-type\"\u6d4f\u89c8\/div\n
# \/span\ndiv class=\"zm-profile-section-main\"\n
# h2 class=\"zm-profile-question\"\n
# a class=\"question_link\" target=\"_blank\" href=\"\/question\/31764065\"
# \u672c\u79d1\u6e23\u6821\u7684\u5b66\u751f\u5982\u4f55\u8fdb\u5165\u7f8e\u5e1d\u725b\u6821\u8bfbPhD\uff1f\/a\n
# \/h2\ndiv class=\"meta zg-gray\"\n
# a data-follow=\"q:link\" class=\"follow-link zg-unfollow meta-item\" href=\"javascript:;\" id=\"sfb-4904877\"
# i class=\"z-icon-follow\"\/i\u53d6\u6d88\u5173\u6ce8\/a\nspan class=\"zg-bull\"•
# \/span\n112 \u4e2a\u56de\u7b54\nspan class=\"zg-bull\"•\/span\n1582 \u4eba\u5173\u6ce8\n
# \/div\n\/div\n\/div"]}
# print circle.content
#同样json串需要自己 转换成字典后使用
jsondict = json.loads(circle.text)
msgstr = jsondict['msg']
# print len(msgstr)
#根据自己所需要的提取信息规则写出正则表达式
pattern = 'question\/.*?/a'
try:
for y in xrange(0,20):
wholequestion = find(pattern, msgstr[y])
pattern2 = '.*?'
finalquestion = find(pattern2, wholequestion).replace('','')
print str(b+y)+" "+finalquestion
#当问题已经访问完后再传参数 抛出异常 此时退出循环
except Exception, e:
print "全部%s个问题" %(b+y)
break
可以用python爬我的微信聊天记录吗
理论上是可以的，因为这个系统的话主要就是用来采取一些网络的信息，只要是通过互联网来传输储存的正常情况都是可以爬取到的，但是需要一定的编程能力才行。
微信聊天记录使用python爬虫到底能采集吗
首先，下载互盾苹果恢复大师，先安装好备用。
第二，打开“互盾苹果恢复大师”软件，看到界面上“从iTunes备份文件中恢复”，点击即可。
第三，此时你可以看到软件正在扫描手机数据，等待扫描完成即可。
第四，扫描完成后，可以看到界面上有“微信”、“短信”等栏目显示，点击“微信”即可恢复微信的内容。
最后，点击“微信”后可以在右侧直接看到内容，也可以选择“导出”。
python爬虫项目实战：爬取用户的所有信息，如性别、年龄等
python爬虫项目实战：
爬取糗事百科用户的所有信息，包括用户名、性别、年龄、内容等等。
10个步骤实现项目功能，下面开始实例讲解：
1.导入模块
import re
import urllib.request
from bs4 import BeautifulSoup
2.添加头文件，防止爬取过程被拒绝链接
def qiuShi(url,page):
################### 模拟成高仿度浏览器的行为 ##############
heads ={
'Connection':'keep-alive',
'Accept-Language':'zh-CN,zh;q=0.9',
'Accept':'text/html,application/xhtml+xml,application/xml;
q=0.9,image/webp,image/apng, / ;q=0.8',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}
headall = []
for key,value in heads.items():
items = (key,value)
headall.append(items)
opener = urllib.request.build_opener()
opener.addheaders = headall
urllib.request.install_opener(opener)
data = opener.open(url).read().decode()
################## end ########################################
3.创建soup解析器对象
soup = BeautifulSoup(data,'lxml')
x = 0
4.开始使用BeautifulSoup4解析器提取用户名信息
############### 获取用户名 ########################
name = []
unames = soup.find_all('h2')
for uname in unames:
name.append(uname.get_text())
#################end#############################
5.提取发表的内容信息
############## 发表的内容 #########################
cont = []
data4 = soup.find_all('div',class_='content')
data4 = str(data4)
soup3 = BeautifulSoup(data4,'lxml')
contents = soup3.find_all('span')
for content in contents:
cont.append(content.get_text())
##############end####################################
6.提取搞笑指数
#################搞笑指数##########################
happy = []
data2 = soup.find_all('span',class_="stats-vote")
data2 = str(data2) # 将列表转换成字符串形式才可以使用
soup1 = BeautifulSoup(data2,'lxml')
happynumbers = soup1.find_all('i',class_="number")
for happynumber in happynumbers:
happy.append(happynumber.get_text())
##################end#############################
7.提取评论数
############## 评论数 ############################
comm = []
data3 = soup.find_all('a',class_='qiushi_comments')
data3 = str(data3)
soup2 = BeautifulSoup(data3,'lxml')
comments = soup2.find_all('i',class_="number")
for comment in comments:
comm.append(comment.get_text())
############end#####################################
8.使用正则表达式提取性别和年龄
######## 获取性别和年龄 ##########################
pattern1 = 'div class="f10a-357a-1110-915d articleGender (w ?)Icon"(d ?)/div'
sexages = re.compile(pattern1).findall(data)
9.设置用户所有信息输出的格局设置
################## 批量输出用户的所以个人信息 #################
print()
for sexage in sexages:
sa = sexage
print(' ' 17, '= = 第', page, '页-第', str(x+1) + '个用户 = = ',' ' 17)
print('【用户名】：',name[x],end='')
print('【性别】：',sa[0],' 【年龄】：',sa[1])
print('【内容】：',cont[x])
print('【搞笑指数】：',happy[x],' 【评论数】：',comm[x])
print(' ' 25,' 三八分割线 ',' ' 25)
x += 1
###################end##########################
10.设置循环遍历爬取13页的用户信息
for i in range(1,14):
url = ' '+str(i)+'/'
qiuShi(url,i)
运行结果，部分截图：