asyncio
可以实现单线程的并发IO操作,如果仅用在客户端,发挥的威力并不大,把asyncio
用在服务端,例如WEB服务器,由于HTTP连接就是IO操作,因此可以用单线程+coroutine
实现多用户的高并发支持。
asyncio
实现了TCP、UDP、SSL等协议,aiohttp
则是基于asyncio
实现的HTTP框架。
首先我们定义一个协同程序用来获取页面,并打印出来。我们使用asyncio.coroutine将一个方法装饰成一个协同程序,aiohttp.request是一个协同程序,所以他是一个可读方法。
@asyncio.coroutinedef print_page(url): response = yield from aiohttp.request('GET', url) #close断开的是网页与服务器的Connection:keep-alive body = yield from response.read_and_close(dcode=True) print(body)
如你所见,我们可以使用yield from从另一个协程中调用一个协程。为了从同步代码中调用一个协程,我们需要一个时间循环,我们可以通过asyncio.get_event_loop()得到一个标准的时间循环,之后使用它的loop.run_until_complete()方法启动协程,所以,为了使之前的协程运行我们只需要做:
loop = asyncio.get_evemnt_loop()loop.run_until_complete(print_page('http://xxxxx'))
一个有用的方法是asyncio.wait,通过它可以获取一个协程的列表,同时返回一个将它们包括在内的单独的协程,所以我们可以这样写:
loop.run_until_complete(asyncio.wait([print_page(url) for url in url_list]))
数据抓取
现在我们已经知道如何做异步请求,因此我们可以写一个数据抓取器,我们仅仅还需要一些工具来解析HTML
import aiohttpimport asynciodef get_content(html): ''' 处理HTML获取所需信息 '''async def print_magnet(page): headers = {'key':'value'} cookies = {'cookies_are': 'working'} url = 'http://www.cnbligs.com/#p{}'.format(page) async with aiohttp.ClientSession(cookies=cookies) as session: async with session.get(url, headers=headers) as response: content = get_content(await response.text()) print(await response.text())loop = asyncio.get_event_loop()tasks = asyncio.wait([print_magnet(page) for page in range(10)])loop.run_until_complete(tasks)
为了避免爬虫一次性的产生过多的请求导致账号/IP被封可以考虑使Semaphore控制同时的并发量,与我们熟悉的threading模块中的Semaphore(信号量)用法类似。
import aiohttpimpoer asyncioNUMBERS = range(12)URL = 'http://httpbin.org/get?a={}'sema = asyncio.Semaphore(3)async def fetch_async(a): async with aiohttp.request('GET', URL.format(a)) as res: data = await r.json() return data['args']['a'] async def print_result(a): with (await sema): r = await fetch_async(a) print('fetch({}) = {}'.foemat(a, r)) loop = asyncio.get_event_loop()f = asyncio.wait([print_result(num) for num in NUMBERS])loop.run_until_complete(f)
可以到后台看到并发受到了信号量的限制,同一时刻基本只处理三个请求。