python爬虫：如何提高post请求速度

有人知道如何快速向一个网站提交不同内容的POST请求，并保存返回结果吗，速度要达到3000次/s。post请求的url是固定一个，data里不一样，有一串数字需要变动：从0-300000000这种的。我现在是通过concurrent.future来运行多线程，每个多线程里用了range来规定线程跑的范围。不过，好像还是太慢了速度达不到每秒3000这种速度。大家还有更好的方法吗，请赐教

我之前弄过一个JAVA版本的压力测试有达到过这样的速度，但是python的就没想法了。

你光多线程有啥用，python有全局解释器锁，你再多线程也有性能瓶颈，而且线程太多速度反而会下降，因为线程切换本身也是耗时操作。
用多进程➕多线程，最好是多进程➕协程。两个配合着一起用。

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

4回复贴，共1页

<<返回python吧

分享到:

日	一	二	三	四	五	六