信息碎片化时代，互联网上每天都有数以万计的新信息发布，为了抢夺大众的注意力，占用他们的碎片化时间，各大网站或app的招数也是层出不穷。
许多新闻平台都有兴趣推荐机制，拥有成熟先进的内容推荐算法，可以捕捉用户的兴趣标签，将用户感兴趣的内容推送到他的首页。
虽然拥有先进的内容推荐算法与互联网用户画像数据，但仍然缺乏海量的内容：比如做内容分发的，他们需要将各个新闻资讯平台更新的数据实时采集下来，再通过个性化推荐系统将其分发给感兴趣的人；做垂直内容聚合的，需要搜集互联网上某特定领域、特定分类下的新闻资讯数据，再发布到自己的平台上。
因此这些平台都需要及时获取互联网实时更新的最新资讯，配合其算法推荐给用户，从而为用户提供优质内容，从而提升用户关注与留存。
新闻转载分发的难点
数据源众多，采集的目标网站成百上千。
新闻数据源众多，媒体门户网站（人民网/新华网/央视网等）、自媒体平台（今日头条、百家号、一点资讯等）垂直新闻媒体网站（汽车之家/东方财富等）等百花齐放，采集的目标网站可能成百上千。
如果针对每个网站去写爬虫脚本，需投入很多的技术资源，时间经理和服务器硬件成本，各种流程下来可能两三个月都无法上线。如果要设计一套通用的爬虫系统，这个通用算法难度是非常大的（参考百度的搜索引擎爬虫），基本放弃这个想法。
新闻资讯时效性强，需实时采集。
我们都知道新闻资讯时效性强，需要各个目标网站的数据一更新就立即将其采集下来。一旦晚了一点，新闻的时效性便会大打折扣。
基于以上几大难题，我们推出了八爪鱼新闻采集模板，帮助大家及时采集新闻资讯，节约时间成本。目前八爪鱼提供的新闻采集模板覆盖了几大主流资讯网站，包括人民网、凤凰网、新华网等、支持关键词搜索采集、滚动新闻采集、具体类目下新闻采集等功能；