在大数据时代，爬虫工作也变得尤为重要，特别是对于亟需转型的传统企业和急待发展的中小企业而言，应如何从庞大的数据中整理出自己所需要的数据？下面我们来谈谈一些爬虫在工作过程中可能遇到的一些问题。
1、经常更新网页。
网上的信息总是不断地更新，因此，我们在工作信息时，需要定期地对其进行操作，也就是要设定工作信息的时间间隔，以免工作网站的服务器更新，而我们所做的就是不努力。
2、一些网站禁止爬虫工具。
有些网站为了防止某些恶意工作，会设置防工作程序，你会发现明明很多数据显示在浏览器上，但却收不到。
3、混乱问题。
虽然我们成功地抓到网页信息后，也无法顺利地进行数据分析，很多时候我们工作网页信息后，会发现我们工作的信息都乱码了。
4、分析资料。
事实上，到了这个阶段，基本上我们的工作已经取得了很大的成功，不过数据分析的工作量是非常大的，要完成大规模的数据分析还需要花费大量的时间。
所以，当我们真正遇到这些问题时，我们应该怎么做？
第一我们需要理解，爬虫工作要在合法的范围内进行，可以借鉴他人的各种数据和信息，但不要原样照搬，毕竟别人辛辛苦苦做数据写各种资料也很难。毫无疑问，爬虫工作需要一个能够正确运行的程序来支持，如果能够自己写出最好的，如果不能，网上会有许多教程和源代码，不过，后来出现的实际问题还是需要您自己来操作，例如：浏览器显示的信息，但我们抓到后却无法正常显示，此时我们要看http头信息，要分析一下选择什么样的压缩方式，还需要后期自己挑选一些实用的解析工具，对没有技术经验的人来说，确实非常困难。
