采集过程中不太好清洗，除非你能精确分析出广告信息的特征，再加上语义判断规则才可以精确清洗。建议先把数据采集下来，后期在mysql中用sql语句进行清洗。
数据提取：例如咱们只有用户身份证的信息，但是需要用户生日一列，这时候我们可以直接从身份证号中按照一定规律将生日信息提取出来。
文本处理：如果爬虫获取的数据是文本格式，可以使用正则表达式、字符串分割、文本解析库等方法进行数据分离。通过识别特定的标记或者格式，将文本中的目标数据提取出来。 JSON解析：如果数据是以JSON格式返回的，可以使用JSON解析库将其解析为字典或列表，然后根据所需的数据进行提取和分离。
爬虫pandas一次可以处理1亿行数据，根据爬虫pandas介绍，使用爬虫pandas后，普通笔记本电脑可以很轻松地处理1亿行的数据，100秒内就能完成计算，计算实现的成本非常低。因此爬虫pandas一次可以处理1亿行数据。
Python是数据处理常用工具，可以处理数量级从几K至几T不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性，这里就为大家分享几个不错的数据分析工具。
保存数据 提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。
以下是一个简单的入门教程： 打开八爪鱼采集器，并创建一个新的采集任务。 在任务设置中，输入小说网站的网址作为采集的起始网址。 配置采集规则。可以使用智能识别功能，让八爪鱼自动识别小说网站页面的数据结构，或者手动设置采集规则。
以下是使用Python编写爬虫获取网页数据的一般步骤： 安装Python和所需的第三方库。可以使用pip命令来安装第三方库，如pip install beautifulsoup4。 导入所需的库。例如，使用import语句导入BeautifulSoup库。 发送HTTP请求获取网页内容。可以使用Python的requests库发送HTTP请求，并获取网页的HTML内容。
使用Scrapy框架编写爬虫程序。Scrapy提供了强大的抓取和解析功能，可以自动处理网页的请求和响应，并提供灵活的数据提取和处理方式。通过编写爬虫程序，可以定义抓取的起始URL、页面解析规则、数据提取逻辑等。在编写爬虫程序时，需要注意遵守网站的爬虫规则，避免给目标网站带来过大的负担。
安装必要的库 为了编写爬虫，你需要安装一些Python库，例如requests、BeautifulSoup和lxml等。你可以使用pip install命令来安装这些库。抓取网页数据 主要通过requests库发送HTTP请求，获取网页响应的HTML内容。解析HTML 使用BeautifulSoup等库对HTML进行解析，提取需要的数据。
存储和分析数据：将爬取到的数据存储到本地文件或数据库中，然后使用数据分析工具对数据进行处理和分析。八爪鱼采集器可以帮助您快速上手Python爬虫技巧，提供了智能识别和灵活的自定义采集规则设置，让您无需编程和代码知识就能够轻松采集网页数据。
以下是使用八爪鱼采集器进行网页数据爬取的步骤： 打开八爪鱼采集器，并创建一个新的采集任务。 在任务设置中，输入要爬取的网址作为采集的起始网址。 配置采集规则。可以使用智能识别功能，让八爪鱼自动识别页面的数据结构，或者手动设置采集规则。
1、文本处理：如果爬虫获取的数据是文本格式，可以使用正则表达式、字符串分割、文本解析库等方法进行数据分离。通过识别特定的标记或者格式，将文本中的目标数据提取出来。 JSON解析：如果数据是以JSON格式返回的，可以使用JSON解析库将其解析为字典或列表，然后根据所需的数据进行提取和分离。
2、这个对象是你的王国，通过`.name`你可以获取标签名，`.attrs`解锁属性的宝藏，而`soup.`则让你单刀直入访问单个标签，`soup.find_all（a）`则召唤出所有同类。想要了解更多学习建议，不妨参考知乎上那个“零基础如何学Python”的指南。
3、第一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。
