python 搜寻蓝牙

在理想环境中，您需要的所有数据都将以开放且有据可查的格式清晰呈现，您可以轻松下载并使用它们以实现所需的目的。

在现实世界中，数据是混乱的，很少按照您的需要打包，并且经常是过时的。

迟早，您将发现需要进行一些爬网和抓取操作以获取所需的数据，并且几乎可以肯定，您将需要进行一些编码才能正确完成数据。 如何执行此操作取决于您，但是我发现Python社区是从网站获取数据的工具，框架和文档的出色提供者。

在我们加入之前，请快速提出一个要求：先思考，然后保持友善。 在刮擦的情况下，这可能意味着很多事情。 不要仅仅为了复制网站而抓取网站，而是将别人的作品展示为您自己的作品（当然，未经许可）。 注意版权和许可，以及版权和许可如何适用于您所抓取的任何内容。 尊重文件。 并且不要频繁访问网站，以免实际的访问者无法访问内容。

出于谨慎考虑，这里提供了一些很棒的Python工具，可用于抓取和抓取网络以及解析所需的数据。

y蜘蛛

让我们从 ，这是一个具有基于Web的用户界面的Web爬网程序，可以轻松跟踪多个爬网。 它是一个可扩展的选项，支持多个后端数据库和消息队列，并且内置了一些方便的功能，从优先级划分到重试失败的页面，按年龄爬网等功能。 Pyspider同时支持Python 2和3，并且为了更快地进行爬网，您可以以分布式格式使用它，同时可以使用多个爬网程序。

Pyspyder的基本用法已得到很好的包括示例代码段，您可以查看以了解用户界面。 pyspyder已获得Apache 2许可证的许可，仍在GitHub上积极开发。

机械汤

是一个爬网库，它基于广受欢迎且功能强大HTML解析库构建。 如果您的抓取需求非常简单，但是要求您选中几个框或输入一些文本，并且您不想为此任务构建自己的抓取工具，则可以考虑采用这种方法。

MechanicalSoup已获得MIT许可。 有关如何使用它的更多信息，请在项目的GitHub页面上查看示例源文件 。 不幸的是，该项目目前没有强大的文档

cra草

是一个由活跃社区支持的抓取框架，您可以使用该框架构建自己的抓取工具。 除了抓取和解析工具外，它还可以轻松地以JSON或CSV等多种格式导出收集的数据，并将数据存储在您选择的后端。 它还具有许多内置扩展，可用于执行诸如Cookie处理，用户代理欺骗，限制爬网深度等任务，以及可轻松构建自己的附件的API。

有关Scrapy的介绍，请查看或他们的众多资源之一，包括IRC频道，Subreddit和StackOverflow标签上的健康用户。 Scrapy的代码库可以3条款BSD许可找到。

如果您对编码不满意， 提供了一个直观的界面，使操作变得更加轻松。 托管版本可从 。

其他

• 将自己描述为“高级分布式爬网框架”，如果您正在寻找Python 2方法，它可能会满足您的需求，但是请注意，它已经有两年多没有更新了。

• 同时支持Python 2和Python 3的是另一个潜在的候选对象，尽管该项目的开发也相对安静。

• 对检查您要解析的数据是否主要驻留在RSS或Atom提要中可能是一个有用的项目。

• 使得从网页中检索基本内容（例如描述，标题，关键字或图像列表）变得容易。

• 是另一个适用于Python 2或3的简单库，具有基本功能，包括单击按钮和填写表单。 尽管它已经有一段时间没有更新了，但这仍然是一个合理的选择。

这远不是一个完整的列表，当然，如果您是主编码人员，则可以选择采用自己的方法，而不使用这些框架之一。 或者，也许您已经找到了针对另一种语言的出色替代方案。 例如，Python编码人员可能希望为不使用实际Web浏览器而较难抓取的网站签出的 。 如果您有最喜欢的爬网和抓取工具，请在下面的评论中告诉我们。

翻译自:

python 搜寻蓝牙