Screaming Frog SEO Spider for Mac(网络爬虫开发工具)

Screaming Frog SEO Spider是一款功能强大的SEO工具，可以帮助用户进行网站的SEO优化和分析。以下是Screaming Frog SEO Spider的主要特点：

1. 网站爬取：可以快速扫描整个网站并列出所有内部和外部页面，包括URL，标题，描述和头信息等。
2. 数据导出：可以将扫描结果导出为CSV，Excel，Google Sheets和其他格式，并进一步分析和处理数据。
3. 可视化界面：提供直观的可视化界面，可以轻松查看网站结构图、网站链接图、URL分布情况等。
4. SEO分析：提供有价值的SEO分析报告，包括潜在的技术问题、404错误、重复内容、Meta标签缺失等。
5. 定制化选项：提供多种定制化选项，用户可以根据自己的需求选择需要扫描的部分，例如指定的URL，文件大小等。

总之，Screaming Frog SEO Spider是一款非常实用的SEO工具，可以帮助用户识别网站上的技术问题，提高网站的可访问性和可发现性。它也被广泛地应用于竞争分析和关键词研究等方面。如果你需要进行SEO方面的工作，我推荐使用Screaming Frog SEO Spider。

Screaming Frog SEO Spider for Mac安装教程

镜像包下载完毕后打开，拖动到右边的应用程序进行安装

下面是Screaming Frog SEO Spide软件详细的注册激活教程

Screaming Frog SEO Spider for Mac功能特色

清晰的 GUI
您遇到的界面可能看起来有点杂乱，因为它由一个菜单栏和多个显示各种信息的选项卡式窗格组成。但是，开发人员的网站上提供了全面的用户指南和一些常见问题解答，这将确保高级用户和新手用户都可以轻松找到解决方法，而不会遇到任何问题。

查看内部和外部链接，过滤和导出它们
可以分析指定的 URL，并在单独的选项卡中查看内部和外部链接列表。第一个带有详细信息，例如地址，内容类型，状态代码，标题，元描述，关键字，大小，字数，级别，哈希和外部链接，而后者仅显示地址，内容，状态等信息，水平和链接。
两者都可以根据 HTML、javascript、CSS、图像、PDF、Flash 或其他坐标进行过滤，同时可以将它们导出为 CSV、XLS 或 XLSX 格式。
查看更多详细信息和图表，并生成报告
除此之外，您还可以检查多个链接的响应时间、查看页面标题、它们的出现、长度和像素宽度。可以查看带有元关键字及其长度、标题和图像的巨大列表。
主窗口中还提供了某些情况的图形表示，以及分析的所有 SEO 元素的文件夹结构，以及与网站深度和平均响应时间有关的统计数据。

可以使用代理服务器，创建站点地图并使用 XML 扩展将其保存到 HDD，并生成与爬网概述、重定向链和规范错误有关的多个报告。

底线
总而言之，Screaming Frog SEO Spider 对于那些有兴趣从 SEO 角度分析其网站的人来说是一款高效的软件。该界面需要一些习惯，响应时间很好，我们没有遇到任何错误或错误。
CPU 和内存使用率不是特别高，这意味着计算机的性能在大多数情况下不会受到影响。

Screaming Frog SEO Spider for Mac快速摘要

错误 - 客户端错误，例如链接断开和服务器错误（无响应，4XX，5XX）。

重定向 - 永久，临时重定向（3XX响应）和JS重定向。

阻止的网址 - robots.txt协议不允许查看和审核网址。

阻止的资源 - 在呈现模式下查看和审核被阻止的资源。

外部链接 - 所有外部链接及其状态代码。

协议 - URL是安全的（HTTps）还是不安全的（HTTP）。

URI问题 - 非ASCII字符，下划线，大写字符，参数或长URL。

重复页面 - 哈希值/ MD5checksums算法检查完全重复的页面。

页面标题 - 缺失，重复，超过65个字符，短，像素宽度截断，与h1相同或多个。

元描述 - 缺失，重复，超过156个字符，短，像素宽度截断或多个。

元关键字 - 主要供参考，因为它们不被谷歌，必应或雅虎使用。

文件大小 - 网址和图片的大小。

响应时间。

最后修改的标题。

页面（抓取）深度。

字数。

H1 - 缺失，重复，超过70个字符，多个。

H2 - 缺失，重复，超过70个字符，多个。

元机器人 - 索引，无索引，跟随，nofollow，noarchive，nosnippet，noodp，noydir等。

元刷新 - 包括目标页面和时间延迟。

规范链接元素和规范HTTP标头。

X-Robots-Tag中。

分页 - rel =“next”和rel =“prev”。

关注＆Nofollow - 在页面和链接级别（真/假）。

重定向链 - 发现重定向链和循环。

hreflang属性 - 审核缺少的确认链接，不一致和不正确的语言代码，非规范的hreflang等。

AJAX - 选择遵守Google现已弃用的AJAX抓取方案。

渲染 - 通过在JavaScript执行后抓取渲染的HTML来抓取像AngularJS和React这样的JavaScript框架。

Inlinks - 链接到URI的所有页面。

Outlinks - URI链接到的所有页面。

锚文本 - 所有链接文本。从带有链接的图像中替换文本。

图像 - 具有图像链接的所有URI和来自给定页面的所有图像。图像超过100kb，缺少替代文字，替代文字超过100个字符。

用户代理切换器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，移动用户代理或您自己的自定义UA。

自定义HTTP标头 - 在请求中提供任何标头值，从Accept-Language到cookie。

自定义源代码搜索 - 在网站的源代码中找到您想要的任何内容！无论是谷歌分析代码，特定文本还是代码等。

自定义提取 - 使用XPath，CSS路径选择器或正则表达式从URL的HTML中删除任何数据。

Google Analytics集成 - 连接到Google AnalyticsAPI并在抓取过程中直接提取用户和转化数据。

Google Search Console集成 - 连接到Google Search Analytics API并针对网址收集展示次数，点击次数和平均排名数据。

外部链接度量标准 - 将Majestic，Ahrefs和Moz API中的外部链接指标拖入爬行以执行内容审核或配置文件链接。

XML站点地图生成 - 使用SEO蜘蛛创建XML站点地图和图像站点地图。

自定义robots.txt - 使用新的自定义robots.txt下载，编辑和测试网站的robots.txt。

渲染的屏幕截图 - 获取，查看和分析已爬网的渲染页面。

存储和查看HTML和呈现的HTML - 分析DOM的必要条件。

AMP抓取和验证 - 使用官方集成的AMP Validator抓取AMP网址并对其进行验证。

XML站点地图分析 - 单独爬网XML站点地图或爬行的一部分，以查找丢失的，不可索引的和孤立的页面。

可视化 - 使用爬网和目录树强制导向图和树图分析网站的内部链接和URL结构。

结构化数据和验证 - 根据Schema.org规范和Google搜索功能提取和验证结构化数据。

拼写和语法– 用超过 25 种不同语言检查您的网站的拼写和语法。

抓取比较- 比较抓取数据以查看问题的变化和跟踪技术 SEO 进度的机会。比较站点结构，检测关键元素和指标的变化，并使用 URL 映射将临时站点与生产站点进行比较。

更新日志

改进列表模式下的消息传递，以明确有多少 URL 因排除、包含或重复而被删除。

改进渲染禁用对话框消息传递，使其更加清晰。

向表单身份验证添加对会话存储的支持。

写入 Google 云端硬盘时添加更多重试，以使导出更加稳健。

显示 JSON-LD 解析问题结构化数据详细信息选项卡。

删除 Excel 中工作表名称中的括号。

解决了多个正文标记过滤器中的误报问题。

修复了 psI API 更新后 psI 指标消失的问题。

修复了在自定义提取中使用长 XPath 表达式的问题。

修复了抓取时间戳已修改但未修改的问题。

修复了爬行路径报告中出现负爬行深度的问题。

修复了在比较模式下未填充“问题”的问题。

修复了无法在 macOS 上编辑任务的问题。

修复了 GA4 无法为 GA4 中拥有大量网址的客户找到某些网址数据的问题。

修复了列表模式下导出与上传 URL 不正确匹配的问题。

修复了在执行不必要的备份的爬网中加载时出现的问题，从而减慢速度。

修复了各种崩溃问题。

推荐理由

Screaming Frog SEO Spider for Mac可以帮助您从不同的网页上选择需要抓取的内容，软件具有网页蜘蛛功能，您可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能。