爬虫

随着大型语言模型（LLM）和生成式人工智能（AI）技术的普及，很多新型的网络爬虫悄然出现。其中就包括 GPTBot。与传统的搜索引擎爬虫不同，它的任务并非构建搜索索引，而是为 OpenAI 的模型（如 ChatGPT）采集训练数据。

如果你经营着网站、博客或在线业务，必然面临一个关键决策：是允许 GPTBot 访问，还是将其屏蔽？这不仅是技术选择，更涉及内容策略、品牌可见度及法律风险的复杂权衡。

本文将全面剖析 GPTBot 的运作机制、利弊分析，并提供可执行的决策框架与操作方法。

最近不仅在折腾反爬虫，也在搞一个数据抓取的需求，知己知彼，也能更有效的进行防御和进攻。

在抓取数据时，发现同样的请求在浏览器里能正常打开，用代码跑就返回 403 或者验证码页面。

折腾了挺久，最后靠模拟浏览器指纹解决了问题。

这篇文章记录一下学到的内容，主要是 TLS 指纹、HTTP/2 指纹这些之前没太关注过的东西。

数据是互联网时代的重要战略资源。数据爬虫（又称网络爬虫、网络机器人或网络蜘蛛）作为一种自动化信息采集技术，被广泛应用于各个领域。本文主要内容为介绍数据爬虫技术的基本原理与应用场景、探讨数据爬虫技术的合法性边界，帮助读者了解如何避免爬虫技术使用中的法律风险，获取实用的爬虫合规指南和最佳实践。

在做自动化测试或 RPA 等需求时，最常用到的三个自动化测试框架分别是 Cypress、Selenium 和 Playwright，这三种自动化测试框架因其各自的优势，成为了广泛使用的选择。本文将详细对比这三大自动化测试框架，分析它们的优势和适用场景，帮助您根据项目需求选择最合适的工具，提升自动化测试效率。

Charles 是常用的抓包工具，由于很长一段时间没有在我的 Mac 上抓过包了，相关证书都已过期。每次配置证书都忘记相关步骤需要去网上到处找教程，索性自己记录一下，希望对其他人也有所帮助。

在网站优化（SEO）中，noindex 和 nofollow 是两条非常常见的指令。它们看似相似，但在本质上作用完全不同。很多站长因为混淆这两个概念，导致收录和排名出现问题，甚至误伤了自己的网站权重。 本文将用通俗易懂的方式，帮你彻底搞清楚它们的区别、用法、默认值、使用原因和最佳实践。