标签：爬虫

堵不如疏，用LLMS.TXT对ai爬虫进行引导

最近发现网站访问量异常。脚标的"当前浏览次数"数字异常。看了一下后台数据貌似是被刷流量了？搜索了一下ip才发现是被ai爬虫爬的。吐槽一下阿里云的ECS，CPU到70%就直接卡死了。面对ai爬虫，2C2G的小机感觉压力好大。想起来之前读…