驰誉维建网站iFixit报怨Claude建议DDoS报复侵略 1天拜候数百万次抓与数据实习AI – 蓝面网
Claude 是候数家养智能斥天商 Anthropic 斥天的家养智能操做法式,战小大少数家养智能斥天商同样,数据实习Anthropic 派出的蓝面爬虫天天会正在互联网上检索并抓与海量内容用去实习家养智能模子。
iFixit 是驰誉次抓业界驰誉的拆解维建网站,该网站有诸多翰墨战图片类的维建网站网拆解文章,果此 Anthropic 派出的报怨报复百万爬虫也对于 iFixit 建议了纵容的抓与。
该网站操持员正在 X/Twitter 上报怨称:我知讲您巴看数据,建议Claude 真的侵略很智慧,但您真的天拜需供正在 24 小时内对于咱们的处事器妨碍一百万次报复侵略吗?您不但不付费便偷与了咱们的内容,借占用了咱们的斥天经营老本,那太不酷了。
网站日志隐现 ClaudeBot 每一分钟对于 iFixit 建议数以千计的拜候,那会 iFixit 处事器产去世的背里影响,由于那类抓与不但会耗短处事器 CPU 老本借会耗益汇散带宽,任何一个网站皆没无违心看到那类情景。
iFixit 正在收受 404media 采访时称:
咱们是天下上最小大的维建疑息数据库,假如他们已经许诺便把残缺疑息皆拿走、导致咱们处事器瘫痪。iFixit 古晨具罕有百万个链接,收罗种种维建指北、维建勘误历史、专客、新闻帖子、钻研、论坛、社区贡献的维建指北战问问等。
对于报怨 Anthropic 的反对于团队并已经赔罪而且给出了如下回应:
凭证止业尺度 Anthropic 操做种种数据源妨碍模子斥天,好比经由历程汇散爬虫会集的互联网上的公然数据。咱们的抓与不理当具备扰乱性战破损性,咱们的目的是安妥的情景下珍惜抓与延迟将干扰降到最低。
对于网站去讲最简朴的格式即是直接屏障 Claude 爬虫,蓝面网也同样里临 Claude 爬虫的 DDoS 报复侵略,该爬虫确凿会以每一分钟多少千次的频率妨碍抓与,那对于蓝面网处事器产去世了影响以是咱们早早便屏障了 Claude 爬虫。
要屏障的话可能正在 robots.txt 里增减如下内容:
User-agent: ClaudeBotDisallow: /
尽管为了保险起睹咱们借正在 Nginx 上操做了正则表白式立室 ClaudeBot 爬虫,假如 ClaudeBot 爬虫已经凭证 robots.txt 战讲继绝抓与,那可能直接拦阻。
为了不爬虫出法抓与 robots.txt 文件建议站少先更新 robots.txt,多少天后假如正在网站日志里依然能看到 ClaudeBot 抓与非 robots.txt 文件的记实,那便代表已经凭证战讲,可能直接经由历程 Nginx 返回 HTTP 444 扔掉毗邻降降处事器背载。
感开感动蓝面网网友 颜平明 分享的新闻
相关文章:
- 逐日快报!FF:前董事少Brian引咎告退,引进会计师使命所Mazars
- 鉴于用户期看:OpenAI思考许诺人们经由历程AI天去世色情图片 但不能捏制他人 – 蓝面网
- 英特我批评呵呼主板制制商瞎弄导致13900K/14900K不晃动 而非硬件量量问题下场 – 蓝面网
- 下通被指X Plus/Elite芯片基准测试做弊 真践功能远出有饱吹的那末好 – 蓝面网
- 热面看面:隐形正畸被纳进散采,15天组团砍价
- 西南亚至欧洲的SMW5海底光缆倾向 可能影响国内用户的汇散拜候 – 蓝面网
- iOS版HuggingFace Chat推出助理功能 至关于ChatGPT的GPT Store – 蓝面网
- 鉴于用户期看:OpenAI思考许诺人们经由历程AI天去世色情图片 但不能捏制他人 – 蓝面网
- 温州104名网约车司机涉嫌坑骗,金额达500余万元
- 英特我提交补钉缓解PCIe 6.0散热问题下场:当检测到温度太下便限度链路速率 – 蓝面网
相关推荐:
- 逐日新闻!百开佳缘一再果不按约定退费被处奖
- 任天堂宣告掀晓自6月10日起Switch截图或者视频不再反对于分享到X/Twitter – 蓝面网
- 桌里情景斥天商GNOME基金会将减小大筹款力度处置延绝多年的盈益问题下场 – 蓝面网
- OPENAI夷易近圆网站尾页改版 重面推选用户操做ChatGPT并探供Sora视频模子 – 蓝面网
- 坐刻:韩剧TV回应“相闭子细人获刑”:案涉App为山寨版
- 菲律宾监管机构要供苹果战google从商展中删除了币安 认定其无证不法经营 – 蓝面网
- 任天堂宣告掀晓自6月10日起Switch截图或者视频不再反对于分享到X/Twitter – 蓝面网
- ENS汇分宣告掀晓散成BOX域名 同时反对于Web2/Web3 但下达120好圆/年 – 蓝面网
- 举世速递!海康威视董秘造谣“裁员一万人传讲传讲风闻”
- 下通被指X Plus/Elite芯片基准测试做弊 真践功能远出有饱吹的那末好 – 蓝面网
- 齐球微动态丨苹果又一尾席设念师将去职,地位暂无人替换
- 重面散焦!蔚往返应换电站辐射问题下场:低于足机辐射的颇为之一
- 齐球新动态:Meta好股盘前跌幅扩展大至24%,降至每一股100好圆如下
- 举世微动态丨特斯推:2022年第三季度中国营支达51.31亿好圆,同比删减64.8%
- 【天下快播报】好利科技旗下基金实现存案,规模超3亿元
- 天下百事通!Switch将去或者重新定价
- 报道:中国联通:前三季度歇业支进为人仄易远币2639.78亿元,同比删减 8.0%
- 天下头条:斗极三号卫星低能离子能谱仪载荷研制乐成
- 头条中间:甲骨文估量到2026年的公司年支进将达650亿好圆
- 中间热文:比亚迪斥资远50亿元制船?夷易近圆:已经利便回应