X
网站首页
网站建设
网页设计
网络推广
SEO优化
公司建站
价格费用
问答百科
生活百科
首页
网站建设
网站设计
网页设计
设计网站
网络推广
SEO优化
seo优化软件
谷歌seo
抖音SEO
公司建站
网站开发
小程序开发
价格费用
问答百科
生活百科
登录
noindex
问答百科
如何用 robots.txt、noindex 限制搜寻引擎抓网站资料?
大部分的网站都不需要限制搜寻引擎来爬取、索引资料,但如果有需要限制的时候,应该怎麽做呢?可以使用robots.txt跟noindex这两个语法来限制搜索引擎,robots.tx
兔兔侠IT
2022-10-28
757
robots.txt文件
noindex
×
(function(){ var src = (document.location.protocol == "http:") ? "http://js.passport.qihucdn.com/11.0.1.js?1d7dde81dc0903e04d3ac0b9599444f6":"https://jspassport.ssl.qhimg.com/11.0.1.js?1d7dde81dc0903e04d3ac0b9599444f6"; document.write('
<\/mip-script>'); })(); (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();