嘉兴企业想制作好一个高端网站大致会涉及哪些方面?

SEO教程 robots.txt文件常见用途

1. 允许所有的搜索引擎访问网站的任何部分

2. 禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

3. 禁止所有搜索引擎访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

4. 禁止网站上的程序文件被搜索引擎蜘蛛索引，这样可以节省服务器资源。

一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

User-agent: *

Disallow: /admin/   后台管理文件

Disallow: /require/   程序文件

Disallow: /attachment/  附件

Disallow: /images/     图片

Disallow: /data/       数据库文件

Disallow: /template/   模板文件

Disallow: /css/       样式表文件

Disallow: /lang/      编码文件

Disallow: /script/    脚本文件

注：每个网站的文件夹名字可能会不一样

　　这的确有些讽刺，因为搜索引擎正在变得越来越复杂，不少负面消极的SEO仍然会对大量网站构成威胁。当然啦，所谓的负面SEO是指你的竞争对手，或是其他某些人，他们希望让你的搜索排名下降。而且手段也很简单，比如可以给一个外国黑客支付五美元，就可以构建上千个黑帽，然后自动连接到某个网站。