لم تحدد مسار مجلد المنتدى لأكواد المنع + غير مناسب لمنتداك فلازال منتداك جديد يعني لست بحاجة لحظر الكثير من العناكب الآن
تفضل محتوى robots.txt مناسب لمتداك
CODE
User-agent: *
Disallow: /vb/index.php?page=new_topic
Disallow: /vb/index.php?page=search
Disallow: /vb/index.php?page=pm_send
Disallow: /vb/index.php?page=usercp
Disallow: /vb/index.php?page=pm_list
Disallow: /vb/index.php?page=online
Disallow: /vb/index.php?page=send
Disallow: /vb/index.php?page=misc&sendtofriend=1
Disallow: /vb/index.php?page=member_list
Disallow: /vb/index.php?page=team
Disallow: /vb/index.php?page=download
Disallow: /vb/index.php?page=static
Disallow: /vb/index.php?page=new_reply
Disallow: /vb/index.php?page=report
Disallow: /vb/index.php?page=options
Disallow: /vb/index.php?page=logout
Disallow: /vb/index.php?page=forget
Disallow: /vb/index.php?page=register
Disallow: /vb/index.php?page=print
Disallow: /vb/pbboard.class.php
Disallow: /vb/index.php/index.php
Disallow: /vb/index.php?page=tags&edit=1
Disallow: /vb/index.php?page=misc
وارفع ملف robots.txt بداخل موقعك مباشرة فقط وليس بداخل مجلد المنتدى
www.milon4.net/robots.txt