الملف روبوت الذكي..!!

الملف روبوت الذكي..!! الحمد لله الذي بنعمته تتم الصالحات بينما كنت أتقرب من الووردبرس أكثر إنتبهت إلى مسألة الروبوت أ ..


موضوع مغلق


09-09-2012 07:00 صباحا
ashraf
عضـو ستـار
rating
العضو غائب سبحان الله وبحمده سبحان الله العظيم
معلومات الكاتب ▼
تاريخ الإنضمام : 01-12-2011
رقم العضوية : 1947
المشاركات : 2249
الدولة : مصر
الجنس : ذكر
يتابعهم : 0
يتابعونه : 1
قوة السمعة : 3463
موقعي : زيارة موقعي
اصدار المنتدى : 3.0.0
 offline 

الملف روبوت الذكي..!!




الحمد لله الذي بنعمته تتم الصالحات

بينما كنت أتقرب من الووردبرس أكثر إنتبهت إلى مسألة الروبوت أو ملف الروبوت robots.txt
لو قمت بزيارة جذر موقعك سوف تكتشف أن الووردبرس ليس لها ملف روبوت حقيقي
لكن لو زرت الرابط www.xxx.xxx/robots.txt

ستجد روبوت وهمي و محتواه كالتالي :
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Sitemap: http://www.xxxx.com/sitemap.xml.gz

أو ما يلي : (وهو خطير جدا من الناحية الأمنية)
User-agent: *Disallow:

من فهم قولي يعلم أننا أمام أمران أحلاهما مر

الأول : الاكتفاء بملف الروبوت الوهمي للوردبرس و سيحرمنا من أرشفة مهمة من خلال توجيه
عناكب البحث عبر استعمال هذا الملف حيث لو لاحضنا في الكود الأول اعلاه يمنع فقط من قراءة ملف الأدمن و الانكلود للضرورة الأمنية ثم يوجه العناكب نحو خريطة الموقع أو ما يعرف بالسات ماب
كما سيؤدي إلى تكرار الأرشفة من خلال قراءة الأرشيف و غيره ....

أو الثاني : و الذي يفتح الوورد برس أمام عناكب البحث بما في ذلك مجلدات الأدمن و الأنكلود
و طبعا الباب مفتوح أيضا للهاكر ليمرح كيف شاء لاحظ الكود الثاني أعلاه

يبدو أنه أصبح واضحا لدينا الآن خلاف ما يعتقده الكثير أن ملف الروبوت تكست و هو ملف حماية أيضا و ليس ملف أرشفة فقط خاص بالعناكب فهو يمكن من الوصول إلى ملفات الجافا و css و غيره من ملفات الإظفات التي يمكن أن تتأرشف و يعثر عليها أي صبي مخترق ليدخل عليها خصوصا أن بعضها قابل للكتابة و التغيير بل و تلقي الأوامر و تنفيذها

من جهة أخرى أرشفة ملفات لا أهمية لها في البحث مضر بالموقع بل هو ارشفة لمواقع الإظافات التي تقوم بتثبيتها

تعالوا بنا ننظم موقعنا و نبدأ بملف الروبوت ليقدم للعناكب ما نريد نحن و نحمي ما نرغب في حمايته
و نأرشف ما نسعى فقط لأرشفته

عندما قمت بهذا العمل صار أي عدد عناكب البحث التي تزور موقعي :

3000 : اليوم أثناء كتابة الموضوع
في هذا الشهر أكثر من 140 ألف

أنشر أي مقال بعد 15 ديقية أجده مأرشفا
مثال : قبل أسبوع نشرت صورا لقبر السيدة خديجة رضي الله عنها في شكل موضوع ، و رغم أن موقعي لديه شهرين فقط أي عمره شهرين فقط
أرجو أخي القارئ أن تكتب في مربع البحث في جوجل :قبر السيدة خديجة رضي الله عنها
ثم انظر النتيجة : و انظر ترتيب موقعي في النتائج و يمكنك أن تأخذ أي عنوان من موقعي و ابحث عنه لترى النتيجة بنفسك
دون أن ننسى أن موقعي عمره شهرين فقط أمام مواقع لها سنين عديدة و ملايين الصفحات التي نشرت صور قبر السيدة خديجة رضي الله عنها

الآن توضحت الفكرة أعتقد و لنبدأ العمل في خطوات سهلة إن شاء الله تعالى :

أولا : قم بإنشاء مستند نصي و أعطه إسم : robots.txt

ثانيا : إنسخ الكود أدناه و ضعه في الملف الذي أنشأناه

User-agent: GooglebotDisallow: /wp-content/Disallow: /trackback/Disallow: /wp-admin/Disallow: /feed/Disallow: /archives/Disallow: /index.phpDisallow: /*?Disallow: /*.php$Disallow: /*.js$Disallow: /*.inc$Disallow: /*.css$Disallow: */feed/Disallow: */trackback/Disallow: /page/Disallow: /tag/User-agent: Googlebot-ImageDisallow: /wp-includes/Allow: /wp-content/uploads/User-agent: Mediapartners-Google*Disallow:User-agent: ia_archiverDisallow: /User-agent: duggmirrorDisallow: /Sitemap: http://www.xxx.xxx/sitemap.xml

ثالثا : إحفظ الملف الروبوت تكست الذي أنشأته و ارفعه إلى جذر موقعك

رابعا : تمتع بآلاف الزواحف من العناكب لموقعك و التي بدل أن تذهب لتزور الملفات بي أتش بي و ملفات الجافا و سي سي إس و غيره الآلاف من ملفات الوورد برس التي لا تحتاج و لا نستفيد من أرشفتها بل خطير جدا أرشفتها ... قلت سوف تتجه هاته العناكب و تركز جهدها و عملها على مواضيعك و صورك التي تنشرها

خامسا : أدعوا الله لي بالعفو

ملاحظة : يجب تعديل الرابط داخل ملف الروبوت غير www.xxx.xxx برابط موقعك

==========
استفسار ارجو من الاستاذ مشراق مشاركتنا فية وكل ذوي الخبرة لكي تعم الفائدة ولاخيرا في كاتم علما

على سبيل المثال :
لو كانت المدونة برئيسية الموقع وكان المنتدى بمجلد فرعي، يكون الأمر بالروبوتس هكذا (مثال) :

Disallow: /index.php

هذا للمدونة
Disallow: /vb/index.php
وهذا للمنتدى

علماً أنه يمكنك جمع الأوامر لجميع المجلدات بملف واحد كما هو موضح أعلاه، أو وضع ملف روبوتس بداخل كل مجلد، يحتوي أوامر خاصة لهذا المجلد فقط. -
هذه الطريقة تكون أفضل إذا كان المجلد سب دومين-
وبمجلد (www) يكون ملف الروبوتس خاص بما يحتويه، أو يُحذف إن كان فارغاً.

إستخدم أي طريقة افضل !!
تنبية
Disallow: /index.php
Disallow
: /page/
Disallow: /tag/

طريقة خاطئة جدآ جدآ جدآ
اولآ يمنع رئيسية الموقع من الأرشفة
الكود الثاني يمنع الصفحات من الأرشفة
الكود الثالث يمنع الوسوم من الارشفة



لمن لايعرف فائدة الوسوم .. هي الكلمات الدلالية لجذب الزوار
وانا ولله الحمد ماسك كلمة قوية في احد الوسوم الي عندي ويجي عن طريقها لموقعي 2000 زائر يوميا من الوسم


تم تحرير الموضوع بواسطة :ashraf
بتاريخ:09-09-2012 07:10 صباحا



المواضيع المتشابهه
عنوان الموضوع الكاتب الردود الزوار آخر رد
مشكلة عند تحميل صورة لغلاف الملف الشخصي عبدالاله الهذلي
0 46 عبدالاله الهذلي
لا تظهر الصورة في الملف الشخصي 7ason
1 74 7ason
[أستفسار] كيف اضيف خاصية صورة غلاف الملف الشخصي للاستايلات 3.0.2 عبدالاله الهذلي
13 304 Mr King
ماهو الملف للتعديل على الفوتر itsright
1 74 itsright
عدم ظهور القائمة الجانبية لصفحة الملف الشخصي في ستايل Matin2 FBRKH
1 93 FBRKH

الكلمات الدلالية
لا يوجد كلمات دلالية ..







الساعة الآن 06:59 مساء