الملف روبوت الذكي..!!
الحمد لله الذي بنعمته تتم الصالحات
بينما كنت أتقرب من الووردبرس أكثر إنتبهت إلى مسألة الروبوت أو ملف الروبوت robots.txt
لو قمت بزيارة جذر موقعك سوف تكتشف أن الووردبرس ليس لها ملف روبوت حقيقي
لكن لو زرت الرابط www.xxx.xxx/robots.txt
ستجد روبوت وهمي و محتواه كالتالي :
CODE
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Sitemap: http://www.xxxx.com/sitemap.xml.gz
أو ما يلي : (وهو خطير جدا من الناحية الأمنية)
CODE
User-agent: *Disallow:
من فهم قولي يعلم أننا أمام أمران أحلاهما مر
الأول : الاكتفاء بملف الروبوت الوهمي للوردبرس و سيحرمنا من أرشفة مهمة من خلال توجيه
عناكب البحث عبر استعمال هذا الملف حيث لو لاحضنا في الكود الأول اعلاه يمنع فقط من قراءة ملف الأدمن و الانكلود للضرورة الأمنية ثم يوجه العناكب نحو خريطة الموقع أو ما يعرف بالسات ماب
كما سيؤدي إلى تكرار الأرشفة من خلال قراءة الأرشيف و غيره ....
أو الثاني : و الذي يفتح الوورد برس أمام عناكب البحث بما في ذلك مجلدات الأدمن و الأنكلود
و طبعا الباب مفتوح أيضا للهاكر ليمرح كيف شاء لاحظ الكود الثاني أعلاه
يبدو أنه أصبح واضحا لدينا الآن خلاف ما يعتقده الكثير أن ملف الروبوت تكست و هو ملف حماية أيضا و ليس ملف أرشفة فقط خاص بالعناكب فهو يمكن من الوصول إلى ملفات الجافا و css و غيره من ملفات الإظفات التي يمكن أن تتأرشف و يعثر عليها أي صبي مخترق ليدخل عليها خصوصا أن بعضها قابل للكتابة و التغيير بل و تلقي الأوامر و تنفيذها
من جهة أخرى أرشفة ملفات لا أهمية لها في البحث مضر بالموقع بل هو ارشفة لمواقع الإظافات التي تقوم بتثبيتها
تعالوا بنا ننظم موقعنا و نبدأ بملف الروبوت ليقدم للعناكب ما نريد نحن و نحمي ما نرغب في حمايته
و نأرشف ما نسعى فقط لأرشفته
عندما قمت بهذا العمل صار أي عدد عناكب البحث التي تزور موقعي :
3000 : اليوم أثناء كتابة الموضوع
في هذا الشهر أكثر من 140 ألف
أنشر أي مقال بعد 15 ديقية أجده مأرشفا
مثال : قبل أسبوع نشرت صورا لقبر السيدة خديجة رضي الله عنها في شكل موضوع ، و رغم أن موقعي لديه شهرين فقط أي عمره شهرين فقط
أرجو أخي القارئ أن تكتب في مربع البحث في جوجل :قبر السيدة خديجة رضي الله عنها
ثم انظر النتيجة : و انظر ترتيب موقعي في النتائج و يمكنك أن تأخذ أي عنوان من موقعي و ابحث عنه لترى النتيجة بنفسك
دون أن ننسى أن موقعي عمره شهرين فقط أمام مواقع لها سنين عديدة و ملايين الصفحات التي نشرت صور قبر السيدة خديجة رضي الله عنها
الآن توضحت الفكرة أعتقد و لنبدأ العمل في خطوات سهلة إن شاء الله تعالى :
أولا : قم بإنشاء مستند نصي و أعطه إسم : robots.txt
ثانيا : إنسخ الكود أدناه و ضعه في الملف الذي أنشأناه
CODE
User-agent: GooglebotDisallow: /wp-content/Disallow: /trackback/Disallow: /wp-admin/Disallow: /feed/Disallow: /archives/Disallow: /index.phpDisallow: /*?Disallow: /*.php$Disallow: /*.js$Disallow: /*.inc$Disallow: /*.css$Disallow: */feed/Disallow: */trackback/Disallow: /page/Disallow: /tag/User-agent: Googlebot-ImageDisallow: /wp-includes/Allow: /wp-content/uploads/User-agent: Mediapartners-Google*Disallow:User-agent: ia_archiverDisallow: /User-agent: duggmirrorDisallow: /Sitemap: http://www.xxx.xxx/sitemap.xml
ثالثا : إحفظ الملف الروبوت تكست الذي أنشأته و ارفعه إلى جذر موقعك
رابعا : تمتع بآلاف الزواحف من العناكب لموقعك و التي بدل أن تذهب لتزور الملفات بي أتش بي و ملفات الجافا و سي سي إس و غيره الآلاف من ملفات الوورد برس التي لا تحتاج و لا نستفيد من أرشفتها بل خطير جدا أرشفتها ... قلت سوف تتجه هاته العناكب و تركز جهدها و عملها على مواضيعك و صورك التي تنشرها
خامسا : أدعوا الله لي بالعفو
ملاحظة : يجب تعديل الرابط داخل ملف الروبوت غير www.xxx.xxx برابط موقعك
==========
استفسار ارجو من الاستاذ سليمان مشاركتنا فية وكل ذوي الخبرة لكي تعم الفائدة ولاخيرا في كاتم علما
على سبيل المثال :
لو كانت المدونة برئيسية الموقع وكان المنتدى بمجلد فرعي، يكون الأمر بالروبوتس هكذا (مثال) :
Disallow: /index.php
هذا للمدونة
Disallow: /vb/index.php
وهذا للمنتدى
علماً أنه يمكنك جمع الأوامر لجميع المجلدات بملف واحد كما هو موضح أعلاه، أو وضع ملف روبوتس بداخل كل مجلد، يحتوي أوامر خاصة لهذا المجلد فقط. -هذه الطريقة تكون أفضل إذا كان المجلد سب دومين-
وبمجلد (www) يكون ملف الروبوتس خاص بما يحتويه، أو يُحذف إن كان فارغاً.
إستخدم أي طريقة افضل !!
تنبية
Disallow: /index.php
Disallow: /page/
Disallow: /tag/
طريقة خاطئة جدآ جدآ جدآ
اولآ يمنع رئيسية الموقع من الأرشفة
الكود الثاني يمنع الصفحات من الأرشفة
الكود الثالث يمنع الوسوم من الارشفة
لمن لايعرف فائدة الوسوم .. هي الكلمات الدلالية لجذب الزوار
وانا ولله الحمد ماسك كلمة قوية في احد الوسوم الي عندي ويجي عن طريقها لموقعي 2000 زائر يوميا من الوسم