יום ראשון, 9 בנובמבר 2008

חסימת רובוטים על שרתי פיתוח

במהלך פיתוח אתרים ולאחריו, אנחנו מחזיקים עותק של האתר על שרתי הפיתוח. במידה ולא ננקוט בצעדי מניעה, אתרי פיתוח אלה יכללו בסריקות של רובוטי החיפוש.

הבעיה שתווצר

לקוחות מגיעים לשרת הפיתוח (stage) ונרשמים עליו, או שולחים בו הודעה לפורום.
ללקוח שלנו יש תחרות על מילות חיפוש בינו לבין עצמו.
במידה והאתר בפיתוח על הכתובת הסופית של האתר, נוצרים אינדקסים בהם יש תוכן מוטעה, תוכן שהוזן על ידי המפתחים לבדיקה בלבד. אמנם גוגל מאנדקס מחדש כל חודשיים בערך אבל הניתוח שלו עלול להיות מוטה בהתחלה. צריך לזכור גם שרובוטים אחרים יכולים להסתפק בסריקה אחת לחצי שנה ואפילו יותר.

מסקנה

כל שרתי הפיתוח וכל הפרויקטים שטרם שוחררו לרשת צריכים להיות מוסתרים לרובוטים.

הנחיות לטיפול

אבקש מכולם לעבור על האתרים שבפיתוח ועל שרתי ה Stage ולוודא שהם נעולים לסריקה. הדרך לעשות זאת היא בעזרת קובץ robots.txt. יש להכניס רישומים כגון אלה:


User-agent: *
Disallow: /stage/

לקריאה נוספת היכנסו לדפי הסבר אלה.