פעולות קידום אתר מול רובוטי סריקה

בכדי לודא שרובוטי הסריקה של מנועי החיפוש יכסו את כל הדפים והמידע באתר אנו מכוונים אותם לכך. הכוונת הרובוטים נעשית דרך קובץ מיוחד המאפשר לנו להפנות אותם אל מפת אתר מיוחדת המכילה את כל המידע שאנו רוצים שיסרקו. בעזרת הנחיות אלה אנו מוודאים שכל דפי האתר נכללים במנועי החיפוש.

להלן ההנחיות לגבי הקבצים הנדרשים:

קובץ הנחיות לרובוט הסריקה - robots.txt

קובץ robots.txt חייב להיות מוגדר ב Root של האתר ולכלול הוראות לרובוטים לגבי הספריות אותן הוא אינו צריך לסרוק. ספריות אלה יהיו בדרך כלל הספריות המכילות את הקוד או קבצי עזר. יש לוודא שההוראות לרובוט אינן מוציאות מהסריקה את התכנים של האתר.
הנחיות לכתיבת קובץ robots.txt

יש ליצור הפניה לרובוט דרך קובץ זה אל מפת האתר כך:

Sitemap: <sitemap_location>

Sitemap - מפת אתר XML
מערכת ניהול האתר חייבת ליצר מפת אתר במבנה xml אשר ימוקם ב Root של האתר.

עדכון

המפה צריכה להתעדכן דינאמית, אחת ליום או בכל פעם שנוסף במערכת דף חדש. שיקול העדכון תלוי בהתנהלות האתר. אתר פורומים או אתר הכולל תכני גולשים חייב בעדכון דינאמי. אתר חברה המתעדכן לעיתים רחוקות יכול ליצר מפה כקובץ בזמן יצירת תוכן חדש.
יש לשאוף לכלול את כל דפי האתר.

הנחיות לגבי מבנה XML של מפת אתר

דגשים
חובה להבריח תווים (entity escaped) בקישורים במפה.
מפת האתר אינה יכולה להכיל יותר מאשר 50,000 כתובות URL.
מפת האתר חייבת לשקול מתחת ל 10 MB.
ניתן לדחוס את המפה ב gzip. מגבלת ה 10MB חלה על הקובץ המורחב. הדחיסה היא רק בכדי לאפשר טעינה קלה.
במידה ומפת האתר עולה על הגדלים הנקובים, יש לפצל אותה למספר מפות ולהשתמש בקובץ אינדקס (ראו הנחיות בקישור מעל).
יש לשים לב לגבי הנחיות מיוחדות במקרים של sub-domain או כתובות URL הכוללות Port.

קידום אתר הכולל קבצי פלאש

בקידום אתרים הכוללים קבצי Flash עלינו לוודא שהקבצים מאפשרים ל Google לאנדקס את תוכן האתר.



המצב נכון להיום הוא כזה:
Google סורק קבצי Flash ומתוכם מחלץ תוכן טקסטואלי , גדג'טים, כפתורים, תפריטים וקישורי URL.
תכנים הנשמרים כתמונות, תפריטים שבנויים מתמונות, קטעי וידאו וכדומה אינם מפוענחים. Google גם לא מפענח עברית מקבצי Flash.
תוכלו לקרוא בקישור הבא עוד לגבי יכולות הזחילה של Google בקבצי Flash

בכדי לוודא שאובייקט Flash שהצבנו באתר מפוענח כנדרש עלינו לוודא את הדברים הבאים:
בקובץ ה Flash יש להשתמש ככל הניתן בטקסט או תפריטים המכילים טקסט ולא תמונות.
באתר חייבות להופיע הפניות נוספות לדפים אליהם מפנה ה Flash. הפניות אלה צריכות להיות כתובות בתגי HTML בצורה פשוטה וברורה.

אני מזכיר בנושא זה גם את ההנחיה הגורפת ליצירת מפת אתר לרובוטים (Site Map).

העברת אתר ושמירה על SEO

כאשר אנו מעבירים אתר לתשתית חדשה אנו עלולים לאבד את כל נקודות הקרדיט שהאתר כבר צבר בגוגל. בכדי לשמור על המיקום וההפניות החיצוניות שכבר היו לאתר, עלינו לבצע הפניות מהכתובות הישנות לחדשות.

הפניות אלה צריכות להיות הפניות http מסוג "301 – Permanent Redirect"

מנועי החיפוש ישמרו כך את הכתובות החדשות במקום הישנות ויפנו אליהן את הגולשים (במקום לחשוב שהדף הלך לאיבוד). השאיפה היא תמיד לשמור על מכסימום קישורים ולכן יש לשאוף ולשמור על החוקים הבאים:

פנייה המגיעה אל דף פנימי בדומיין הישן - תועבר אל אותו דף פנימי בדומיין החדש. במידה ולא ניתן למפות אל דף מוגדר בדומיין החדש - תועבר ההפניה אל דף הבית.

יש לשים לב שבמקרים בהם מגיעה פנייה אל דף שקיים במערכת, אך מוגדרת עבורו גם כתובת חברותית (Freandly URL) תפנה המערכת אל כתובת הדף החברותית.

במידה ונדרשים מספר שינויים בפנייה הנכנסת, על הפניות ה-http להעשות בקפיצה אחת אל הכתובת הסופית, ולא במספר קפיצות.

ההערות הנ"ל מתייחסות להעברת אתר אך נכונות גם למקרים בהם מדובר במחיקה או ביטול של דפים באתר קיים ופעיל. חבל לאבד את הכח והתנועה של הגולשים ומנועי החיפוש. אנו יכולים במחשבה מוקדמת והקפדה על הנוהל הזה גם לבצע הפניות לפחות אל דפי הבית. מסיבה זו יש גם לחשוב היטב על שימוש בכתובות חברותיות ולא לשחק ולשנות אותן יותר מדי. המשמעות של שינוי כתובת היא שמנוע החיפוש יתיחס לדף זה כדף ש"הלך לאיבוד".

במקרים כאלה עלינו לשמור על הקישור ופשוט ליצור הפנית 301 תואמת.

ועכשיו קצת קוד

PHP Redirect

<?
Header( "HTTP/1.1 301 Moved Permanently" );
Header( "Location: http://www.new-url.com" );
?>

ASP Redirect

<%@ Language=VBScript %>
<%
Response.Status="301 Moved Permanently"
Response.AddHeader "Location","http://www.new-url.com/"
%>

ASP .NET Redirect

<script runat="server">
private void Page_Load(object sender, System.EventArgs e)
{
Response.Status = "301 Moved Permanently";
Response.AddHeader("Location","http://www.new-url.com");
}
</script>

והפנייה של דומיין מלא

htaccess redirect

Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://www.newdomain.com/$1 [R=301,L]