Semalt: כיצד גוגל יודעת מתי (ומדוע) להפסיק לסרוק את האתר שלך?

עכבישים של גוגל חשובים לא פחות מקמפיין ה- SEO עצמו בעת שיווק אתר. הם סורקים אתרים ומוסיפים תוכן לאינדקס מכל הדפים שהוא יכול למצוא. זה גם מבצע אינדקס מחדש בדפים המעודכנים באתר. זה עושה זאת על בסיס קבוע, על בסיס מספר גורמים. הם כוללים, אך לא רק, דירוג PageRank, אילוצי סריקה וקישורים שנמצאים בדף. מספר הפעמים שהעכבישים של גוגל סורקים אתר יהיה תלוי באחד או יותר מגורמים אלה.

האתר צריך להיות ניווט בקלות על ידי המבקרים כמו גם את עכבישי הסריקה של גוגל. זו הסיבה מדוע קיום אתר ידידותי לזחילה הוא יתרון נוסף לקמפיין ה- SEO של האדם. אחרת, גוגל לא תוכל לקבל גישה לתוכן, ובכך להפחית את דירוג האתר בדף הדירוג של מנועי החיפוש .

רוס בארבר, מנהל הצלחת הלקוחות של סמלט , מגדיר ששני גורמי האינדקס החשובים ביותר שגוגל מסתמכת עליהם כדי להשפיע על החלטתה להאט או להפסיק לסרוק את האתר שלך הם זמן החיבור וקוד מצב ה- HTTP. אחרים כוללים את הפקודה לדחות, תגיות "ללא מעקב" ו- robots.txt.

חיבור זמן וקודי מצב HTTP

גורם זמן החיבור נוגע למשך הזמן שלוקח לבוט הסריקה של גוגל להגיע לשרת האתר ולדפי האינטרנט. המהירות מוערכת על ידי גוגל מאחר והיא מעידה מאוד על חווית משתמש טובה. אם דף האינטרנט לא מותאם במהירות, האתר ידרג בצורה גרועה. עכבישים של גוגל יעשו ניסיונות להגיע לאתר, ואם הזמן שייקח ליצירת חיבור ארוך יותר, הם נסוגים ומזחילים אותו בתדירות נמוכה יותר. יתר על כן, אם גוגל תדחוף לאינדקס את האתר במהירות הנוכחית, ייתכן שהוא יפריע לחווית המשתמש מכיוון שהוא עשוי להאט משמעותית את השרת שלה.

גורם האינדקס השני הוא קודי מצב HTTP המתייחסים לאיזו מידה השרת מגיב לבקשה לסרוק את האתר. אם קודי הסטטוס נמצאים בטווח 5xx, גוגל לוקח על עצמה לעצור או לעכב את הקצב בו הם זוחלים את האתר הנוכחי. כל דבר בטווח 5xx הוא אינדיקטור לבעיות אפשריות עם השרת ותגובה לבקשה עשויה להיות בעייתית. בגלל הסיכון לגרום לבעיות נוספות, הרובוטים של גוגל יפנו הצידה ויבצעו אינדקסים כאשר השרת ניתן להשגה יותר.

מתי Google ממשיכה בסריקת האתר?

גוגל מאמינה לספק למשתמשים את החוויה הטובה ביותר ותדרג אתרים המיטבים את רכיבי ה- SEO שלהם לקראת יעדים אלה. עם זאת, אם האתר מציג כרגע את הבעיות שהוזכרו לעיל, הוא יצווה על Googlebot שלה לנסות לסרוק אותם במועד מאוחר יותר. אם הבעיות נמשכות, הבעלים יאבד בהזדמנות נהדרת לכך שגוגל תעבור את תוכנו ותקצה לו דרגה ראויה היטב בתוצאות החיפוש. בנוסף לבעיות אלה, כל סימן של דואר זבל יחסום את האתר מאי פעם בתוצאות החיפוש.

כמו כל האלגוריתמים האחרים בהם גוגל משתמשת, גם העכבישים שלה אוטומטיים. הם מפותחים כדי לאתר, לסרוק ולאינדקס תוכן על סמך פרמטרים מסוימים. אם האתר אינו תואם לשיטות עבודה מומלצות מסוימות, אינדקס לא יקרה. ישנם גורמים רבים אחרים המעורבים, אך זכור תמיד לשים לב לזמן החיבור וקודי מצב HTTP של האתר שלך.