בפוסט הקודם דיברנו על הקובץ robots.txt וחסימת עמודים ואזורים באתר באמצעותו. אם אתם זוכרים נכון, הקובץ משמש רובוטים שבאים לסרוק את האתר בכדי לדעת לאיזה אזורים (כתובות URL) מותר ואסור להם להיכנס. קובץ ה׳ robots.txt הוא הש”ג של האתר שבודק האם יש לך או אין לך הרשאה להיכנס לעמוד, ואם ביצענו חסימה באמצעות הרובוט לא יורשה לבקר כלל בעמוד.
המשמעות של חסימה באמצעות Robots.txt היא יצירת חור שחור באתר מבחינת גוגל, אין לו מושג מה קורה שם ואסור לו לבדוק.
ישנם חסימות נוספות, קצת פחות נוקשות, לחסום עמודים שאנחנו לא רוצים שיסרקו. אחד מהדרכים האלו זה השימוש ב Meta Tag Robots
 |
טיפ קידום אתרים – עשה
|
הסינטקסט של meta robots
מכיוון ומדובר במטה תאג אנו צריכים להגדיר אותו בראש קובץ ה׳ html. התג יכול לקבל לתוכו שני ערכים nofollow או noindex בכל הקומבינציות שלהם.
התג צריך להראות ככה בקוד:
חסימת NoFollow + NoIndex
 |
<html> <head> <title>…</title> <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”> </head> |
חסימת NoIndex
|
<html> <head> <title>…</title> <META NAME=”ROBOTS” CONTENT=”NOINDEX”> </head> |
חסימת NoFollow
|
<html> <head> <title>…</title> <META NAME=”ROBOTS” CONTENT=”NOFOLLOW”> </head> |
Meta tag robots = noindex
כאשר תרצו לחסום עמודים באתר, נניח עמודי סל קניות או הרשמת חברי מועדון, תוכלו להשתמש בתג ה Robots. שימו לב שאם מדובר במספר עמודים באתר התג חייב להופיע בכל אחד מהם.
כאשר התג מוגדר עם noindex התפקיד שלו דומה מאוד לחסימת עמודה באמצעות קובץ ה robots.txt אבל עם הבדל אחד מאוד משמעותי, מותר לרובוט של גוגל להיכנס אל העמוד ולסרוק אותו אך התג מונע ממנו להיכנס לאינדקס.
מה ההבדל בין Robots.txt ל Meta tag robots=noindex
מדובר בהבדל משמעותי מהסיבה הפשוטה, אם אסור לגוגל להיכנס לעמוד הוא לא יכול לעקוב אחרי הקישורים שנמצאים בו. כך זה במקרה של החסימה באמצעות Robots.txt.
אם מותר לגוגל להיכנס לעמוד, אך אסור לו להכיל אותו באינדקס, גוגל יכול לעקוב אחרי הקישורים שנמצאים שם ואולי אפילו ללמוד דבר או שניים על העמוד והרלוונטיות. כך זה במקרה של החסימה באמצעות Meta Tag Robots=NoIndex
Meta Tag Robots= nofollow
תג ה Robots יכול לקבל לתוכו גם את הערך nofollow, מה שהופך את כל הקישורים בעמוד באופן אוטומטי לקישורי Nofollow. מדובר במקרה די קיצוני ובדרך כלל לא משתמשים באופציה הזו אלא בסימון קישורים ספציפיים אותם נרצה לסמן כקישורים שלא עובר דרכם קרדיט.
למידע נוסף על שיווק באינטרנט בקרו באתר Wisy.
Loading ...