גוגל ובוטים אחרים משתמשים בקובץ robots.txt כדי לגלות את מיקום מפת האתר. כשהקישור Sitemap: מופיע, הם מוצאים את המפה אוטומטית גם בלי הגשה ידנית. תוספת קטנה (שורה אחת) עם אימפקט גדול על מהירות הגילוי.
למה זה משנה
גוגל מציע שתי דרכים לגלות sitemap: הגשה ידנית ב-Search Console, או ציון ב-robots.txt. הגשה ידנית מועילה רק לגוגל. שורת Sitemap: ב-robots.txt עובדת לכל הבוטים - Bing, DuckDuckGo, Yandex, Baidu, ו-AhrefsBot שכולם בודקים אוטומטית את ה-robots.txt לפני סריקה.
בלי שורה זו, בוטים שמגיעים לאתר בפעם הראשונה מסתמכים רק על קישורים פנימיים כדי לגלות דפים, מה שמאט משמעותית את האינדוקס של תוכן חדש. במנועי חיפוש שלא משתמשים ב-Search Console (Bing Webmaster Tools, Yandex Webmaster), שורת Sitemap: ב-robots.txt היא הדרך היחידה להבטיח גילוי מלא.
השפעה ב-Bing: Bing מהווה כ-7-10% מהחיפוש העולמי, וב-AI-search (ChatGPT, Bing Chat, Copilot) זהו המנוע המרכזי. אם האתר שלך לא נסרק בידי Bing, AI Assistants לא יציעו אותו בתשובות.
איך לזהות
גלוש אל https://YOUR-SITE/robots.txt בדפדפן וחפש שורה שמתחילה ב-Sitemap:. אם היא חסרה, יש בעיה. מבנה תקין:
User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xmlבדיקה משלימה: ב-Google Search Console > Sitemaps - אם המפה לא הוגשה ידנית וגם לא מצוינת ב-robots.txt, גוגל לא ימצא אותה אוטומטית. ב-Bing Webmaster Tools יש דוח דומה.
בדיקה שלישית: השתמש ב-curl https://YOUR-SITE/robots.txt בטרמינל - מציג את הקובץ הגולמי כמו שגוגל רואה אותו.
איך לתקן
אם משתמש בתוסף SEO (Yoast, Rank Math, RankPlus, SEOPress), השורה אמורה להיות אוטומטית. בדוק בהגדרות התוסף:
- Yoast SEO: SEO > Tools > File editor > robots.txt - אמור להציג את השורה. אם לא, ה-sitemap מנוהל אבל לא מצוין; ערוך את הקובץ כאן.
- Rank Math: General Settings > Edit robots.txt - הוסף ידנית את השורה אם חסרה.
- RankPlus: אופציה "Add sitemap to robots.txt" צריכה להיות מופעלת.
אם אין תוסף SEO ויש לך robots.txt וירטואלי של ליבת WordPress (5.5+), השתמש בפילטר robots_txt ב-functions.php של התבנית או דרך תוסף Code Snippets:
add_filter('robots_txt', function($output, $public) {
if ('1' === $public) {
$output .= "\nSitemap: https://example.com/sitemap.xml\n";
}
return $output;
}, 10, 2);לחלופין, צור קובץ פיזי בשם robots.txt בשורש האתר (public_html/) עם התוכן הנכון. הקובץ הפיזי מחליף את הוירטואלי של WP.
ודא שה-URL במפה מצביע נכון: https ולא http, עם www או בלי בהתאם לדומיין הקנוני.
טעויות נפוצות
הטעות הראשונה: שורת Sitemap בתוך User-agent: block. שורת Sitemap היא הצהרה גלובלית - היא חייבת להיות מחוץ לכל User-agent, בדרך כלל בסוף הקובץ. אם היא תחת User-agent: Googlebot, רק Googlebot יראה אותה.
הטעות השנייה: ציון מספר sitemaps לא תקפים. אם יש לך כמה מפות (sitemap-posts, sitemap-pages, sitemap-products), ציין רק את ה-sitemap_index שמרכז את כולן, לא כל אחת בנפרד. תוספי SEO עושים זאת אוטומטית.
הטעות השלישית: URL עם פרמטרים. שורת Sitemap: https://example.com/sitemap.xml?ver=2 נראית מוזרה לבוטים. הסר פרמטרים מיותרים.
הטעות הרביעית: דומיין שגוי. אם האתר עבר ממ-http ל-https או הוסיף www, וודא ש-robots.txt מציין את הדומיין הקנוני, לא הישן.
הטעות החמישית: שורת Sitemap בעת שיש Disallow: / במקביל. אם האתר בכלל חסום, אין משמעות לציון sitemap. תקן את ה-Disallow קודם.
בדיקה לאחר תיקון
גלוש שוב ל-/robots.txt וודא שהשורה קיימת. הגש ידנית את ה-sitemap ב-Google Search Console > Sitemaps - תקבל גם דיווחי שגיאות. ב-Bing Webmaster Tools, הגש את הדומיין ובדוק שהמפה זוהתה. אחרי שבוע, בדוק ב-Coverage report עליה במספר דפים שגוגל גילה.