עמוד שמסומן ב-meta robots noindex לא אמור להופיע ב-sitemap.xml. זוהי סתירה לוגית: ה-sitemap אומר "סרוק וצרף לאינדקס", ה-noindex אומר "אל תצרף". כשגוגל מקבל סיגנלים סותרים, הוא מאבד אמון ב-sitemap בכלל.
למה זה משנה
ה-sitemap הוא הצהרה של בעל האתר: "אלה הדפים שאני רוצה שיופיעו בחיפוש". כשעמוד שמופיע ב-sitemap מסומן noindex, גוגל מבין שאתה לא יודע מה אתה רוצה - מה שמוריד את האמון של גוגל בכל ה-sitemap. בפועל, גוגל יסרוק את ה-sitemap בתדירות נמוכה יותר ויתעלם מבקשות "submitted via sitemap".
השפעה שנייה: בזבוז crawl budget. גוגל מקצה לכל אתר תקציב סריקה - מספר מוגבל של URLs שהוא יסרוק בכל ביקור. כשהוא סורק עמודי noindex (שהוא יודע שהוא לא יוסיף לאינדקס), הוא מבזבז זמן שיכל לסרוק תוכן חדש שכן רוצה לאינדקס. בעיקר באתרים גדולים, זה מאט את ה-discovery של תוכן חדש בימים-שבועות.
השפעה שלישית: ב-Google Search Console > Pages, יוצרים בלגן בדיווחים. עמודים מסומנים תחת "Excluded by 'noindex' tag" עם הסבר "submitted to sitemap" - מסך שמטעה את הצופה כאילו יש בעיה אקטיבית, כשבעצם זוהי החלטה (אבל לא מתואמת).
איך לזהות
ב-Google Search Console > Pages > Not indexed - חפש את הסעיף "Excluded by 'noindex' tag". אם הוא מציג URLs שגם מופיעים ב-sitemap, יש סתירה. לחיצה על הסעיף מציגה את הרשימה.
בדיקה משלימה: השתמש ב-Screaming Frog SEO Spider במצב "List mode". טען את ה-sitemap.xml, סרוק, וראה את ה-tab "Directives" - הוא מציג כל URL ואת ה-meta robots שלו. סנן ל-"noindex" וקבל את הרשימה.
בדיקה ידנית: פתח את ה-sitemap.xml בדפדפן (https://example.com/sitemap.xml), בחר URL לבדיקה, פתח אותו בדפדפן, View Source, וחפש noindex ב-meta robots.
איך לתקן
לכל URL בסתירה, החלט מה אתה רוצה: שיופיע בחיפוש או לא. אם כן - הסר את ה-noindex. אם לא - הוצא מה-sitemap.
לדפים שאתה רוצה שיהיו בחיפוש: ערוך את הפוסט/דף, גלול לקופסת SEO של התוסף, ושנה את הסטטוס. ב-Yoast: שנה "Allow search engines to show this Post in search results?" ל-Yes. ב-Rank Math: שנה "Robots Meta" ל-Index.
לדפים שלא צריכים להיות בחיפוש: השאר את ה-noindex אבל הוצא מ-sitemap.
- Yoast: SEO > Search Appearance > Content Types > בחר את סוג הפוסט/דף ושנה "Show in search results?" ל-No - זה גם מסיר מ-sitemap וגם מוסיף noindex אוטומטית. ה-sitemap מתעדכן מיד.
- Rank Math: Titles & Meta > בחר את סוג הפוסט/דף > שנה "Index" ל-noindex - גם מסיר מ-sitemap.
- RankPlus: בעריכת הפוסט, סמן "לא לאינדקס" וודא שהאופציה גם מסירה מ-sitemap.
אחרי השינוי, הגש מחדש את ה-sitemap ב-Google Search Console > Sitemaps. כדי לזרז את עדכון האינדקס, לחץ Resubmit על ה-sitemap או הגש URL ספציפי דרך URL Inspection.
טעויות נפוצות
הטעות הראשונה: יישום noindex בלי הוצאה מ-sitemap. תוספי SEO ברירת מחדל מסירים noindex pages מ-sitemap, אבל אם הוספת את ה-noindex ידנית (דרך פילטר custom או meta box), ייתכן שהדף עדיין ב-sitemap. בדוק.
הטעות השנייה: הסרת noindex אבל שכחה לוודא שגוגל יוכל להגיע לדף. אם ה-URL חסום ב-robots.txt, הוא לא יוכל להיכנס לאינדקס גם אחרי הסרת ה-noindex. בדוק את שני הסיגנלים.
הטעות השלישית: שימוש ב-noindex על דפי המערכת (login, register, account, cart, checkout) ושכחה להסיר אותם מ-sitemap. דפים אלה לא צריכים להיות בחיפוש - הם משרתים פונקציה אחרת. ודא שתוסף ה-SEO מוגדר להוציא אותם אוטומטית.
הטעות הרביעית: יצירת noindex עם פלאגין אחד והגדרת sitemap עם פלאגין אחר. אם Yoast מנהל sitemap ו-RankPlus מנהל noindex, הם לא מתואמים. השתמש בתוסף אחד לשני התפקידים.
בדיקה לאחר תיקון
חזור ל-Search Console > Pages וודא שמספר ה-URLs תחת "Excluded by 'noindex' tag with submitted sitemap" יורד לאפס תוך 4-6 שבועות. הרץ Screaming Frog שוב ובדוק שאין יותר התאמות. ב-Sitemaps, בדוק שמספר ה-URLs ב-sitemap הקטין (אם הוצאת דפים).
/?s=), עמודי קטגוריות ותגיות ריקות, archive של מחבר, attachment pages. סקר את הרשימה הזו אחת לרבעון.