זה הופיע לי בפיד - מישהו הסתכל פעם על robots.txt באתר כנסת ישראל?
http://knesset.gov.il/robots.txt
פשוט הזוי.
(להדיוטות: זה הקובץ שאומר למנועי חיפוש איזה קבצים מותר להם להכניס לאינדקס - נראה שהם ממש לא רוצים שקבצים מסוימים יופיעו במנועי חיפוש…)
אדם
לצערי גיליתי את זה רק אחרי שכבר סיימתי לכתוב את הcrawler של ישיבות המליאה…
בקטע קצת מוזר וסוטה הרצתי בדיקה על כל אתרי ה-gov.il.
האתר היחיד שיש לו קובץ robots הוא האתר של רשות שדות התעופה, והקובץ שלהם דיפולטיבי.
בקיצור, האתר של הכנסת מוזר.