בסוף השבוע יצא לי לשחק עם Scrapy על מנת לגרד מידע מאתר תפוז (גיבוי פורום שנסגר לכתיבה וזמין כארכיון).
הלימוד היה זריז, יש עדיין דברים ללטש ולשפר, אבל מהר מאד הגעתי ל-MVP…
הפרויקט כאן:
ספריית Scrapy:
http://scrapy.org/
אני חושב שהפרויקטים שדורשים גרידת נתונים יכולים לקבל תועלת רבה משימוש בספריה (היא מבוססת על Twisted - ספריית רשת מבוססת אירועים, ובתכנון נכון, המקביליות תאפשר קצב גירוד ופענוח מהיר יותר מכל ספריה אחרת)