גיליתי היום שיש עוד המון נתונים על התקשרויות בפטור ממכרז של גופים ציבוריים שאינם משרדי ממשלה, למשל בנק ישראל (כאן), רשות שדות התעופה (כאן), חברות ממשלתיות (למשל חברת החשמל).
קיצור, יש כאן המון פוטנציאל.
מעולה, אפשר להרים אחלה מאגר.
התקדמתי משיכת נתונים ממאגר הפטורים של מנהל הרכש הממשלתי. אני עומד כרגע על 15,000 רשומות מתוך 56,000 ועצרתי את התהליך. העובדה שהאתר שלהם לא יציב די מונעת את האפשרות למשוך את כולו.
יש לי כמה רעיונות איך להתקדם עם זה אבל באופן כללי יש כמה דברים שכדאי לקדם מסביב בהקשר של בניית המאגר:
-
התקשרות ישירה מול הארגון (מנהל הרכש הממשלתי, בנק ישראל, רשות שדות התעופה וכו’) על מנת לקבל ממנו את המידע מבלי לכתוב תוכנה שתמשוך את הנתונים מהאתר:
לאתרים האלו יש תנאי שימוש, האתר של רשות שדות התעופה אפילו דואג שתאשר אותם. למרות שלא קראתי אותם, אני מנחש שבתנאים כתוב שאתה מתחייב לא למשוך את המאגר שלהם.
סביר להניח שתהליך כזה יכול גם להוביל ליותר שלמות מידע, לדוגמה שמות הזוכים במכרזים ובאיזה מחיר - שזה נתון מאוד מעניין בהיבט של שיפור התחרות. -
הייתי רוצה שהתוכנות שמושכות את המאגרים ייפעלו משרתים של הסדנה (ובאישורה) כדי שהם יהיו תחת חסותה מבחינה משפטית, וזאת במיוחד לאור “תנאי השימוש”.
יש לי כמה רעיונות טובים לגבי איך צריך להיראות מאגר הנתונים כלפי המשתמשים אבל אני חושב שכדאי להעלות את זה בשבוע הבא מול כולם ולשמוע פידבק.
@aaa / @mushon:
האם לדעתכם אפשר לקדם את נושא השרתים או שנחכה גם עם זה לפגישה של שבוע הבא?
אפשר להעלות קבצים לפורום הזה? הייתי רוצה לשים פה את מה שיש לי עד כה.
עומר
עברתי על תנאי השימוש באתר רשות שדות התעופה. להבנתי לא אמורה להיות בעיה, או לא ראיתי סעיף מסויים שנוגד את מה שאנחנו עושים (למעט האיסור להעתיק קניין רוחני בקשר עם השירותים המוצעים באתר, שאם אני מבין נכון הכוונה לעבודה הגראפית שעשו יוצרי האתר).
אפשר להתייעץ עם מישהו או לפנות אליהם ולוודא שאין מניעה מבחינתם…
סער
בנוגע לשרת של הסדנא אני מניח שאדם יוכל לסדר לך גישה לאינסטנס שלנו באמזון. בנוגע לחוקיות, אני לא חושב שאמורה להיות בעיה אבל אם תרצה אפשר להתייעץ עם היועץ המשפטי שלנו קלינגר. (מישהו יודע איך לתייג אותו?)
Mushon Zer-AvivMushon.com | Shual.com | @Mushon
תודה על הבדיקה סער. אם ככה, אני אמשיך להתקדם עם זה.
תודה מושון, אני אשמח לגישה לאינסטנס באמזון.
לגבי יעוץ משפטי, זה נשמע לי כמו רעיון טוב.
היי סער,
אני צריך לקבל פירוט של האתרים שאתה מושך מהם את המידע. נוכל להמשיך את ההתכתבות במייל?
י.
אם תוכל להעלות את הקוד שלך עד כה ל-github (תפתח לך repo) זה יהיה מעולה.
אח״כ נעבוד ביחד על לשלב את זה בתשתית ה-scraping שלנו, ככה שהמידע ישאר עדכני.
משם זה עולה לאפליקציית הappengine שלנו (אין שרת באמזון, מצטער 
)
אדם
התנועה לחופש המידע מפרסמת רשימת ספקים חיצוניים של משרדי הממשלה:
http://www.meida.org.il/?p=4874
תודה @alon_antin
לייק 1
היי, אפשר להתכתב במייל בפרטי - מה המייל שלך? (איפה אני מוצא אותו בפורום הזה?). שלי mr.saar@gmail.com
התכוונתי ליועץ המשפטי קלינגר. סליחה על הטרחה ו/או הטרחנות.
סער
נקודת מבט שונה של שאול אמסטרדמסקי על התקשרויות בפטור ממכרז: