אתר התמיכות הממשלתי - שאלת סקרייפינג

Alon_Nisser · 8 באוקטובר,‏ 2020,‏ 8:54pm

הי, זה אני מפעם.

אתר http://www.tmichot.gov.il/
אני מנסה לעבוד (בינתיים עם עצמי, אולי יבשיל למשהו מעניין ואולי לא) על “גירוד” הנתונים מפה - האם יש למישהו ניסיון עם האתר הספציפי הזה (בעצם נראה כמו פורטל ישירות של sap) האם יש סוגיות אבטחה מעצבנות (כמו שפעם פעם אכלנו בכנסת פתוחה) ?

אשמח לעזרה וכיוון
(לא מצאתי קטגוריה מתאימה לשאלה הזו אבל אם יש כזו אנא הפנו אותי)

OriHoch · 9 באוקטובר,‏ 2020,‏ 5:34am

נראה לי שמפתח התקציב עושה לזה סקרייפינג

github.com

OpenBudget/budgetkey-data-pipelines/blob/master/datapackage_pipelines_budgetkey/pipelines/supports/scraper.py

import dataflows as DF
import time
import logging
import csv

from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.remote_connection import ChromeRemoteConnection
ChromeRemoteConnection.set_timeout(300)

from datapackage_pipelines_budgetkey.common.google_chrome import google_chrome_driver


def wrapper(year):
    gcd = None
    try:
        gcd = google_chrome_driver(initial='http://example.com/')
        return scraper(gcd, year)

This file has been truncated. show original

והנתונים הגולמיים נמצאים פה

https://next.obudget.org/datapackages/supports/

כמו כן, יש גם API, redash והאתר של מפתח התקציב שמהם גם ניתן להשתמש בנתונים

aaa · 9 באוקטובר,‏ 2020,‏ 1:08pm

אכן, מה שאורי אמר - אנחנו מגרדים את המידע הזה יומית.
אכלנו ואוכלים על זה הרבה חצץ אז מאוד ממליץ שתשתמש במה שיש לנו ואל תכניס את עצמך לעולם של כאב שלא לצורך…

Alon_Nisser · 9 באוקטובר,‏ 2020,‏ 1:45pm

תודה אורי ואדם! אני אכן לא מעוניין להכנס לעולם הכאב הזה שלא לצורך

מה שמעניין אותי זה השינויים. ולפי מה שהצצתי בdatapackage אתם מפרסמים את המידע המצרפי (כלומר מה שמעודכן לנקודה זו)
אז לכאורה -אם אני משתמש בAPI שלכם או בdatapackages ושומר את הנתונים ואתם מעדכנים על בסיס יומי אני יכול לייצר את הההפרשים בהשוואה בין הנתונים הקודמים למה שמעודכן עכשיו. אני מבין נכון?

אם כן - איפה אוכל למצוא הפנייה לתיעוד של הapi של תקציב פתוח?

aaa · 9 באוקטובר,‏ 2020,‏ 2:04pm

יש כאן תיעוד יחסית עדכני:

https://github.com/OpenBudget/BudgetKey/blob/master/documentation/UsingTheAPI.md

וכן - תוכל לחלץ שינויים מתוך מעקב אחרי המידע - אם כי אני לא יודע מה תדירות המידע באתר הממשלתי עצמו.

‪On Fri, Oct 9, 2020 at 4:55 PM ‫Alon Nisser דרך פורום הסדנא לידע ציבורי‬‎ info@hasadna.org.il wrote:‬

Alon_Nisser · 9 באוקטובר,‏ 2020,‏ 2:13pm

תודה אסתכל

Alon_Nisser · 26 בדצמבר,‏ 2020,‏ 11:44am

הי @aaa חוזר לזה קצת באיחור. עבדתי (עם חבר) על הנתונים שם. ונדמה לי שיש פערים משמעותיים. כלומר הmetadata מראה עדכון יומי אבל המידע עצמו מתעדכן באיחור משמעותי (אני מדבר על הקבצים, זה נכון כמובן גם על הapi אבל מראש הוא קצת מוגבל למה שאני צריך) , כך שהוא “מפספס” חלק מהעדכונים

זו סוגיה ידועה ונבחרת? יכול להגיד אולי מה הרזולציה של העדכון שאפשר לצפות לה ?
או שזו בעיה חדשה ושצפויה לתיקון כלשהו (ושאולי אני יכול לסייע בה אכשהו בלי לצלול לתהומות כל הקוד של הפרוייקט שבכנות לא חושב שאעשה כרגע )

יכול לתת דוגמאות אם זה מסייע לאתר

aaa · 25 בינואר,‏ 2021,‏ 9:33am

הי @Alon_Nisser סליחה שפספסתי את ההודעה (ותודה ל- @noam שהפנה את תשומת לבי ועכשיו נענש במינשון).

הסריקה של התמיכות בגדול עובדת אם כי היא די עדינה ולעתים נכשלת. בכל מקרה, היא רצה מדי יום כך שבסה״כ המידע אמור להיות יחסי עדכני.
מה שאני לא יודע להתייחס אליו הוא תדירות העדכון של המידע במקור - באתר הקודם של התמיכות הם עדכנו את המידע אחת לחודש, אבל באתר הנוכחי אין אינדיקציה למועד נכונות המידע.

אם יש לך דוגמאות של מידע שמופיע באתר התמיכו אבל לא מופיע אצלנו אשמח לקבל, אולי בכל זאת יש שם באג שלא איתרתי.

shacharb8 · 8 בדצמבר,‏ 2024,‏ 6:01pm

שלום לכם, אני מחיה כאם דיון ישן אבל הצורך שלי דומה אם כי יותר מורכב.
האם יש גרסאות שונות של הגירוד שנעשה בשביל שאפשר יהיה לעקוב אחרי סדרת התשלומים ולחשב את הדלתא?
לחלופין יש לכם רעיון איך אפשר להשיג את המידע הזה? אני בעצם מנסה לקחת בקשת תמיכה שתוקצבה ולעקוב אחריה ולראות מתי היא מוצתה ביחס לשנת הבקשה (כאן יש שנת תשלום אבל אני מניח שזה נפרס לאורך השנים ומצטבר ומה שמופיע זה אולי האחרון, לא יודע). משום מה איפה שיש תקציב מאושר אין התשלום בפועל ולהיפך - יש למישהו הסבר לזה?