פתיחת מאגר רשתות השיווק

היוש,

כפי שאתם רואים, הכתבים תופסים את הראש ולא יודעים איך לאכול את הקבצים. http://www.globes.co.il/news/article.aspx?did=1001038042#fromelement=hp_firstarticle

הבעיה המרכזית שלהם היא שהם לא מצליחים להמיר את הקבצים לדטהבייס מסודר.
אם מישהו/י יכולים להוריד את המאגר המקורי ל- CSV נוכל לעשות עלזה אחלה של כותרות. קדימה, מי מתנדב?

נירשמן

היי

[מתנצל אם אתם קוראים את זה פעמיים, קיבלתי הודעת שגיאה בניסיון הקודם]

אני בדיוק מוריד את הקבצים לטובת המיזם שלי שבליבו השוואת מוצרים (לא רק
מחירים).
על אף שהמיזם הוא גם למטרות רווח, הרעיון אצלי הוא שהמידע הגולמי יגיע גם
מהצרכנים וישמש אותם באופן חופשי.
כך שאשמח לאיזה שת"פ עם חברים מהסדנא לטובת הקמת ממשק נוח ונעים לטובת כלל
הציבור הישראלי.

אם מדובר על אקט חד פעמי אזי אפשר פשוט http://www.convertcsv.com/xml-to-csv.htm
המפתח לפענוח הקבצים - שם קובץ החנויות, הפורמט למשל וכו’ הם בקובץ הזה

https://url.publishedprices.co.il/file/d/מסמך%20הגדרות%20ממשק%20לתמיכה%20בתקנון%20פירסום%20מחירים%20-%20Rev.19_1.pdf

דורש יוזר ניים: readonly וסיסמה 123456

הורדת כל הקבצים כרגע חסומה - אבל כיוון שמדובר בעבודה רשלנית במיוחד
אם תכנסו לconsole של הדפדפן ותכתבו
’’’
$(’#zip-btn’)[0].disabled = false
’’'
הכפתור שמאפשר להוריד קבצים בzip אחד גדול יפתח ותוכלו להוריד את כל הקבצים בקלות ויעילות

(לא ילדים, אני לא ממליץ לכם לעשות אותו דבר לכפתור המחיקה או שינוי השם) :wink: :wink:

האתר משום מה לא כולל את שופרסל (וכמה רשתות קטנות נוספות ) שאליהן האתר מפנה לאתר שלהן…

לגבי לפרסר לפורמט אחיד - לא נראה קשה מדי

אלון,

יכול לעשות את זה?

  1. מדובר במשהו עם פורמט אחיד (בערך)
  2. הרשתות מחוייבות במקביל ל-XML לפרסם קובץ אקסל (בתקנות לא מפורט איזה, xls או xlsx)
  3. הסגירה מאחורי שם ומשתמש מפורסמים פוגעת במטרת החוק, שכן אנשים שאין להם מה לעשות עם המידע הגולמי יכולים לגשת אליו ללא בעיה, למכונות שאמורות להיות אלה שמטפלות במידע מתקשות בביצוע הפעולה.
  4. השמירה בקובץ gz קצת מוזרה (מי שכתב את הסעיף בתקנות שמדבר על פורמטים כנראה לא מתמצא בידע טכני ולא מבדיל בין פורמט קובץ לשיטת כיווץ לצורך תעבורה).
  5. רשת ויקטורי וקואופ שלכאורה עשו מעל ומעבר על מנת “להנגיש” את הגישה לקבצים הזיקו יותר לאוטומציה
  6. השרת של מגה מתקשה מאד, כנראה השמישו איזו מכונה חלשה אצלהם במשרדים (יש להם pool של כתובות דרך AT&T שם מאוחסנים כל אתרי הקבוצה).

מגה מתקשה באופן כללי :slight_smile:

כתב ידידי אריק:

לאתר url.retail.publishedprices.co.il שמשמש חצי מהרשתות אפשר לגשת גם בתור ftp. אני מניח שזה יכול להקל על הורדה של כל הקבצים בלי להסתבך עם ה-html שלהם.

למי שרוצה, את כל המחירים של publishedprices.co.il אני משתף בדרופבוקס (זה עדיין מוריד, אז לא הכל זמין): https://www.dropbox.com/sh/hc8voljplugbm46/AADo3FkaAHK95NU5CEaJJ0eQa?dl=0

מי שורצה הרשאות כתיבה בשביל להכניס לשם את שאר החנויות/אתרים, מוזמן לפנות אלי.

אדם

מהסתכלות על הנתונים באתר של שופרסל, יש רק פרטים על הסניפים של שופרסל. אבל, לא דבר או חצי דבר על מוצרים ומחירים. זה הגיוני?

מהקישור שלך אני מניח שהתכוות לקואופ.
גם אני התבלבלתי בהתחלה. יש 3 לשוניות וברירת המחדל היא ‘חנויות’.
תחליף ל’מחירים’ / ‘מבצעים’ ואז תבצע הורדה.

נקלעתי לכמה דיוני FB בנושא. האם זה לדעתכם לעניין לשתף קישור לשירשור הזה שלנו בקבוצות טכנולוגיות ב-FB?

kanija: צודק! טעות שלי. :smiley:
קיצר, אשמח להצטרף לפרויקט ולהנגיש את המידע הזה.

היי, אשמח לעצב את ה-UX לדבר הזה. ביום שני הקרוב יהיו אנשים שירצו לדבר על זה?

(קוראים לי אסף, אני די חדש בסדנה. אני מאפיין UX במקצועי ובאתי פעם אחת לעזור עם ה-UX לרכבת פתוחה)

הי,
גם אני אשמח להצטרף לפרויקט (קוראים לי ניר, אני חדש בסדנה, סטודנט למדעי המחשב).

hi

i wrote some script that may be useful in R to read the data. the r is extra for people who dont code in it, most of the it is wrappers around xpath code.

the code reads the mega and shufersal data in whole and organizes it in readable tables.

the extra folder called stat_poly_gis and mega_gis.r is the groundwork for mapping the data

converting r objects to csv is simple but inflates the files more than 10 fold so i didnt do that.

anyone is welcome to fork it.

yoni

מישהו מהחברים שכתב כאן מתכנן להגיע לסדנא בשעה הקרובה?..

יש עוד ימים שאפשר להפגש?

הגעתי אבל לא ראיתי את ההודעה שלך בזמן =(

חברים,
יש כמה קבוצות שונות שכבר התחילו לעבוד על המחירים.
שלחו לי את כל המיילים שלכם ל- mary@hasadna.org.il ואני אחבר בין כולם.
מפגש הפיסגה בהאקתון!

do other people get empty dir for rami levi and tiv taam?

yes, empty for both.