מאגרי מידע ממשלתיים באינטרנט : תמונת מצב 2021 וגם השוואה לעולם

 

מאת: עמי סלנט , מידען 

תאריך פרסום: אוקטובר 2021 

מבוא

נתונים פתוחים או נתונים גולמיים חופשיים (Open data) הוא רעיון לפיו חלק מהנתונים הגולמיים צריכים להיות זמינים לכל אדם, כך שניתן להשתמש בהם ולפרסם אותם מחדש בצורה חופשית, ללא מגבלות כמו זכויות יוצרים, פטנטים, או מכניזמים אחרים של שליטה. המטרה של "תנועת הנתונים הפתוחים" (Open data movement) דומה למטרות של תנועות אחרות של "פתיחות" כמו קוד פתוח, תוכן פתוח וגישה פתוחה.

המונח "נתונים פתוחים" הוא חדש יחסית, והוא צובר תאוצה עם הפיתוח של רשת האינטרנט. במיוחד עם הפתיחה של יוזמות ממשל עם נתונים פתוחים (open-data government) כמו Data.gov.

להבדיל מחופש המידע, נתונים פתוחים מאפשרים עיבוד מחדש של הנתונים, פיתוח יישומים, שילוב הנתונים בנתונים אחרים והפקת מידע חדש. דוגמה לחופש המידע הם דוחות ממשלתיים, או מחקרים מדעיים, דוגמה לנתונים חופשיים הם בסיסי הנתונים שעליהם מבוססים המחקרים והדוחות האלה.

נתונים חופשיים מתרכזים לעיתים קרובות במידע לא טקסטואלי כמו מפות, גנומים, מפות תאי מוח, תרכובות כימיות, סטטיסטיקה, נוסחאות מתמטיות ומדעיות, נתונים ונוהלים רפואיים, מידע ביולוגי ומגוון גנטי. קיימות בעיות רבות הנובעות מכך שנתונים אלה הם בעלי ערך כלכלי וניתן לצבור אותם כדי לקבל עוד ערך כלכלי. גישה אל או שימוש מחודש בנתונים נשלטת על ידי ארגונים, הן ציבוריים (ממשלות, אוניברסיטאות, רשויות וכו') והן פרטיות (פירמות). 

מקור

 

ישראל

אתר מאגרי המידע הממשלתיים, data.gov.il,  בישראל  מרכז מאגרי נתונים מכלל משרדי הממשלה הפתוחים לשימוש הציבור.

האתר הוקם על-ידי מערך ממשל זמין כחלק ממדיניות ממשל פתוח, המבוססת על קידום השקיפות והצגת מידע ממשלתי אמין ומוסמך לשימוש הציבור. 

מאגר DATA GOV, מרכז מאגרי נתונים מכלל משרדי הממשלה הפתוחים לשימוש הציבור. האתר מאפשר חיפוש נתונים בקלות וביעילות. המשתמשים ב- data.gov.il מקבלים יד חופשית לפיתוח יישומים ומערכות המבוססות על המידע המפורסם בו וכל עדכון במאגרי המידע באתר מעודכן אוטומטית גם ביישומים המבוססים עליו.

באתר ניתן למצוא מאגרי מידע של משרדי ממשלה מרכזיים וכמה רשויות מרכזיות. המאגרים הם בנושא דיור, תחבורה, מזג אוויר, תקציב המדינה ועוד.

                                   מאגר הנתונים הממשלתי (קישור)

האתר המחודש

האתר חודש לאחרונה ומציג מאגרי מידע ממשלתיים בפורטל קוד פתוח, בטכנולוגיה המובילה בעולם בתחום - תשתיתCkan .

Ckan  היא מערכת רבת עוצמה לניהול נתונים שהופכת את הנתונים נגישים לכל על ידי מתן כלים לייעול פרסום, שיתוף, חיפוש ושימוש.

ארבעת הגופים שפרסמו הכי הרבה נתונים כללו את המרכז למיפוי ישראל שפרסם 110 מסמכים, חלקם הגדול תצלומי אוויר או נתוני מידע גאוגרפי (GIS), המשרד להגנת הסביבה שפרסם 62 מאגרי נתונים כולל מאגרי המפל"ס, ומשרד התיירות שפרסם 53 מאגרים.. משרד האוצר פרסם 33 נתוני תקציבים שונים אך לא פרסם נתונים כלכליים הנוגעים למשק בישראל.

מקור

מתוך דו"ח מבקר המדינה משנת 2021 על מאגרי המידע הממשלתיים

כשני שלישים ממשרדי הממשלה כשלו בהנגשת מאגרי המידע לציבור

 

כמעט שני שלישים ממשרדי הממשלה לא עמדו בהחלטת הממשלה שמחייבת אותם בהנגשת מאגרי מידע, כאשר כשליש מהם אפילו לא מיפו בצורה מלאה את כל המאגרים שברשותם – כך לפי דו"ח מבקר המדינה שמתפרסם היום. עוד עולה, כי גם כשהמידע מונגש, מצא המבקר בעיות באיכות מאגרי המידע, וחשש לפגיעה בפרטיות בהעדר תוכנית ממשלתית לביצוע אנונימיזציה של המאגרים.

בדיקת המבקר נערכה בין מרץ לאוקטובר 2020, במהלכה בדק המשרד הבטים שונים של הנגשת מאגרי מידע ממשלתיים וציבוריים ואת יישום החלטת הממשלה 1933 מ-2011 שלפיה עד סוף 2022 כל מאגרי המידע של משרד הממשלה יונגשו לציבור.

 

הביקורת העלתה כשלים רבים ביישום ההחלטה. בכל הנוגע למיפוי מאגרי המידע על ידי המשרדים השונים, שהיה אמור להסתיים ב-2017, מצא המבקר שכשליש מהמשרדים ביצעו את המיפוי באופן חלקי או לא ביצעו אותו כלל, ושכ-28% אף לא הכינו תוכנית עבודה למיפוי המאגרים. המשמעות: חלק ניכר ממשרדי הממשלה אפילו לא יודעים אילו מאגרי מידע הם מחזיקים, לא כל שכן החלו בתהליכים הדרושים להנגשתם.

 גם משרדים שביצעו מיפוי של מאגרי המידע שלהם לא עשו זאת בהכרח בצורה תקינה. בדיקה שערך המשרד של קבצי המיפוי השונים מצאה שיש מאגר שלא מופיעים בקבצים אך מתפרסמים באתר שיתוף המידע הממשלתי דאטה-גוב, ששמות המאגרים באתר ובקבצים אינם זהים בהכרח (מה שמקשה על ביצוע הצלבה בין המידע באתר למידע בקבצים), ושהנתונים בקבצים אינם אמינים וכוללים שדות ריקים או חלקיים, או שדות עם מידע סותר.

 

לא מפתיע שרק כ-30% מהמשרדים עמדו ביעד הממשלה של הנגשת כל מאגרי המידע שלהם בדאטה-גוב עד 2019. נכון לפברואר 2020, כ-60% מהמשרדים עמדו ביעד בצורה חלקית, וקצת יותר מ-10% לא הנגישו שום מאגרים. נכון ליוני 2020, היו באתר 824 מאגרים מונגשים. "גם במועד סיום הביקורת, באוקטובר 2020, היו מאגרים שהונגשו באתרי משרדי הממשלה, אולם אינם מונגשים באתר דאטה-גוב (דוגמת מאגרים שונים של משרד הבריאות - מאגר התרופות, מאגר דיאטנים בעלי תעודת מקצוע, מאגר מהפנטים בעלי רישיון, מאגר רוקחים בעלי רישיון, מאגר רופאים בעלי רישיון ותחומי מומחיותם). ביזור הנגשת המאגרים אינו עולה בקנה אחד עם החלטת הממשלה ומערים קשיים בפני המבקשים להשתמש במאגרים", נכתב בדו"ח.

החלטה 1933 קבעה גם רשימה של שמונה מאגרי מידע שיונגשו עד סוף 2017. זו כוללת את תקציבי משרד החינוך והרשויות המקומיות, זמן אמת של המראות ונחיתות וזמן אמת של רכבת ישראל. כל המאגרים הללו מונגשים כיום, פרט לאחד: נתוני הפשיעה של משטרת ישראל. "הנגשת נתוני הפשיעה לציבור עשויה לאפשר למשל למגזר הפרטי ולארגוני החברה האזרחית ליצור מפות פשיעה ולאתר מגמות, ובהתאם לכך האזרחים יכולים לקבל החלטות שונות, כגון היכן לגור והיכן לדרוש את הגברת הנוכחות המשטרתית", כותב המבקר. "על המשטרה לפעול ליישום החלטת הממשלה ולהנגיש את בסיסי הנתונים על הפשיעה הקיימים אצלה. הדבר מתחדד נוכח העובדה שנתונים רבים כבר נמסרו כאמור לציבור במסגרת מתן מענה על בקשות חופש המידע".

 

גם במאגרים שכבר הונגשו זיהה המבקר כשלים באיכות המידע המונגש, ובראשם העדר תאימות המאפשרת הצלבה בין מאגרים וארגונים שונים וניתוח של מידע. "למרבית המאגרים לא נמצא מטה-דאטה מלא, ובפרט הסבר אודות השדות אותם הוא מכיל, ולעיתים קרובות המידע עצמו אינו איכותי, חסר, בלתי אחיד או לא עקבי. בהיעדר מנגנון לטיוב המידע, מפתחים וחוקרים מתקשים להשתמש בו".

 

מוסדות כמו רשויות מקומיות, חברות ממשלתיות, מוסדות ממלכתיים, מועצות דתיות וקופות חולים לא מחוייבים בהנגשת מאגרים לפי החלטה 1933, אולם ההחלטה מעודדת אותם לעשות זאת. "בידי גופים ציבוריים רבים (למשל, רשויות מקומיות, בנק ישראל, מכון התקנים הישראלי, מוסדות להשכלה גבוהה, הרשות לשיקום האסיר, רשות החשמל, חברות הנמלים, שירות התעסוקה והמוסד לביטוח לאומי) מצויים מאגרי מידע רבים שלחלקם יש ערך רב עבור הציבור", נכתב בדו"ח. "החלטת הממשלה 1933 הכירה בצורך בקיום בחינה לגבי הרחבת חובת ההנגשה גם למאגרי מידע של גופים ציבוריים אחרים. נכון לספטמבר 2020, הליך בחינה זה לא בוצע בצורה מובנית וסדורה. ראוי כי רשות התקשוב תבצע הליך בחינה סדור בנושא זה".

 מקור 1

מקור 2  

 לדו"ח מבקר המדינה המלא

 

התנסות ומסקנות

 

במשך שעתיים חיפשתי נושאים שונים במאגרי הנתונים הממשלתיים בישראל .

מנוע החיפוש מבחינה מידענית עובד היטב ויוצר פילוח על פי ארגונים , תגיות ורלבנטיות .

אבל , המידע  בנושאי חינוך , למידה , למידה מרחוק ומורים לא קיים . על פניו נראה שמשרד החינוך לא העביר שום מאגרי נתונים לפרוייקט .

בנושאי בריאות ורפואה יש הרבה יותר מידע ונתונים . כלומר, משרד הבריאות הרבה יותר מתקדם מבחינת מאגרי הנתונים שלו .  

 

ראו גם:

מאגר COVID-19 - מאגרי מידע - Government Data

 

שומרים על הנתונים

Open Data - מאגרים - עיריית באר שבע

 

נתונים חופשיים מטעם ממשלות

כמה ממשלות יצרו אתרי אינטרנט כדי להפיץ חלק מהנתונים שהן אוספות.

• Data.gov   אתר הנתונים הפתוחים של ממשלת ארצות הברית. הושק במאי 2009.
• open-data.europa.eu   אתר הנתונים הפתוחים של האיחוד האירופי.
• Data.gov.uk   אתר הנתונים הפתוחים של ממשלת בריטניה. הושק בספטמבר 2009.
• data.norge.no  אתר הנתונים הפתוחים של ממשלת נורווגיה. הושק באפריל 2010.
•  Data.gov.au אתר הנתונים של ממשלת אוסטרליה. הושק במרץ 2011
•  Data.gc.ca אתר הנתונים הפתוחים של ממשלת קנדה. הושק במרץ 2011.
•  opendata.go.ke אתר הנתונים הפתוחים של ממשלת קניה. הושק ביולי 2011.
• data.overheid.nl  אתר הנתונים הפתוחים של ממשלת הולנד.
• data.gov.it  אתר הנתונים הפתוחים של ממשלת ניו זילנד.
• data.gouv.fr  אתר הנתונים הפתוחים של ממשלת צרפת.
• data.gov.it אתר הנתונים הפתוחים של ממשלת איטליה.
•  

על פי אתר הנתונים הפתוחים של ארצות הברית, ל-53 ממשלות ברחבי העולם יש אתרי נתונים פתוחים, נכון לשנת 2017.

 מקור וקרדיט

 חיפוש מידע גלובלי של נתונים פתוחים

 Dataset search  מנוע חיפוש ייעודי לסטים של נתונים פתוחים שחברת גוגל השיקה  בגרסת בטא ב- 2018 ובגרסה מלאה בינואר 2020.   פוסט שפורסם ב- 25 באוגוסט בבלוג של גוגל, כולל סקירה מעודכנת על הסטים של הנתונים שמכסה מנוע החיפוש, נתונים ותובנות מניתוח הסטים של הנתונים והמלצות לאופן פרסום סטים מדעיים עתידיים.

מממצאי הסקירה והניתוח:

לסקירה בבלוג של ד"ר יפה אהרוני

 למנוע החיפוש של גוגל לאיתור נתונים פתוחים ( קישור ישיר)