חפש בבלוג זה

יום רביעי, 9 במאי 2012


איתור מידע ונתונים – תמונת מצב 2016
ליקט וערך : עמי סלנט ,מידען ראשי של מכון מופ"ת


 
סדרת תמונת הידע המידעני , סקירה מס' 8 , מאי 2012 

עדכון אחרון , 24 באפריל 2016  , גרסה מס' 9

הסקירה ערוכה ומאורגנת עפ"י הקטגוריות הבאות: 

חלק א' : מאגרי נתונים

  • מאגרי נתונים בתחומי מדעי החברה בישראל
  • מאגרי נתונים ממשלתיים בישראל
  • מאגרי נתונים סטטיסטיים על מדינות העולם
  • נתוני סחר בינלאומיים
  • מאגרי מידע עובדתיים על מדינות העולם
  • נתוני אוכלוסייה ודמוגרפיה במדינות העולם
  • נתונים בינלאומיים על סכסוכים בעולם  
  •  נתונים חדשותיים רציפים
  • מידע עובדתי במאגרי המידע האינטגרטיביים
  • נתוני מחקר מעובדים בתחומים עסקיים
  • מאגרי נתונים ועובדות על חברות מסחריות
  •  מאגרי נתונים על קרנות השקעה בשוק ההון הבינלאומי
  • מאגרי נתונים בכימיה
  • נתונים אודות צריכת מקורות אנרגיה ופיתוח מקורות אנרגיה
  • מאגרי נתונים על אלקטרוניקה ורכיבים
  • מאגרי נתונים בתחומי רפואה ובריאות


חלק ב: מאגרי נתונים חישוביים-השואתיים

  • וולפראם אלפא - מנוע החיפוש לתשובות עובדתיות
  • מערכת חישובית גראפית להצגת נתונים בצורה השוואתית
  •  ZANRAN  מנוע חיפוש ייעודי לנתונים מספריים
  • פרויקט חדש של Wikimedia בשם Wikidata
  • המיזם החדש של גוגל להצגת נתונים תוך כדי חיפוש מידע


להלן הסקירה המפורטת והמעודכנת :


חלק א' : מאגרי נתונים


הביקוש הגדל למאגרי מידע עובדתיים ולנתונים 

עד כה מרבית חיפושי המידע במאגרי המידע המקוונים התמקדו בתחומי המחקר,  השערות המחקר , חיתוכי בין סוגיות מחקריות ומחברים מסוימים שכתבו על כך.  בעולם רווי מידע  גם המציאות בתחומי חיפושי המידע מתחילה להשתנות . יותר ויותר סטודנטים , מידענים או ארגונים תרים אחרי מידע מסוג אחר , מידע שהוא פחות טקסטואלי. צרכני המידע כיום נדרשים על שאלות יותר אופרטיביות ויותר השוואתיות בתחומים מוגדרים בהם מבקשים מהם תשובות קונקרטיות. גם מדיווחי מחלקות היעץ בספריות האקדמאיות עולה כי הביקוש לנתונים ולמאגרי נתונים הולך וגדל בהדרגה .

  המטרה של סקירה זו , על כן היא להוות מפת דרכים לצרכנים התרים אחר מידע עובדתי ונתונים.  הסקירה מכסה את מצאי מאגרי המידע העובדתיים ומאגרי הנתונים . מבחינה תכולה כוללים מאגרים אלו נתונים סדרתיים , נתונים עתיים ((Time Series ונתוני התפתחות .

 למרות התיאור המובא כאן בסקירה של מאגרי העובדות והנתונים הקיימים עדיין קיים מחסור במאגרים המסוגלים לספק תמונה  מעודכנת ושלמה של ההתפתחויות בתחומים שונים ועל כן חלקה השני של הסקירה יתאר מיזמים חדשניים באינטרנט שאמורים בעתיד לתת מענה טוב ויעיל יותר לבעיית הנתונים  והעובדות.  נתחיל בהצגת כמה מקרים אמתיים של נתונים שהוצגו לאחרונה בסקירות שונות . התמונה המתקבלת מהצגת נתונים היא לעתים משמעותית יותר מכל תמה או סוגיה טקסטואלית.   

דוגמאות לשימוש מושכל בתוצאות של מאגרי נתונים בסקירות ובכתבות : 

דוגמא מס' 1 : זמן מסך גוגל לעומת זמן מסך פייסבוק
פייסבוק אמנם נהפכת לדומיננטית יותר ויותר, אבל גוגל היא שממשיכה למשוך אליה הכי הרבה גולשים בארצות הברית. על פי סקר של חברת נילסן, בספטמבר החולף היו לגוגל 170 מיליון גולשים ייחודיים בחודש לעומת 155 מיליון לפייסבוק. אבל הרשת החברתית של מארק צוקרברג מובילה בהפרש ניכר על גוגל במספר שעות הגלישה החודשיות בממוצע - 7.42 שעות בממוצע בחודש.

דוגמא מס' 2 : טלוויזיות בבתים בארה"ב ובישראל
ב39.5 מיליון בתים בארצות הברית יש ארבע טלוויזיות או יותר. בישראל יש בממוצע 2 טלוויזיות למשפחה . בשבדיה יש טלוויזיה אחת למשפחה אבל 2 מחשבים לכל בית.


דוגמא מס' 3 : דפוסי שימוש בדואר אלקטרוני
 האימייל הוא פשוט אטי וארוך מדי בעיניי צעירים ובני נוער, שמחליפים ביניהם מסרים בדרכים מהירות וקצרות יותר - הודעות אס-אם-אס, שיחות בצ'אטים, ציוצים בטוויטר והודעות בפייסבוק. ב-2010 ירד  בארה"ב השימוש הכולל בדואר אלקטרוני ב-8% לעומת השנה שקדמה לה, אבל בקרב הגולשים הצעירים הנתונים קיצוניים הרבה יותר - בקרב בני 12-17 ירד השימוש בדוא"ל ב-59% בשנה החולפת. בני הדור המבוגר יותר ממשיכים לגלות, באיחור מה, את נפלאות האינטרנט, ובקרב בני 65 ומעלה חלה דווקא עלייה של 28% בשימוש בדואר אלקטרוני בשנה האחרונה.

על מנת להגיע למאגרי  הנתונים הנ"ל צריך להגיע למאגרי נתונים שונים ואת מפת הדרך נשתדל להציג בפניכם בסקירה שלהלן : 

מאגרי נתונים בתחומי מדעי החברה בישראל
מאגר הנתונים במדעי החברה
מאגר הנתונים באוניברסיטה העברית  אוסף, מעבד, מפיץ ומשמר גופי נתונים שיש בהם ענין מחקרי בתחומים השונים במדעי החברה. מאז הקמתו בסוף שנות ה-70 התפתח המאגר למרכז ארצי לנתונים ממוחשבים והחל מ- 1994 הוא משרת את כל האוניברסיטאות במסגרת הסדרי מנוי. בין צרכני הנתונים נמצאים גם מכוני מחקר, מכללות ומוסדות ציבור. כמו כן מספק המאגר נתונים על ישראל לחוקרים בארצות אחרות. בוועדה המייעצת המנחה את עבודת המאגר, משתתפים נציגי המוסדות המנויים ונציג הלשכה המרכזית לסטטיסטיקה 
מאגר זה הוא המקום היחיד בארץ בו נאספים ונשמרים, במצב תקין וזמין, נתוני מיקרו על החברה והכלכלה בישראל ואחד המרכזים הבודדים המטפל באופן שוטף בארגון ושימור נתוני מקרו. לספרית הנתונים של המאגר אין אח בארץ, לא בהיקף הנתונים וטווח הזמן שהם מייצגים (למעלה מ-30 שנה) ולא בטכנולוגיות שימור ושרות למשתמשים. 

ספרית המאגר מכילה כ-1000 גופי נתונים (dataset) הכוללים סקרי דגימה, סקרים מקומיים, מפקדי אוכלוסין, רשומות אדמיניסטרטיביות ונתוני מקרו. מרבית הקבצים הם נתוני מיקרו אנונימיים וחלקם הקטן מכיל מצרפים, בד"כ סדרות עיתיות. 

המאגר מייחס חשיבות גבוהה לשמירה על סודיות נתוני הפרט בקבצים ושומר על סטנדרטים בינלאומיים בנושא זה. המקורות העיקריים לנתונים הם הלשכה המרכזית לסטטיסטיקה, המוסד לביטוח לאומי , מכוני מחקר, חוקרים באוניברסיטאות ומשרדי ממשלה. מ- 1995 פועל המאגר גם כמשווק מורשה של נתוני הלמ"ס. מקורות עיקריים לנתוני חוץ הינם תוכנית ה- ICPSR במישיגן, 
- ISS


 
מאגרי נתונים ממשלתיים בישראל
מערך הממשל הזמין צובר תאוצה השנה , ופתח לרשות הציבור את אתר מאגרי המידע הממשלתיים - Data.gov.il.  . עד עתה הזינו כ-11 משרדי ממשלה כמה מאגרי מידע. המידע עדיין דל יחסית לכמות העצומה של המאגרים, אך היד עוד נטויה.
קישור

האתר הוקם על-ידי מערך ממשל זמין כחלק ממדיניות ממשל פתוח, המבוססת על קידום השקיפות והצגת מידע ממשלתי אמין ומוסמך לשימוש הציבור. הפרויקט פותח בעקבות החלטת ועדת השרים לעניין שיפור השירות הממשלתי לציבור וממשל פתוח (29.11.10), בעקבות יוזמה של השר לשיפור השירות הממשלתי לציבור, מיכאל איתן (ליכוד). באתר מתפרסמים מאגרי מידע ממשלתיים באופן ברור ונגיש המתעדכנים באופן רציף. מערכת המידע מאפשרת איתור והורדה של נתונים בקלות וביעילות, בכפוף לחוק חופש המידע ולחוק הגנת הפרטיות, כפי שמנחה הרשות למשפט טכנולוגיה ומידע (רמו"ט) 
הבשורה שבפתיחת המאגרים אינה עצם המאגרים, אלא ריכוזם במקום אחד והנגשתם באופן שיאפשר לקהילות המפתחים לעשות בהם שימוש ליצירת יישומים (אפליקציות) לשימוש הציבור הרחב, בפורמט נגיש לפיתוח. האתר מעניק למשתמשיו יד חופשית לפיתוח יישומים ומערכות שמתבססות על המידע המפורסם. כל עידכון במאגרי המידע שבאתר יופיע באופן אוטומטי גם ביישומים שמבוססים עליו. 
האתר פותח על בסיס תשתית,  DRUPAL תשתית קוד פתוח, בה משתמש צוות ממשל זמין כחלק מפרויקט Gov2.
מטרת הפרויקט היא לשפר את השירות לציבור ולעודד שימוש יצירתי של הציבור, האקדמיה והממשל במאגרי המידע הממשלתיים.

האתר מציג את המידע הגולמי באופן שניתן יהיה להפיק ממנו תועלת - במדדי תנועתיות, בחיתוכים חברתיים-כלכליים ובשימושים עסקיים רבים, והכל בכלים טכנולוגיים.

החיסרון הגדול של אתר מאגרי המידע הוא בכך שמשרדי הממשלה אינם מחויבים במסירת כל מאגרי המידע, ויכולים לבחור אלו מאגרים לשחרר ואלו לא. השיקולים לכך יכולים להיות מונעים לאו-דווקא משיקולים מקצועיים אלא גם משיקולים פוליטיים ואחרים, מחשש כי מידע החושף חידלון או רשלנות של משרד ממשלתי יהיה גלוי לציבור.

בולטים במיוחד הם משרד המשפטים ומשרד הבריאות שמסרו מידע הרלוונטי לרבים. משרד המשפטים, למשל, מסר המון מידע רלוונטי דווקא בתחום הנדל"ני.
 מוביל ודוחף את הפרויקט : השר  מיכאל איתן .

מצגת Data.gov.il


 

כלכלת ישראל- מאגרי נתונים
דף הנתונים החדש במבנה חדש של בנק ישראל


סקירות מרכז המידע והמחקר של הכנסת , מאגר חשוב מאד של סקירות  מידע ונתונים בעברית על מכלול מקיף של התפתחויות בישראל .  צוות המחקר של מרכז המידע בכנסת הפיק עד כה יותר מ3000 סקירות מידע ונתונים , מרביתם פתוחים לקהל.
קישור ישיר למאגר בכנסת



 

מאגרי המידע של הלמ"ס הפכו לגראפים




אתר מאגרי המידע הממשלתיים "דאטא גוב" הצליח לפני שבועיים להעלות לרשת האינטרנט את מאגר הנתונים הגולמי של הלשכה המרכזית לסטטיסטיקה, 13.5 מגה בייט גודלו. כדי לפשט את הנתונים, הוקם אתר חדש, המציג את הסטטיסטיקות של ישראל בגרפים.


לכתבה

האתר מכיל 25,025 סדרות נתונים לאורך זמן (כאשר 13,529 מתוכם הם עד שנת 2012). הנתונים מרוכזים תחת 22 קטגוריות-על, שביניהן נמצאים הנושאים תעסוקה וסחר, תחבורה ותקשורת, בריאות, חינוך, תאונות דרכים ובינוי. לחיצה על כל קטגוריה מביאה לשורה של מחקרים, שמובילים לגרפים סטטיסטיים.

 גרפים אלו ניתנים להטעמה באתרים בעזרת קוד Embed. רציתי שיהיה קל יותר להסתכל על הנתונים לאורך זמן בצורה פשוטה, ויזואלית, עם אפשרות לחלוק את הנתונים בקלות עם חברים בפייסבוק ובבלוגים", מסר טל גלילי, מפתח האתר. 
 
מאגרי נתונים סטטיסטיים על מדינות העולם

    נתונים סטטיסטיים על מדינות העולם הנמצאות ברשימת המדינות המתקדמות מבחינה כלכלית ניתן למצוא במאגר הנתונים הסטטיסטי של ה-OECD .



מאגרי הנתונים הסדרתיים של האו"ם 
The entry point the United Nation's statistical databases. Covers a wide range of themes including Agriculture, Crime, Education, Employment, Energy, Environment, Health, HIV/AIDS, Human Development, Industry, Information and Communication Technology, National Accounts, Population, Refugees, Tourism, and Trade.
מאגרי נתונים על חינוך ותרבות : מאגר הנתונים ( אינדקטורים) של אונס"קו , בעיקר נתונים סטטיסטיים גולמיים על חינוך , מדע ותרבות במדינות העולם. הנתונים הגולמיים נאספו מ200 מדינות.
Contains over 1,000 types of indicators and raw data on education, literacy, science and technology, culture and communication. Collected from more than 200 countries and international organizations.


 
ראה גם : 
Eurostat Statistics DVD--This database provides a variety of economic and social data on EU members at the national and regional levels. More recent data are available via Eurostat's website.


 
ניתן גם להיעזר גם במאגר הנתונים  הסטטיסטי של  Proquest , אך הדגש בו הוא יותר לגבי ארה"ב . ProQuest Statistical Insight    זהו מאגר למנויים בתשלום . 


פורטל הנתונים הממשלתיים החדש של ארה"ב


ב-4  באפריל 2016  הושק  פורטל הנתונים החדש של ארה"ב DATA  USA   .
הפורטל הוא פרי שיתוף פעולה של מעבדת המדיה של MIT     ושתי חברות טכנולוגיות Deloitte   ו- Datawheel. הצוות המפתח שכלל חוקרים , מדעני נתונים, מעצבים וחוקרים  עבד על הפרויקט למעלה משנה,   והתוצאה היא בהתאם.
הפורטל מרכז מקורות מידע פדרלי רבים למקום אחד . באתר יש מנוע חיפוש שמאפשר חיפוש בכול המקורות וסינון מראש על  פי 4 קטגוריות  מקומות, תעשיות, מקצועות/משלח יד, וחינוך.  המאפיין הבולט בפרויקט הוא ההצגה הויזואלית המפורטת של הנתונים והמנשק המאוד ידידותי יחסית למנשקים קודמים.  הפורטל מהווה פלטפורמה שהופכת את המידע לידע ויכול לשרת מדי יום את התושבים, התעשייה והממשלה. מאפשר  שימוש ב-  API
  פורטל הנתונים הממשלתיים החדש של ארה"ב


מאגרי נתונים בחינוך 

Education Statistics
Your comprehensive data and analysis source for key topics in education
קישור 


רשימת מאגרי המידע והנתונים  שפתחו ע"י משרד החינוך הישראלי

רשימה מקיפה ושיטתית של מאגרי המידע שפותחו ע"י משרד החינוך בשנים האחרונות לטובת המורים, המנהלים ובתי הספר בארץ. בין המאגרים החשובים ברשימה ניתן לציין את מאגר חוזר מנכ"ל (כולל חיפוש מתקדם וחיפוש מורכב), מאגר איתור בתי ספר, נתוני תמיכות

קישור
 מאגר הנתונים של הבנק העולמי

לפני שנתיים החלו בבנק העולמי במיזם חדש של מאגר נתונים רב-תחומי על מדינות העולם. הם עדיין בתחילת דרכם אך מחודש לחודש ניכר שיפור במבנה המאגר ובתצוגת הנתונים . 


 

 

לנתונים כלכליים נוספים על מדינות העולם , ראה גם :

International Data

Categories

ראה גם :
מאגר מידע עובדתי של  OCLC . לא מעמיק במיוחד אך ניתן להשתמש בו לפעמים.

·         World Almanacs

מאגר נתוני התפתחות  על מדינות אפריקה


Michigan State University's globalEDGE
המידענית  ג'ודי קורן ממליצה על כלי מאד שימושי  לאיסוף נתונים  כלכלים , מגזריים, ומידע עובדתי על מדינות. זהו מרכז משאבי אקדמי חשוב  שפועל  באוניברסיטת מישיגן בארה"ב ויש לו מצבור נתונים רבים עם אפשרויות לפילוח עפ"י מדינות .  Michigan State University's globalEDGE
קישור ישיר
 
מצבורי הנתונים האנילטיים יותר במרכז זה  (Global insights) יכולים לסייע לחברות הזקוקות לנתונים שיווקיים על מדינות העולם.  מדובר על כלי עזר המאפשר לבצע השוואה בין הנתונים.
נתונים ע"י מגזרי תעשייה במדינות השונות

 נתונים אודות עוני בעולם

PovertyNet - Data on Poverty --PovertyNet is a World Bank site with many resources relevant for research on poverty, including links to several international/comparative datasets on the topic.
ראה גם :


  
נתוני סחר בינלאומיים 

GTA-Global Trade Atlas – סטטיסטיקות על תנועת סחורות בעולם, ע"פ פריטי מכס ומדינות.
 
The International Price Program (IPP) produces Import/Export Price Indexes (MXP) containing data on changes in the prices of nonmilitary goods and services traded between the U.S. and the rest of the world.


FDI Statistics
 
Division on Investment and Enterprise


מאגרי מידע עובדתיים על מדינות העולם

חלק לא מבוטל מחיפושי המידע כיום תר אחרי נתונים והתפתחויות במדינות השונות ברחבי העולם או מדינות המזרח התיכון. לדוגמא , חיפוש אחרי נתונים מעודכנים אודות כלכלת מצרים או נתונים עובדתיים אודות אוכלוסיית סוריה. אחד המאגרים הוותיקים בתחום זה הוא הוא מאגר העובדות של   סוכנות הביון האמריקאית הידוע בשם CIA World Factbook.

במאגר זה מידע עובדתי על 268 מדינות ברחבי העולם . המידע העובדתי מתייחס לתחומים הגיאוגרפיים , הדמוגרפיים , הממשל , תקשורת ותעבורה כמו גם ענפי הכלכלה בכל מדינה הנסקרת במאגר.

למידע נוסף ולמאגר

ספינת הדגל של מאגרי המידע העובדתיים מפליגה תחת דגל בריטי

המאגר של סוכנות הביון האמריקאית הוא ביסודו מאגר בסיסי החושף לציבור המשתמשים רק את הנתונים העובדתיים הבסיסיים על כל מדינה . אם רוצים לקבל תמונה מעודכנת ומעמיקה יותר על התפתחויות במדינות העולם אז עדיף להשתמש בסקירות המידע  התקופתיות של  יחידות המחקר של האקונומיסט הבריטי.  זו ללא ספק ספינת הדגל של מאגרי המידע העובדתיים "המפליגה" כבר 40 שנה בים הנתונים ותמיד מוכיחה את עליונותה. 
  הסקירות התקופתיות מכסות התפתחויות ב180 מדינות ברחבי העולם ויש להם מאגרי סדרות נתונים מצטברות על 115 מדינות . היקף מאגרי נתונים אלו מגיע למיליוני נתוני בסיס (dataset) . מאגרי המידע העובדתיים והסקירות התקופתיות הנסמכות עליהן מוצעות רק למנויים בתשלום ורק חלקן מגיע לספריות אקדמאיות ומכוני מחקר בישראל. 

המידע העובדתי  בסקירות של ה-EIU מציגות פרופיל עומק של כל מדינה על בסיס מאגרי הנתונים המצטברים והמעודכנים שנצברו ע"י יחידות המחקר של האקונומיסט הבריטי. הסקירות כוללות גם תחזיות לגבי התפתחויות אפשרויות בכל מדינה.
למידע נוסף על  המאגר העובדתי של האקונומיסט

Economist Intelligence Unit

דוגמא לנתונים מעובדים המבוססים על מאגרי הנתונים של  יחידת המחקר באקונומיסט
 

CEIC Data

 מאגר נתונים ממעודכן ומועיל מאד על מדינות העולם , במיוחד השווקים המתעוררים במדינות העולם פותח ע"י  ISI Emerging Markets. זהו מאגר נתונים בתשלום אך הוא מועיל מאד וכולל נתונים שמאגרים אחרים לא אספו עדיין .

קישור

 PRS Online Country Data

מאגרי נתונים ועובדות נוספים המומלצים בקטגוריה זו הם המאגר המצטבר של  PRS Online Country Data. זו חברה המלקטת וצוברת נתונים מתוך  מאגרי הבנק העולמי ,  IMF, OECD ועוד. מומחי  החברה מארגנים ואורזים  את הנתונים המצטברים כמאגר מקוון באינטרנט . לכל מדינה יש להם מעל 50 סדרות נתונים שנתיות המתייחסות ל10 השנים האחרונות. הכיסוי הנושאי כולל אינדקטורים כלכליים , תנאים כלכליים בכל מדינה ונתונים חברתיים . שירותי מידע סדרתיים אלו מוצעים בתשלום .

למידע נוסף על מאגר הנתונים
 

CountryWatch.com

גורם נוסף העוסק באופן מעמיק  באיסוף מידע ובניית מאגרי עובדות על מדינות הוא מאגר CountryWatch. הם מכסים 191 מדינות וסקירות העובדתיות שלהם לגבי כל מדינה הנקראות  "Country Reviews," מתפרסמות פעמיים בשנה . כך לדוגמא , הסקירה המעודכנת האחרונה שהוציאו על צרפת כוללת 76 עמודים וכוללת נתונים רבים ומועילים. מרבית הנתונים העובדתיים במאגר זה זמינים רק למנויים או ארגונים המשלמים עבור גישה לסקירות ולמאגר העובדות.
למידע נוסף
CountryReports.org
  מאגר המידע של מדינות OECD
נתונים לגבי מדינות  OECD ניתן למצוא גם במאגר המידע של OECD  פרופילים של מדינות מפותחות החברות בארגון ה-OECD.
OECD iLibrary  
קישור 2

Statistical database, country profiles, Factbook 2005-2010. Outlooks, journals, working papers, books 2000-2010.

OECD Factbook 2011-2012 ,Economic, Environmental and Social Statistics
 קישור למאגר הנתונים והעובדות של הOECD
OECD Key Economic Indicators (KEI) Database

ראה גם :

ראה גם : 

IMF Government Finance Statistics (GFS)--The GFS is available in the Electronic Data Center on the public workstations. It breaks down government expenditures and revenues by various categories from 1991 onwards

 Global Insight
Time series, economic and business data for the United states and international economies. Coverage varies with indicator.

Global Insight: Economic Forecasts, Analysis & Data for Countries ...



 אוכלוסייה ודמוגרפיה במדינות העולם
נתונים בינלאומיים אודות אוכלוסייה ודמוגרפיה

World Population Summary

Global Population Mapping

American Factfinder
Easy access to data from the U.S. Census Bureau, including the Decennial Census and the American Community Survey
קישור ישיר לאתר החדש של  American factfinder


עבודה ותעסוקה

מאגר נתונים על תנאי תעסוקה ועבודה בעולם – מאגר נתונים  השוואתי שהוקם ע"י משרד העבודה האמריקאי לצורך איסוף נתונים על תעסוקה ומצב התעסוקה בעולם .
קישור


נתונים בינלאומיים על סכסוכים בעולם
 
The Uppsala Conflict Data Program (UCDP)--The Uppsala Conflict Data Conflict Program is run by scholars at Uppsala University in Sweden.

נסיים את רשימת מאגרי המידע העובדתיים  (בפרק של מאגרי מידע ייעודיים ) על מדינות העולם  עם מאגר חופשי לקהל הנקרא   CountryReports.org הכולל מידע ונתונים על מרבית מדינות העולם. זהו מאגר בסיסי למדי ואין בו כדי לענות על צרכי מחקר מעמיקים יותר.  כפי שנראה גם בהמשך מאגרים חינמיים הם תמיד ברמה ירודה יותר מאשר מאגרי עובדות ונתונים המוצעים בתשלום.


מאגר הנתונים האינטגרטיבי של האו"ם ( 34 מאגרי מידע עם ממשק חיפוש מאוחד)


  
  נתונים חדשותיים רציפים

Facts on file
מאגר נתונים ותיק ( 42 שנה) המציג נתונים חדשותיים ברצף ההתפתחות ההיסטורית שלהם  על מדינות העולם וההיסטריה. כל מערכות העיתונים בארה"ב ובקנדה מחוברות למאגר נתונים המציג את החדשות ברצף היסטורי רטרוספקטיבי.
Authoritative World News Coverage from 1940 Through
Today Provides Information, Context, and Perspective

News Digests
·         World News Digest: U.S. and world news from 1940 to the present.

מידע עובדתי במאגרי המידע האינטגרטיביים 

מידע עובדתי על מדינות העולם ניתן למצוא גם במאגרי מידע מקוונים אינטגרטיביים כגון מאגרי  LEXISNEXIS  העוסקים במידע עסקי ובמידע משפטי.  במאגרי מידע אינטגרטיביים כמו  לקסיס-נקסיס ניתן למצוא מידע רב-ערך על מדינות העולם בעיקר מהיבטים כלכליים. הם גם פיתחו מנוע חיפוש ייעודי למדינות בתוך המאגר האינטגרטיבי שלהם . 
 יתרה מזאת , הם גם פיתחו שירות מידע לניתוח הנתונים (Country Analysis)  והם מציגים את ממצאי הניתוח במאגר שלהם.  כך לדוגמא, המידע העובדתי המעודכן ביותר על כלכלת תורכיה ניתן למצוא בתת-מאגר זה של לקסיס-נקסיס. 

Lexisnexis EZ analytics

 בחודש מאי 2012 השלימו מומחי מאגרי המידע האינטגרטיבי של לקסיס-נקסיס כלי מתוקשב מתוחכם ביותר לניתוח מגמות מידע ונתונים  הנקרא Lexisnexis EZ analytics.

המערכת המתוקשבת המתקדמת הזו יכולה לנתח מגמות ברחבי העולם על סמך ניתוח המגמות והנתונים במאגרי לקסיסנקסיס, כולל ניתוח מקורות בעברית ובערבית !!

מדריך שימוש במאגרי לקסיס-נקסיס באדיבות ספריות הטכניון

  
מאגר מידע אינטגרטיבי אחר שיכול להועיל במציאת נתונים ועובדות על מדינות העולם הוא מאגר       FACTIVA של דאו ג'ונס. הם מכסים  מידע עובדתי כלכלי ועסקי על כל מדינות העולם , אך חזקים במיוחד לגבי איסוף נתונים בדרום מזרח אסיה , כגון  סין , ויטנאם, קוריאה, יפאן  ומדינות נוספות באזור.

במאגרי    Factiva  של דאו ג'ונס  נצברים נתונים מ2500 עיתונים בחו"ל לצד 5000 פרסומי מגזרי התעשייה.
מקור


נתוני מחקר מעובדים בתחומים עסקיים 

Frost & Sullivan -  סקרי שוק, דוחות מדינה  וייעוץ מאנליסטים ב-8 תחומי מחקר שונים: מדעי החיים, תעשיה ביטחונית חלל ותעופה, איכות סביבה, אוטומציה ואלקטרוניקה, תעשיות רכב, מוצרי תעשיה, אנרגיה , תעשיית מיחשוב וטלקום.  ספינת הדגל של  נתוני המחקר המעובדים על ענפי התעשייה במדינות העולם המתקדמות . מאגר בתשלום .

למידע נוסף על סקירות המידע של  frost & Sullivan
הערה : מצוי ברשות יחידת המידע במכון הייצוא אך מחייב תשלום .
 

מאגרי נתונים ועובדות על חברות מסחריות

"סטנדרט אנד פור" 
"סטנדרט אנד פור" הוא מאגר נתונים מקיף על חברות מסחריות בארה"ב ומחוץ לארה"ב . מידע כלכלי פיננסי על ביצועי מאות אלפי חברות ותאגידים.  כולל גם את כל דו"חות החברות שהוגשו לSEC עשר שנים .

Standard & Poor's NetAdvantage

Standard & Poor's NetAdvantage User Guide


מאגר נתונים אודות חברות : www.hoovers.com

מספק דוחות רחבים ומעמיקים על למעלה מ- 80 מיליון חברות ברחבי העולם הכוללים: סקירת התעשייה, סקירת מוצרי ופעילות החברה, מערכת התרעות אחר שינויים, מתחרים, עצי בעלויות, מידע פיננסי על החברה ועוד.
  • מעניק ידע מקיף וכולל על מצב ענף וחברה ספציפיים.
  • מסייע להימנע מפעילות עסקית בענפים מסוכנים או לא מתאימים עבורך.
  • מאפשר זיהוי אפשרויות ופוטנציאל עסקי בענף או עם חברות מסוימות.
מידע מקיף על מיליוני חברות ותאגידים מחוץ לארה"ב , החברות המובילות בעולם, תעשיות ושווקים. מכיל גם תוצאות מהמאגרים American D&B ו International D&B
 

מאגר מידע D&B

מאגר המידע השיווקי של D&B כולל  נתונים עסקיים עדכניים על כ- 100,000 חברות ועסקים במשק הישראלי. ניתן לבצע פילוח על פי מאפייני החברות כגון תחום פעילות, אופי הפעילות, מיקום גאוגרפי, מספר מועסקים, מחזור מכירות ועוד. 

ראה גם :


מדעי המדינה
מאגר נתונים שהקים עיתון הגארדיין הבריטי על ממשלות בעולם

  Comparative Political Data Sets (CPDS)--The CPDS were produced by scholars at the University of Berne
 
ראה גם :ICPSR

ראה גם :
 מאגר הנתונים באינטרנט של  Freebase
 Freebase שהושק בשנת 2008  מטרתו הוא להיות בסיס נתונים ענק באינטרנט. הרעיון כאן הוא להכניס במקום אחד המון נתונים שונים, לאפשר לקטלג אותם בצורה של קטגוריות ותגיות, וכך ליצור קשרים בין הנתונים. כעת כשכל הנתונים בפנים, ניתן לפנות אליהם בצורה ידנית אבל גם דרך קוד (דבר שלא ניתן ב-Google Base). 

האתר כבר קיטלג את כל הנתונים מוויקיפדיה ובכל רגע נתון נוספים בו ערכים חדשים שמשתמשים מכניסים. כמובן שחלק מהנתונים יהיו זבל ובעלי האתר יצטרכו לחשוב על דרך לפלטר את הנתונים הללו, אך המטרה הסופית היא בסיס מידע ענק עם קשרים בין הנתונים כך שהאתרים הסמנטיים שכולם מחכים שיצאו במסגרת Web 3.0 יוכלו להסתכל על נתונים אלה ולהפיק מהם ידע חדש. יהיה מעניין לראות מה יתפתח מכל המידע הזה.
למידע נוסף
 
כימיה וביולוגיה

NIST Chemistry WebBook

The NIST Chemistry WebBook provides users with easy access to chemical and physical property data for chemical species through the internet. The data provided in the site are from collections maintained by the NIST Standard Reference Data Program and outside contributors.
 Data in the WebBook system are organized by chemical species. The WebBook system allows users to search for chemical species by various means. Once the desired species has been identified, the system will display data for the species.
Guide
מאגרי נתונים בכימיה באמצעות ממשק STN

באמצעות  מערכת SCIFINDER  אפשר להגיע לנתונים מדעיים בתחומי  כימיה, ביולוגיה, פרמקולוגיה, ביוכימיה, מזון, הנדסת חומרים ועוד
קישור
  

איתור נתוני חומרים מסוכנים MSDS
קישור


ביולוגיה ומדעי החיים  
 קישור 2

RCSB PDB Protein Data bank
 נתונים אודות צריכת מקורות אנרגיה ופיתוח מקורות אנרגיה

Statistical Review of World Energy

This dataset comes from British Petroleum and it covers energy production, consumption, and trade. Annual data by country and energy type is available; some dates from the 1960s.

link


חברות היי-טק


מאגר נתונים שהקימו אנשי מתימו"פ הישראליים על חברות היי-טק ישראליות
קישור

פרוייקט CrunchBase

קיימת כיום ביקורת לא מבוטלת על  מבנה מסדי הנתונים הקיימים באינטרנט המעדיפים בעיקר חיפוש טקסטואלי  לא ממויין ולא מובחן כמו גוגל.  נוכח ביקורת בונה זו עובדים קבוצות שונות בעולם על פיתוח מסדי נתונים  ממוחשבים  המדגישים את הצד של שדות ופרמטרים ברשומת החיפוש . אחד הפרוייקטים המידעניים בתחם זה בעולם הוא פרוייקט CrunchBase שעיקרו בניית מסד נתונים ממויין שיתופי על חברות טכנולוגיות ואנשי מפתח בתחימי הטכנולוגיה . מדובר על בסיס נתונים חופשי ושיתופי הממיין את המידע על חברות טכנולוגיות עפ"י מאפיינים שונים כגון שנת הקמה , מספר עובדים , גודל החברה ( מחזור כספי ) ועוד . חלק ממהשראה שואב פרויקט CrunchBase מיוזמה דומה באינטרנט  עליה דיווחנו בעבר:  פרוייקט  .FREEBAS

 אלקטרוניקה 
 
מאגרי נתונים על אלקטרוניקה ורכיבים


 

Datasheets

ALLDATASHEET.COM is the biggest online electronic component datasheets search engine.

Datasheet & application note database, pdf, circuits, cross reference ...
Electronic Component Manufacturers Database
LINK  
נתוני סטנדרטיים טכנולוגיים ( IHS)

מאגרי נתונים בתחומי רפואה ובריאות 

מספר מקורות בהם אפשר למצוא מאגרי מידע של נתונים ועובדות הרפואה והבריאות ( המלצות המידענית ד"ר יפה אהרוני מאוניברסיטת תל אביב) . 

בכתובת  כאן בקישור יש רשימה של מאגרי מידע בטקסונומיה   חלקם של נתונים כמו taxonomy . בסרגל הצדדי בצד יש  קטגוריות נושאיות  ושם בכל אחת מהקטגוריות יש גם מאגרי נתונים – חלקם של נתונים של גנים וכו' למשל Gene.

קישור
מאגרי הנתונים של הCDC בארה"ב


מאגרי נתונים על תרופות 


 Facts & Comparisons  מאגר נתונים רפואי קליני  השוואתי לאנשי רפואה ( על תרופות)

מאגר נתונים מקיף על תרופות מבית   NLM( הספריה הרפואית הלאומית בארה"ב) . זהו מאגר נתונים לציבור ולא בהכרח לרופאים.
קישור

אתר אינפומד ( אתר הרפואה הישראלי ) שיפר בשנה האחרונה את האינדקסים הרפואיים שלו בצורה מוכללת. אינפומד כולל מנגנוני חיפוש רבים ומגוונים. הם ריכזו את כל המנועים בדף אחד, כגון אינדקס התרופות , אינדקס הבדיקות, אינדקס החיסונים , ויטמנים ומינרלים. הריכוז בעמוד אחד מקל על מחפשי המידע הרפואי בישראל.
קישור

במאגר הרפואי הקליני  Dynamed  יש גם מאגרי נתונים רפואיים קליניים  איכותיים כגון נתונים קליניים על יעילות תרופות על סמך דיווחים קליניים  של רופאים בכתבי עת רפואיים . זהו מאגר נתונים מסוג  evidence-based medicine . יצרן מאגר נתונים איכותי זה הוא  EBSCOHOST.
קישור
  
Drug R&D Pipeline Database

מאגר נתונים ( מודעיני-עסקי)  על חברות התרופות ברחבי העולם
קישור

  מאגרים של ארגון הבריאות העולמי  
  ארה"ב : נתונים סטטיסטיים רפואיים

National Center forHealth Statistics
   חלק ב' : מאגרי נתונים חישוביים-השוואתיים
 איתור עובדות ונתונים: לילד מלאו שלוש שנים אבל הוא למעשה כבר בן 25 
לפני שנתיים, כשעמד לצאת וולפראם אלפא - מנוע החיפוש לתשובות עובדתיות - גוגל היתה מודאגת. אבל תוך זמן קצר התברר כי מדובר על סוג אחר של חיפוש וגוגל נשמה לרווחה . עתה מנוע החישוב וולפראם אלפא כבר בן שנתיים והוא עדיין בועט, גם אם לא לכיוון של גוגל. 

 
 כן, וולפראם אלפא יודע היום לומר לך איזה מטוס חלף זה עתה מעל הראש שלך, אבל הוא לא הצליח להפוך למתחרה רציני. הוא מנוע חיפוש לגיקים, וספק אם הוא ברירת המחדל של מישהו כמנוע החיפוש. אבל הוא עדיין כאן, וצוות הפיתוח שלו גדל, וגם זה משהו, בהתחשב בנסיבות. כיום כבר עובדים בוולפארם אלפא כבר 200 מהנדסי תוכנה ומדעני מחשב , ובראשם ברק ברקוביץ (Barak Berkowitz) שמוביל אותם להישגים מחודש לחודש.



כתובת מנוע החישובים של וולפראם אלפא 

 הנה לדוגמא השוואה בין מספר התושבים של תל אביב לעומת אתונה ביוון  

 ההבדלים בין יפאן ודרום קוריאה מבחינה ההתתפחויות הכלכליות והחינוכיות  

דוגמא לחיפוש בוולפראם אלפא , כיצד לחפש מידע על גודל הצמיגים
 

וולפראם מוסיף את מאגר הסטארט-אפים CrunchBase למנוע החישוב


מנוע החיפוש הסמנטי הודיע בסוף השבוע כי עתה ניתן לבצע בו חיפושים וחישובים הקשורים לחברות סטארט-אפ המופיעות במאגר של הבלוג הטכנולוגי TechCrunch 

בפוסט שפורסם בבלוג החברה בסוף השבוע כתב מנהל התוכן החברתי-כלכלי באתר, ק. אלן ג'ויס, כי מזה זמן מה עובדים בחברה על הוספת מאגרי מידע על חברות שונות למנוע החישוב, ולאחרונה עבדו על המרת מאגר המידע של הבלוג הטכנולוגי שייסד מייקל ארינגטון לפורמט שיאפשר חיפוש נתונים על סטארט-אפים והשוואתם עם נתונים אחרים. לקראת תחרות ה-Disrupt שעורך הבלוג השבוע בסאן-פרנסיסקו החליטה החברה ליידע את המשתמשים באפשרות החדשה עוד לפני שהושלמה המרת המאגר.

לכתבה המלאה
 

תצוגה ויזואלית בחתכים של נתונים בינלאומיים  


מערכת חישובית גראפית להצגת נתונים בצורה השוואתית . קצת נחבאת אל הכלים אבל נעשית שם עבודת פיתוח משמעותית.  
—            זהו בעיקרו כלי עזר ויזואלי להשוואת נתונים על מדינות . 


—            למשל , נערוך השוואה בין ישראל לדנמרק תוך כדי פילוח וחישוב מאגרי הנתונים שלהם. 

This site bills itself as "massive central data source and a handy way to graphically compare nations."
 They have more than 4,000 data sets, and they specialize in tools that let users easily compare data from different countries.
As one would expect, they offer a large amount of economic data and they present it in a variety of ways (including maps). Perhaps it is best to have them describe their breadth: "We want to be the web's one-stop resource for country statistics on everything from soldiers to wall plug voltages." It is a very interesting site to browse through as well.

ZANRAN – מנוע חיפוש ייעודי לנתונים מספריים

ZANRAN הוא מנוע חיפוש ייעודי לנתונים סטטיסטיים. המנוע מחפש נתונים נומריים שמיוצגים בגרפים , בטבלאות ובתרשימים. מטרתו של המנוע היא לחלץ מידע נומרי מתוך קובצי PDF, Excel , קובצי html, PowerPoint ו- Word
למידע נוסף

 

Penn World Tables (PWT)

Center for International Comparisons of Production, Income and Prices
 מרכז החקר להשוואת נתוני הכנסות , תקציבים והוצאות של מדינות בעולם , אוניברסיטת פנסילווניה בארה"ב. מפעילים שורה של כלים חישוביים להשוואת נתונים בין מדינות העולם .
קישור

מיזמים עתידיים לפיתוח מאגרי נתונים באינטרנט 

Wikidata והווב הסמנטי – הדבר הגדול הבא לוויקיפדיה

מאת ד"ר יפה אהרוני, הספרייה למדעי החיים ולרפואה

היום הוויקיפדיה כוללת עובדות וקישורים למאמרים אחרים שלא מובנים בקלות על ידי מחשבים. דוגמאות למידע עובדתי זה הם נתונים על אוכלוסייה של ארץ מסוימת או מקום הולדתה של אישיות מסוימת.
פרויקט חדש של Wikimedia בשם Wikidata שם לו למטרה לבנות מאגר חופשי , שיתופי, מובנה של מידע עובדתי זה שיתמוך בוויקיפדיה ויובן על ידי בני אדם ומחשבים כאחת.


משמעות הדבר שב- Wikidata אפשר יהיה להזין את המידע באופן שיהיה ניתן לעיבוד על ידי מחשב על כל המשתמע מכך: המידע יהיה בשפות שונות , יוצג בפורמטים שונים : רשימות, טבלאות וכו' ואפשר יהיה לקבל תשובות שכיום קשה לקבלן בצורה אוטומטית.

מנשק העריכה והכתיבה של ה-Wikidata יהיה שונה מזה של הוויקיפדיה.המנשק של הוויקיפדיה מאפשר לערוך טקסט, המנשק של ה- Wikidata יהיה בצורת טופס שיאפשר הזנת נתונים באופן שיהיה קל לעיבוד עתידי .

מן הראוי לציין שהפרויקט הוצג בכנס SemTechBiz האחרון בברלין כדבר הגדול הבא של הוויקיפדיה והווב הסמנטי כאחד. 



מתי נוכל ליהנות מפרויקט זה – לכך יש להתאזר בסבלנות. על פי התחזיות אמורים להתחיל בפרויקט באפריל 2012 , הוספת הנתונים תתחיל כנראה בחורף 2012 . ההצלחה של הפרויקט תלויה כמובן במסה גדולה של אנשים שמוכנים לתרום לפרויקט . ולכל המעוניינים הדרך הטובה ביותר להתעדכן בהתפתחויות העתידיות היא להירשם לרשימת התפוצה של הפרויקט



גוגל תציג יותר מידע בתוצאות ,גוגל תחל לעבור לחיפוש סמנטי
גוגל  החלה להציג  לצד תוצאות החיפוש הרגילות שלה גם מידע "חכם", המעניק תשובות לשאלות ע"י הבנה של משמעויות

בחודשים הקרובים תחל גוגל בביצוע השדרוג הגדול ביותר בהסטוריה של מנוע החיפוש שלה, על פי דברים שאמר עמית סינגהאל, בכיר בחטיבת החיפוש בחברה, לוול-סטריט ג'ורנל. לדבריו, התוצאות החדשות לא יחליפו את התוצאות הקיימות בדמות קישורים לאתרים רלוונטיים, אלא יוצגו לצידן וייראו דומות יותר ל"איך שבני אדם מבינים את העולם". בכיר אחר אמר ל-CNET כי השינוי לא ייעשה בבת-אחת, אלא בשלבים שייקחו מספר שנים 
.
בשנים האחרונות ביצעה גוגל במנוע החיפוש שלה אינספור שדרוגים למנוע החיפוש שלה, הקיים מאז 1998, ביניהם הוספה של תוצאות חיפוש מהרשת החברתית שלה, גוגל פלוס, כמו גם הצעות של תוצאות תמונה, חדשות אחרונות ועוד. כמו כן, היא הוסיפה למנוע מספר תכונות המאפשרות לקבל תשובות בנושאים נבחרים, כגון המרת מטבעות לפי השערים היציגים העדכניים, חישוב משוואות מתמטיות וכדומה 
.
אך מאחורי הקלעים החלה גוגל בשנתיים האחרונות גם לבנות מאגר מידע הכולל "ישויות" - אנשים, חברות ומקומות. עתה בכוונתה להתחיל להציג מידע מתוך המאגר בחודשים הקרובים. כך, לדוגמא, מי שיחפש בגוגל שם של עיר בארה"ב יקבל, בנוסף לקישורים לאתר המוניציפאלי , לסוכנות התיירות המקומית וכו', גם פרטים כגון מיקומה הגיאוגרפי, גובהה, מזג האוויר המקומי, מספר התושבים ועוד. כמו כן, מי שיקליד שאלה של ממש יקבל אולי תשובה המנוסחת כמשפט בודד במקום קישורים לאתרים שלפי החיפוש הרגיל מכילים את המידע 
.
בשלב זה לא ידוע האם מאגר המידע הסמנטי של גוגל כולל גם תוצאות לחיפושים עבריים, אך החברה מסרה כי היא מנסה "לשפר את חווית החיפוש כל העת ובכל מקום".
לכתבה בעיתון "הארץ" , דה-מרקר


כפי שדווח בעיתונות,  גוגל  הקימה בחודש מאי 2012 מאגר מידע של 500 מיליון פריטים, מקומות, בתי עסק, קבוצות ספורט, מונחי חיפוש נפוצים, ידוענים, סרטים, שירים ועוד. הבסיס לטכנולוגיה היא חברת Metaweb, אותה גוגל רכשה ב-2010. החברה פיתחה מאגר מידע סמנטי שכלל 12 מיליון פריטים, ואפשר למשתמשים לתייג פריטים עם מידע נוסף. מאז גוגל הרחיבה את מאגר המידע המקורי עם גישה למאגרי מידע חיצוניים כגון ויקיפדיה.
למידע נוסף

גוגל אספה את המידע בשנתיים האחרונות ממקומות כמו ויקיפדיה, ספר המידע של הסי-איי-אי (CIA Factbook) ומקורות מידע נוספים כדי להרחיב את מאגר המידע שקיבלה ב-2010 במסגרת רכישת חברת Metaweb.
באמצעות המאגר, גוגל מנסה לספק במהירות תשובות מתומצתות לשאלות הגולשים, כדי שהם לא יצטרכו ללכת באיבוד בין הלינקים השונים. פרטי המידע יופיעו בתיבות שייתווספו מימין לתוצאות החיפוש (לפחות באנגלית).
 למידע נוסף


מאמר קצר ומאיר עיניים על האלגוריתם הסמנטי החדש של גוגל הידוע בשם Google 

Knowledge Graph


המאמר מסביר בשפה לא טכנית וברורה את המהלך הזה של גוגל ואת התובנה שנקבל מהGoogle Knowledge Graph
Google Knowledge Graph


עדיין לא עובד בעברית אבל לא ירחק היום
גרף הידע של גוגל – צעד לקראת הדור הבא של החיפוש « בלוג הספריות של אוניברסיטת תל-אביב

Introducing the Knowledge Graph

 

 
By at תגובה 1:
Labels: , , , , , , ,
הירשם ל- רשומות (Atom)

מאגר הנתונים PitchBook Data, Inc

  מאגר הנתונים PitchBook נחשב כיום כטוב ביותר מסוגו בעולם   מה PitchBook מציעה ? מאגר נתונים מקיף : PitchBook אוספת ומארגנת נתונים...