מה שלמדתי בכנס מידע 2018 : מסנני Full – Text במאגר החינוכי ERIC

   מתוך הרצאתה המרתקת של המידענית טל קמינסקי רוזנברג בכנס מידע 2018 , 16 במאי , מלון הילטון תל אביב .

כיום מידענים , אנשי חינוך, מרצים ותלמידי מחקר אינם מסתפקים עוד בחיפוש ביבליוגראפי של תקצירים לבד  אלא זקוקים יותר ויותר למאמר המלא בטקסט ( Full-Text).

 מאגר המידע החינוכי ERIC  החופשי באינטרנט היה אחד החלוצים בהנגשת מאמרים בטקסט מלא , לצד התקציר .  

במאגר העצום של ERIC ניתן להפעיל מסננים שיאפשרו קבלת תוצאות החיפוש רק בFull – Text  כפי שניתן לראות בצילומי המסך הבאים :

על מאגר ERIC

ERIC (ראשי תיבות של "Education Resources Information Center" - בעברית, "מרכז מקורות מידע על חינוך") הוא שמו של מאגר מידע ביבליוגרפי, העוסק בתחום מדעי החינוך. המאגר מכיל רישום ביבליוגרפי של 1.6 מיליון פרסומים, מאמרים מדעיים בעלי ביקורת עמיתים, חסרי ביקורת עמיתים, ספרים, נירות עמדה, סיכומי כינוסים מדעיים ופרסומים אחרים בתחום החינוך שפורסמו החל משנת 1966 בשפה האנגלית.

המאגר הממומן על ידי מחלקת החינוך של ארצות הברית, מאפשר לגולשים גם להציע חומר להוספה אל מאגר המידע.

בשנת 2008 הורחבו תחומי הסיקור של שיטות המחקר השונות הקשורות לחינוך ולמדעי החברה. היקף המאמרים והמחקרים בתחומי שיטות המחקר מכסה הן את תחומי המחקר האיכותני והן את תחומי המחקר הכמותי.

מסנני חיפוש: החיפוש כיום במאגר ERIC הוא הרבה יותר פרמטרי ומדויק. כאשר מחפשים במצב ADVANCED SEARCH ניתן להגביל מבחינת הז'אנרים את השאילתא לעשרות סוגי חומרים וסוגי מחקרים עפ"י הסימון בתיבה נגללת

 כתובת מאגר ERIC (קישור)

 למצגת ההרצאה המלאה של המידענית טל קמינסקי רוזנברג

קישור

מה שלמדתי בכנס מידע 2018 :חדשנות דיגיטלית בפרוייקט בן- יהודה

מתוך הרצאתה של שני אבנשטיין ,   כנס מידע 2018 , מלון הילטון תל אביב , 15 למאי 2018

 פרוייקט בן-יהודה הקדים את כולם , את הוויקיפדיה, הפייסבוק ואחרים, והיום יש להם מיליון כניסות לחודש !!

בשנת 1999, אסף ברטוב, איש תוכנה ישראלי, החל להקליד בהתנדבות שירה עברית. לימים הצטרפו אליו מתנדבים נוספים שנענו להודעה קטנה שפרסם בתחתית השירה שהעלה לרשת, וכך נולד פרויקט בן-יהודה.

הפרויקט שואב את השראתו מפרויקט דומה בשפה האנגלית (ולימים גם בשפות נוספות) הנקרא פרויקט גוטנברג – יוזמה של ד"ר מייקל ס’ הארט המנוח. הנה קישור למידע נוסף אודות הפרויקט הלועזי באתר הרשמי של פרויקט גוטנברג.

מטרות פרויקט בן -יהודה הן שימור היצירות העבריות, הנגשת היצירות לציבור הרחב, וחשיפת היצירות לקוראים חדשים ועידוד העיסוק בהן. האתר משמש סטודנטים, חוקרים, מורים, תלמידים, וחובבי ספרות באשר הם, ונהנה מכמליון צפיות בכל חודש מישראל ומרחבי העולם.

במאגר של אתר בן יהודה יותר מ1000 יצירות מלאות בעברית.

פרויקט בן-יהודה הוא מיזם התנדבותי, ובמסגרתו פועלים מאות מתנדבים ליצירת מהדורות אלקטרוניות של ספרות עברית, והנגשתן לציבור במאגר יצירה עברית, חופשי בשימוש וחינם אין כסף, באמצעות אתר אינטרנט. 

הם סורקים ספרים נדירים . הם מגלים הרבה טקסטים ספרותיים איכותיים שהיו חבויים ולא פורסמו ומעלים אותם בפעם הראשונה לאתר שלהם באינטרנט. יש שיתוף פעולה רב עם הספריה הלאומית לאיתור ספרים נדירים וניתן לראותם באתר פרוייקט בן יהודה. 

לאחר 18 שנות פעילות, פותח אתר תוכן חדש לפרויקט בן-יהודה, שיש בו חדשנות דיגיטלית : 

• ניתן לראות מיד בכניסה לאתר מי הם היוצרים הנקראים ביותר באתר . 
• ניתן לראות באופן ברור מיון של יצירות עפ"י סוגה, 
• ניתן לראות את 10 היצירות הנקראות ביותר בחודש ועוד .

בתכנון לשנה הקרובה :

שכבות ביאור והערות – קוראים וחוקרים מבקשים לקבל דרך להוסיף הערות, פרטיות או פומביות, ליצירות. הערות יכולות לספק ביאורים למלים או צירופים קשים, להוסיף מידע והקשרים היסטוריים, או להעלות שאלות וספקות לגבי הטקסטים באתר.

יצירת מערכת לניהול משתמשים – המערכת תאפשר יצירת רשימות קריאה ע"י משתמשים, כך שכל משתמש יוכל ליצור אנתולוגיה משלו מתוך כל היצירות המופיעות באתר, לייצא את האנתולוגיה (למשל כקובץ PDF או כספר אלקטרוני), או לשתף אותה במדיה חברתית או בדואל. 

כמו כן תאפשר המערכת הוספת תגיות והמלצות ליצירות, סימון יצירות אהובות, ואפשרות של סימניות אישיות ליצירות שונות אותן קוראים במערכת.

כתובת האתר (קישור)  

מה שלמדתי בכנס מידע 2018 : ויקידאטה

מתוך הרצאתה המרתקת של שני אבנשטיין , עמותת ויקימדיה ישראל ותנועת ויקימדיה העולמית: 

כנס מידע 2018 , מלון הילטון תל אביב  , 15.5.2018

בניגוד לויקיפדיה, הכוללת דפי טקסט ותמונות בפורמט חופשי לעריכה, המידע המאוחסן בויקידאטה מאורגן בטבלאות ושדות, ומכיל רק מידע עובדתי בסיסי. בדף הערך רוסיה, למשל, אפשר למצוא פרטים כמו שם עיר הבירה, שם הנשיא, מדינות גובלות ונתונים מספריים שונים ומגוונים , עם ציון המקורות לנתונים..

למיזם זה יש יכולת של האחדה וקישור בין מסדי מטא-דאטה של גופים שונים ומצד שני למיזמים חופשיים יש יכולת לחלץ נתוני מטא-דאטה ממיזם וויקי-נתונים.

בדומה לאופן הפעולה של ויקיפדיה, גם העבודה על ויקידאטה היא בצורה של עריכה שיתופית, עם דפי שיחה ושינויים. כל המידע המאוחסן בויקידטה פתוח לשימוש חופשי תחת רשיון קריאטיב קומונס.

מדובר למעשה במאגר ענק של עובדות ונתונים, הפתוח לשימוש הציבור ואף נערך על ידי המשתמשים בצורה שיתופית, בשיטה המוכרת לנו מויקיפדיה.

המידע בויקידאטה הוא מידע מובנה, המאופיין ברמה גבוהה של ארגון פנימי, המאפשרת למחשבים לסרוק אותו בקלות בעזרת אלגוריתמי חיפוש פשוטים- מה שהופך אותו למקור מידע אידיאלי עבור מנוע החיפוש גוגל .

דוגמא למבנה רשומה במסד הנתונים ויקידאטה ( דאגלס אדמס ) , קישור כאן

דוגמא נוספת : מוזיאון MET בניו יורק

MET - Wikidata

מיזם הWikidata – הוא, למעשה אחד הביטויים של ה-  3.0WEB . זו שכבה של נתונים עובדתיים ברמת מטא-דאטא היושבת מעל הWEB הרגיל והופכת להיות WEB 3.0 . יש כאן קשר לרשת הסמנטית של האינטרנט, אלו הם נתונים מובנים ומקושרים (Structured and linked data ) אותם ניתן לחלץ מהויקי-נתונים ע"י מיזמים חופשיים באינטרנט . לדוגמא מיזם  Histropedia.com מבוסס על הויקידאטא (וויקי-נתונים) . בלחיצת כפתור ניתן לראות באתר חיתוכים שונים והצלבות מידע המוצגים בטיים-ליין/ צירי זמן המוצגים בצורה רציפה בציר זמן גראפי .

  כתובת באינטרנט (כדאי להתנסות)

 גם מנוע החיפוש של גוגל מחלץ נתונים מתוך מסד הנתונים האדיר של ויקידאטה :

  לדוגמא :

 שאילתות במאגר וויקי-נתונים

 יש גם אפשרות לבצע שאילות מורכבות בוויקי נתונים :

https://query.wikidata.org

דף המיזם באינטרנט

ראו גם :

  מאמר המסביר היטב את המיזם באנגלית

Mix'n'Match - Wikidata  כלי עזר המאפשר הצלבה בין קטלוגים חיצוניים לבין ויקידאטה וכשעובדים איתו זו דרך להוסיף נתונים לויקידאטה,

ההבנייה מחדש של מאגרי המידע בבית התפוצות : הערכה בשנית

במשך 30 שנה צבר בית התפוצות אוצר של ידע מפתיע, נדיר ומסקרן: מעל 5 מיליון איש בעצי משפחה, מאות אלפי צילומים וסרטים, קבצי מוזיקה יהודית מהעבר וההווה, פירושים ומקורות של עשרות אלפי שמות משפחה, ומידע על אלפי קהילות יהודיות ברחבי הגלובוס. ובקיצור, כל מה שמרכיב את הסיפור של העם היהודי.

כמי שעבד בזמנו כמידען במכון שילוח באוניברסיטת תל אביב , אני זוכר כי בית התפוצות היו בשנת 1979 החלוצים האמיתיים של פיתוח מאגרי מידע ממוחשבים בישראל. 

בעזרת חברת  תוכנה בשם 2001 הם הקימו בזמנו מאגר מידע פרמטרי יעיל מאד על מחשב מיני מסוג  PDP . התוכנה לאיתור היסטוריה של שמות משפחה יהודיים היתה בזמנו המתקדמת ביותר בישראל .  במשך שנים היינו צריכים להגיע למחשב המיני של בית התפוצות ולערוך שם את החיפושים המומחשבים.

עברו חלפו עשרות שנים , האינטרנט בכלל וגוגל בפרט הגיעו לחיינו והנה גיליתי לאחרונה כי בית התפוצות ומאגרי המידע ההיסטוריים שלו  כבר לא נשארו מאחור והם במרחק נגיעה!!

הם כעת בעיצומו של מהלך וניסיון לשדרג את כל מערכת מאגרי המידע שלהם לאינטרנט והשדרוג , גם אם עדיין בעבודה נמשכת, הוא בהחלט הפתעה לטובה הן מבחינה מידענית והן מבחינת מימשק  המשתמש (User Interface  או  בקיצור  UI).

הם עובדים על הפרוייקט הזה באינטרנט כבר שלוש שנים והתוצאות מרשימות בהחלט.

איחזור המידע ( חיפוש)

החיפוש הוא מאד אינטואיטיבי וידידותי . ניתן לחפש שם משפחה ולהצליב למקום או מדינה .

מקבלים רשימת תוצאות הניתנות למיון בכמה וכמה ערוצים :

• מקומות
• תמונות
• אנשים ( עצי משפחה)
• וידאו
• אישים
• שמות משפחה

סינון עפ"י שדות

ניתן לבצע סינון נוסף ולהוסיף שדות  כגון :

• שם פרטי
• שם משפחה
• מקום לידה
• מקום נישואין 
• שנת לידה

בכל מהלך החיפוש והסינון  במאגרי בית התפוצות  המחודשים ממשק המשתמש נשאר ידידותי , מרווח ואינטואיטיבי למדי.

 חווית המשתמש כאן היא גבוהה ביחס למאגרי מידע היסטוריים דומים בחו"ל ועל כך יבואו על הברכה צוות המיזם המתוקשב הזה בבית התפוצות.

בערך הנבחר במהלך החיפוש מקבלים ערכי נושא קשורים ותוספת זו היא בהחלט מעשירה את המחפש והקורא.

לא רק איחזור מידע אלא גם ניהול מידע

ארכיטקטורת החיפוש וניהול המידע נועדו להקל על המשתמש לשמור פריטי מידע בתת-מאגר משלו הנקרא "הסיפור שלי" .  ניתן להוסיף ולצבור צילומים , מידע על עיירות , משפחות ועוד כהנה וכהנה .

ניתן לצבור בקלות פריטי מידע לדף  מידע שלכם שיצרתם שם בעצמכם וניתן לגשת אליו מכל מחשב ולחזור ולצבור עוד ממצאים שחיפשתם ומצאתם.

הנה דוגמא של "הדף שלי" ( "הסיפור שלי " ) שיצרתי במערכת של אתר באינטרנט של בית התפוצות .

כתובת מאגרי המידע בבית התפוצות( קישור)

יעילות מנועי החיפוש הפנימיים באתרי העיתונים הישראליים ואתרי החדשות

מבוא

ניתן לראות באתר אינטרנט חדשותי בארץ ובעולם מאגר מידע עתיר ידע בלתי מובנה.

המידע אשר נצבר באתרי החדשות והעיתונות הישראליים כולל מאות אלפי פריטי מידע . ברוב המקרים , אנו מגיעים אליהם באמצעות חיפוש בגוגל . אבל מה קורה כאשר אנו רוצים למקד את החיפוש רק באתר האינטרנט המסויים כגון YNET או "וואלה" ?

מידענים מנוסים (רק שליש מהם כפי שבדקתי בזמנו ) ישתמשו בפונקציית החיפוש המתקדם של גוגל (ראו מאמר שלי) . אבל הציבור הרחב שאינו מכיר את החיפוש הטבלאי של גוגל , ינסה , מן הסתם ,להשתמש במנוע החיפוש הפנימי של האתר ב"וואלה" או בYnet .

בשבוע האחרון "התחפשנו " למחפשים מן הציבור הרחב וניסינו לחפש באתרי החדשות הישראליים באמצעות מנועי החיפוש הפנימיים שלהם .

אז , הנה התוצאות אותם דירגנו בסולם של 1-10 , כאשר 1 פירושו איחזור יעיל עם דיוק (precision) ואילו 9 וגם 10 בסולם שלנו פירושם רלוונטיות נמוכה מאד בקבלת התוצאות אחרי החיפוש באמצעות מנוע החיפוש הפנימי של האתר .

העיקרון המנחה שלנו בסקירה קצרה זו הוא חיפוש מידע עפ"י הנוסחה העקרונית של precision and recall , כלומר, קבלת סט ממצאים התואמים בדיוק לבקשת החיפוש לעומת קבלת ממצאים רבים בלתי רלוונטיים לחיפוש ( מה שמכונה בספרות המקצועית  recall  או "רעש" גבוה בתהליך החיפוש ( תהליך איחזור המידע בלשון המקצוע ) .

  

 תמונת מצב באתרי אינטרנט ישראליים מובילים

אתר וואלה

חיפשנו : רכבת מונורייל

באתר וואלה מותקן מנוע חיפוש מותאם של גוגל , כלומר האינדקסים מבוססים על אלגוריתם של גוגל והתוצאות בהתאם לכך צפויות להיות רלוונטיות אבל , מקבלים תוצאות גם מאתרי חדשות אחרים ואנו ביקשנו להתמקד רק בתכנים שהצטברו במאגרי וואלה .

7 בסולם שלנו

נראה כי מי שערך את הגדרות בזמן התאמת מנוע החיפוש של גוגל לאתר וואלה היה עייף מאד.

  אתר YNET

 באתר YNET  מותקן מנוע חיפוש ישראל מתקדם בשם  ZOOMDהנחשב כמתקדם מאד ואמור לתת פתרונות איחזור מידע טובים (ראו מאמר של שחר תמם בנושא מ2018 )  

חיפשנו : רכבת מונורייל

התוצאה : כמעט 0 ממצאים כאשר יש באתר YNET כמה וכמה כתבות טובות בנושא .

3 בדירוג שלנו

 אתר מעריב

גם באתר מעריב מותקן מנוע חיפוש ישראל מתקדם בשם  ZOOMDהנחשב כמתקדם מאד ואמור לתת פתרונות איחזור מידע טובים (ראו מאמר של שחר תמם בנושא מ2018 )  

חיפשנו : רכבת מונורייל

התוצאה : כמעט 0 ממצאים כאשר יש באתר "מעריב" כמה וכמה כתבות טובות בנושא .

3 בדירוג שלנו

עיתון "הארץ"

בעיתון "הארץ" מופעל מנוע חיפוש ותיק שפותח ע"י חברה ישראלית. (בזמנו מדובר היה על מנוע האחזורXRS  של חברת 2001 ) .

מבחינת UI (ממשק משתמש) המיקום והידידותיות של מנוע החיפוש בעיתון "הארץ" הם מעולים . יתרון נוסף של מנוע החיפוש הפנימי בעיתון "הארץ" הוא החיפוש המתקדם וחיפוש לפי הקשר .

חיפשנו : רכבת מונורייל

 התוצאה : קיבלנו  ממצאים מדוייקים על רכבות, אך מעט מאד על רכבת מונורייל. מבדיקה דרך חיפוש מתקדם בגוגל מצאנו שיש באתר עוד מאמרים ואיזכורים על רכבת מונורייל והם לא אותרו ע"י מנוע החיפוש הפנימי של עיתון "הארץ".

6 בדירוג שלנו

 חדשות מחלקה ראשונה ( האתר של יואב יצחק)

מנוע החיפוש באתר פותח ע"י צוות האתר

חיפשנו : רכבת מונורייל

התוצאה : קיבלנו פריט אחד העונה על השאילתא .

6 בדירוג שלנו

אתר גלובס

גם באתר גלובס מותקן מנוע חיפוש ישראל מתקדם בשם  ZOOMDהנחשב כמתקדם מאד ואמור לתת פתרונות איחזור מידע טובים .

ניתן למיין  התוצאות לפי תאריך או לפי רלוונטיות.

חיפשנו : רכבת מונורייל

התוצאה : קיבלנו כמה וכמה כתבות העונות בדיוק על השאילתא

 8 בדירוג שלנו

 אתר כלכליסט

לא ידוע לנו מי פיתח את מנוע החיפוש הפנימי באתר כלכליסט.

התוצאה : קיבלנו כתבה אחת העונה על השאילתא

6 בדירוג שלנו

 אתר דה-מרקר

מנוע החיפוש הפנימי באתר דה-מרקר  דומה מאד למנוע החיפוש הפנימי בעיתון "הארץ" .

חיפשנו : רכבת מונורייל

 התוצאה : 0 תוצאות

מבדיקה בגוגל מתקדם גילינו שיש למעשה בד-מרקר לפחות 10 מאמרים על רכבת מונורייל .

3 בדירוג שלנו

 ומה קורה בחו"ל ?

  לצורך השוואה מתודית בדקנו גם כמה אתרי חדשות באנגלית בעולם

אתר גארדיין

חיפשנו : Monorail

התוצאה : קיבלנו עשרות כתבות העונות בדיוק על השאילתא

9 בדירוג שלנו

 אתר ניו יורק טיימס

חיפשנו : Monorail

 מנוע החיפוש הפנימי של עיתון "הניו יורק טיימס" הוא אחד ממנועי החיפוש הותיקים שפותח עוד לפני עידן גוגל ושודרג בשנים האחרונות.

 ניתן למיין את התוצאות לפי  רלוונטיות או תאריך.

 התוצאות : קיבלנו כמה עשרות כתבות , אך הרלוונטיות לא הייתה גבוה בהכרח .

7 בדירוג שלנו

סיכום והצעות ייעול

מנועי החיפוש הפנימיים באתרי החדשות , שהיו פעם אחד מכלי ניהול המידע היעילים של אתרי החדשות והעיתונות בארץ, התדרדרו מבחינת תפקודם המידעני . התוצאות , כמעט בכולם , לא עונות על צרכי המחפש המבקש לחפש אך ורק באתר ולא בגוגל .

אז נכון כי רוב האנשים משתמשים בחיפוש גוגל בלבד , אך בכל זאת , לעתים קרובות יש צורך למקד את החיפוש רק באתר עצמו הן מבחינה מחקרית והן מבחינה מידענית.

בזמנו העיתונים החלו לתייג כתבות ( תגיות נושא) , אך המאמץ הזה דעך לפני כמה שנים . תגיות- נושא היו יכולות להפוך את החיפוש למדוייק ורלוונטי יותר כפי שראינו במנוע החיפוש הפנימי של עיתון "גארדיין" .

בגארדיין  וגם בניו יורק טיימס מוסיפים בניהול המטא-דאטא תגיות נושא/מילות מפתח לכל פריט מידע.

ההצעה הצנועה שלנו לפתרון היא לנהל באתרי החדשות בישראל את מערך המטא-דטא (תגיות-נושא, מחברים, קטגוריה וקטגוריית משנה) בצורה יותר יעילה ועקבית .

התועלת המידענית הצפויה מכך היא רבה ומשמעותית לכל סוגי המחפשים.

 ראו גם : 20 excellent examples of on-site search

  ראו גם : מנוע החיפוש הפנימי באתר הישראלי "הגורם האנושי"