תמונת הַיֶּדַע המידעני : מִכָּאן וּמִשָּׁם: על יכולות ההערכה של מקורות מידע ע"י צ'אטבוטים מבוססי AI כגון CHATGPT

יום שלישי, 24 בספטמבר 2024

על יכולות ההערכה של מקורות מידע ע"י צ'אטבוטים מבוססי AI כגון CHATGPT

אחת השאלות החשובות כיום היא עד כמה הצ'אטבוטים מבוססי AI יכולים להעריך נכוןמקורות מידע באינטרנט ובמאגרי מידע . זו סוגיה משמעותית, כי שאלת הערכת מקורות מידע היא רכיב מרכזי בכל קורס אקדמי המשלב גם אוריינות מידע בעיקר באוניברסיטאות . זו גם יכולת שמידענים וחוקרים ניחנים בה והיא נרכשה במשך שנים לא מעטות.

ליקטתי בסקירה שלפניכם כמה מקורות מידע מהארץ ומהעולם שגם הם מתחבטים בסוגיית הערכת מקורות מידע ע"י כלי AI . חלקם מציעים מתודולוגיה שיטתית להערכת מידע שמופק ע"י כלי AI .

Netali Hernandez-Shaya

"אולי שאלה טיפשית אבל אני לא מומחית AI ותמיד רציתי לשאול- אם CHATGPT מוצא תשובות דרך כל המידע שקיים באינטרנט אבל האינטרנט מלא בשטויות של כל מי שאי פעם העלה תוכן (ורוב האנשים מעלים תכנים לא מבוססים וחסרי סימוכין ובסיס) אז איך הוא יודע להפריד בין מה שנכון לשטויות?"

Ravid Goren

זו בכלל לא שאלה טיפשית! למעשה, זו שאלה חשובה מאוד.

ל-ChatGPT אין גישה ישירה לאינטרנט בזמן אמת, אלא הוא מבוסס על מאגר מידע עצום שנלמד על תוכן מאתרי אינטרנט, ספרים, מחקרים, מאמרים ועוד, עד לנקודת הידע האחרונה שלו (שבסיס הידע שלו מסתיים ב-2021, למשל). הוא אומן על כמויות אדירות של מידע, כולל מקורות אמינים ולא אמינים. כדי "להבין" מה נכון יותר ומה פחות, המודל משתמש בכמה שיטות:

1. סטטיסטיקה ושכיחות: המודל לומד על פי דפוסים שכיחים של טקסטים. אם הרבה מקורות אמינים מכילים מידע מסוים, המודל נוטה להציג את המידע הזה על פני מידע פחות שכיח או לא נכון.

2. מקורות אמינים: באימון של המודל נכללו מאגרי מידע אמינים כמו אנציקלופדיות, מחקרים מדעיים ומקורות נוספים הנחשבים לאמינים. כך שהסבירות גבוהה שהמודל יטה לשחזר מידע מדויק מבוסס יותר.

3. סגנון השפה: לפעמים, המודל מזהה סגנונות כתיבה שמעידים על כך שהתוכן פחות אמין, כמו למשל כתיבה שמכילה שגיאות, טענות מוגזמות או תיאוריות קונספירציה.

חשוב לזכור שאמנם המודל מיומן לשחזר מידע מדויק, אך הוא גם עלול לספק תשובות שאינן לגמרי נכונות, ולכן תמיד כדאי לבדוק את המידע במקורות מהימנים, במיוחד כשמדובר על מידע רגיש או חשוב.

מקור וקרדיט

תוצאות שגויות או מוטות: צ'אטבוטים של בינה מלאכותית עלולים לגרום לשימוש מכוון או לא מכוון או להפצת מידע שקרי או מוטה העלול להטעות משתמשים. מכיוון שצ'אטבוטים של AI מסתמכים על מאגר עצום של נתונים זמין באינטרנט, יש סיכוי גבוה שהנתונים האלה מיושנים, לא מדויקים או לא רלוונטיים.

צ'אטבוטים, בין אם הם משמשים לשירות מידע, אחזור מידע או סתם שיחה סתמית, מסתמכים במידה רבה על הנתונים שהם מאומנים עליהם. הנתונים כוללים טקסט, קול וקלט חזותי, כמו גם אינטראקציות עם משתמשים אנושיים. ככל שיש יותר נתונים ב-A.I. לצ'אטבוט יש גישה, כך הוא יכול להבין טוב יותר ולהגיב לשאילתות וצרכים אנושיים. תהליך למידה מונע נתונים זה, הנקרא למידת מכונה, מהווה את עמוד השדרה של הצ'אטבוטים מבוססי A.I

בעיית מִצּוּי נתונים

אחד הסיכונים המובנים של A.I. השימוש בצ'אטבוט הוא מִצּוּי נתונים. כאשר צ'אטבוטים מקיימים אינטראקציה עם משתמשים, הם צורכים נתונים משיחות, מיילים והודעות טקסט. ככל שצ'אטבוט הופך פופולרי ומתקדם יותר, כך הוא צריך יותר נתונים כדי להמשיך ללמוד ביעילות. לרוע המזל, A.I. צ'אטבוטים לא רק צורכים נתונים; הם גם תורמים לדלדול/ מִצּוּי מקורות הנתונים שלהם.

מקור

אי-נגישות למאגרי מידע אקדמאיים בתשלום

הצ'אטבוטים מבוססי AI אינו יכולים לכסות מאגרי מידע בתשלום כגון Academic Search Complete של EBSCO ובוודאי לא להגיע לטקסטים המלאים של המאמרים .

Current Limitations

Chatbots do not possess actual knowledge or understanding
Training data may not be up to date
Information may reflect biases, misinformation, or subjective viewpoints
Users will need to evaluate the response, and cross-reference information with reliable sources

מקור

Evaluating Information: Artificial Intelligence (AI) Chatbots

ראו גם :

Evaluating Information from Generative AI

The same principles for evaluating information sources apply to generative AI. Tests such as the SIFT and RADAR tests can be helpful in determining if the information you’ve found is reliable.

However, some of the questions we typically ask ourselves about sources may be more difficult to answer when consulting generative AI, because the process it takes to arrive at answers is not public.

So how can you assess the information generative AI gives you?

Compare:

Look for other reliable sources to corroborate the AI’s claims. Try to find alternative sources that cover the same topic, or even the original context that a claim came from (these are principles F and T of the SIFT test).

Check citations for hallucinations:

You can ask a generative AI tool to cite its sources, but it is known to create very convincing fake citations.

It can even create citations that have the names of real researchers who study the topic you've asked about. However, the article named in the citation might not exist or may not be from the journal it cites. These invented citations are referred to as “hallucinations.”

You’ll need to search to confirm these articles actually exist. For information on finding sources from their citations, see:

Confirm:

Look up the source article and check the information the generative AI tool claims to have found in it. AI is not built specifically to cite truthfully and accurately, so it may name an article that does not actually contain the information.

Check currency:

Currency (when a document was created, edited, updated, or revised) is an important factor in evaluating any information source. If you need recent information on a world event or a new development in research, generative AI may not have that information in its dataset. As of October 2023, if you ask ChatGPT (GPT-3.5) how recent the data it’s trained on is, it will tell you that its information comes from 2021 and it does not have the ability to pull current information from the internet.

The Curse of Recursion

As more text is published that has been created by generative AI, eventually this AI-generated content will enter the training datasets for new generations of AI. This may lead to a decrease in the quality of the data, as errors in early generations of AI may compound themselves over time.

This idea was proposed and tested by Shumailov et al. (2023) in their paper “The Curse of Recursion: Training on Generated Data Makes Models Forget.” They found that the inclusion of AI-generated content in training datasets led to what they call model collapse - "a degenerative process whereby, over time, models forget the true underlying data distribution, even in the absence of a shift in the distribution over time" (p. 2).

Further reading:

Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N., & Anderson, R. (2023). The Curse of Recursion: Training on Generated Data Makes Models Forget. ArXiv, bs/2305.17493.

מקור

ראו גם:

Artificial Hallucinations in ChatGPT: Implications in Scientific Writing

by Alkaissi, H., & McFarlane, S. I. (2023). in Cureus, 15(2), e35179

 AI Hallucination: A Misnomer worth clarifying

Maleki, N., Padmanabhan, B., & Dutta, K. (2024). In arXiv preprint, arXiv:2401.06796.

ההשלכות מבחינת המידענות הרפואית

What is the impact of artificial intelligence-based chatbots on infodemic management?

למידה וחינוך