ליקטתי בסקירה
שלפניכם כמה מקורות מידע מהארץ ומהעולם שגם הם מתחבטים בסוגיית הערכת מקורות מידע
ע"י כלי AI . חלקם
מציעים מתודולוגיה שיטתית להערכת מידע שמופק ע"י כלי AI .
"אולי שאלה טיפשית אבל אני לא מומחית AI ותמיד רציתי לשאול- אם CHATGPT מוצא תשובות דרך כל המידע שקיים באינטרנט אבל האינטרנט מלא בשטויות של כל מי שאי פעם העלה תוכן (ורוב האנשים מעלים תכנים לא מבוססים וחסרי סימוכין ובסיס) אז איך הוא יודע להפריד בין מה שנכון לשטויות?"
זו בכלל לא שאלה טיפשית! למעשה, זו שאלה חשובה מאוד.
ל-ChatGPT אין גישה ישירה
לאינטרנט בזמן אמת, אלא הוא מבוסס על מאגר מידע עצום שנלמד על תוכן מאתרי אינטרנט,
ספרים, מחקרים, מאמרים ועוד, עד לנקודת הידע האחרונה שלו (שבסיס הידע שלו מסתיים
ב-2021, למשל). הוא אומן על כמויות אדירות של מידע, כולל מקורות אמינים ולא
אמינים. כדי "להבין" מה נכון יותר ומה פחות, המודל משתמש בכמה שיטות:
1. סטטיסטיקה
ושכיחות: המודל לומד על פי דפוסים שכיחים של טקסטים. אם הרבה מקורות אמינים מכילים
מידע מסוים, המודל נוטה להציג את המידע הזה על פני מידע פחות שכיח או לא נכון.
2. מקורות אמינים:
באימון של המודל נכללו מאגרי מידע אמינים כמו אנציקלופדיות, מחקרים מדעיים ומקורות
נוספים הנחשבים לאמינים. כך שהסבירות גבוהה שהמודל יטה לשחזר מידע מדויק מבוסס
יותר.
3. סגנון השפה:
לפעמים, המודל מזהה סגנונות כתיבה שמעידים על כך שהתוכן פחות אמין, כמו למשל כתיבה
שמכילה שגיאות, טענות מוגזמות או תיאוריות קונספירציה.
חשוב לזכור
שאמנם המודל מיומן לשחזר מידע מדויק, אך הוא גם עלול לספק תשובות שאינן לגמרי
נכונות, ולכן תמיד כדאי לבדוק את המידע במקורות מהימנים, במיוחד כשמדובר על מידע
רגיש או חשוב.
תוצאות שגויות
או מוטות: צ'אטבוטים של בינה מלאכותית עלולים לגרום לשימוש
מכוון או לא מכוון או להפצת מידע שקרי או מוטה העלול להטעות משתמשים. מכיוון
שצ'אטבוטים של AI מסתמכים על מאגר
עצום של נתונים זמין באינטרנט, יש סיכוי גבוה שהנתונים האלה מיושנים, לא מדויקים
או לא רלוונטיים.
בעיית מִצּוּי נתונים
אחד הסיכונים
המובנים של A.I. השימוש בצ'אטבוט
הוא מִצּוּי נתונים. כאשר צ'אטבוטים מקיימים אינטראקציה עם משתמשים, הם צורכים
נתונים משיחות, מיילים והודעות טקסט. ככל שצ'אטבוט הופך פופולרי ומתקדם יותר, כך
הוא צריך יותר נתונים כדי להמשיך ללמוד ביעילות. לרוע המזל, A.I. צ'אטבוטים לא רק
צורכים נתונים; הם גם תורמים לדלדול/ מִצּוּי מקורות הנתונים
שלהם.
אי-נגישות למאגרי מידע אקדמאיים בתשלום
הצ'אטבוטים מבוססי AI אינו יכולים לכסות מאגרי מידע בתשלום כגון Academic Search Complete של EBSCO ובוודאי לא להגיע לטקסטים המלאים של המאמרים .
Current Limitations
- Chatbots do not possess actual knowledge or
understanding
- Training data may not be up to date
- Information may reflect biases, misinformation, or
subjective viewpoints
- Users will need to evaluate the response, and
cross-reference information with reliable sources
Evaluating Information: Artificial Intelligence (AI) Chatbots
The same principles for evaluating information sources apply
to generative AI. Tests such as the
SIFT and RADAR tests can be helpful in determining if the information
you’ve found is reliable.
However, some of the questions we typically ask ourselves
about sources may be more difficult to answer when consulting generative AI,
because the process it takes to arrive at answers is not public.
So how can you assess the information generative AI gives
you?
Compare:
Look for other reliable sources to corroborate the AI’s
claims. Try to find alternative sources that cover the same topic, or even the
original context that a claim came from (these
are principles F and T of the SIFT test).
Check citations for
hallucinations:
You can ask a generative AI tool to cite its sources,
but it is known to create very convincing fake citations.
It can even create citations that have the names of real
researchers who study the topic you've asked about. However, the article named
in the citation might not exist or may not be from the journal it cites. These
invented citations are referred to as “hallucinations.”
You’ll need to search to confirm these articles actually
exist. For information on finding sources from their citations, see:
Confirm:
Look up the source article and check the information the
generative AI tool claims to have found in it. AI is not built specifically to
cite truthfully and accurately, so it may name an article that does not
actually contain the information.
Check currency:
Currency (when a document was created, edited, updated, or
revised) is an important factor in evaluating any information source. If you
need recent information on a world event or a new development in research,
generative AI may not have that information in its dataset. As of October 2023,
if you ask ChatGPT (GPT-3.5) how recent the data it’s trained on is, it will
tell you that its information comes from 2021 and it does not have the ability
to pull current information from the internet.
The Curse of
Recursion
As more text is published that has been created by
generative AI, eventually this AI-generated content will enter the training
datasets for new generations of AI. This may lead to a decrease in the
quality of the data, as errors in early generations of AI may compound
themselves over time.
This idea was proposed and tested by Shumailov et al.
(2023) in their paper “The Curse of Recursion: Training on Generated Data Makes
Models Forget.” They found that the inclusion of AI-generated content in
training datasets led to what they call model collapse - "a
degenerative process whereby, over time, models forget the true underlying data
distribution, even in the absence of a shift in the distribution over
time" (p. 2).
Further reading:
Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot,
N., & Anderson, R. (2023). The Curse of Recursion: Training on Generated
Data Makes Models Forget. ArXiv, bs/2305.17493.
ראו גם:
Artificial Hallucinations in ChatGPT: Implications in Scientific Writing
by
Alkaissi, H., & McFarlane, S. I. (2023). in Cureus, 15(2), e35179
AI Hallucination: A Misnomer worth clarifying
Maleki,
N., Padmanabhan, B., & Dutta, K. (2024). In arXiv preprint,
arXiv:2401.06796.
ההשלכות מבחינת המידענות הרפואית
What
is the impact of artificial intelligence-based chatbots on infodemic
management?
למידה וחינוך
ד"ר חני
שלטון
מחווני הערכה בשילוב בינה מלאכותית
כיווני הפיתוח האקדמיים , יוני 2024
אוניברסיטת
קיימברידג' , אנגליה
Researchers
have developed a platform for the interactive evaluation of AI-
