חיפוש בטקסט חופשי גדול (BIG DATA) בעברית באמצעות שאילתות הכוללות כמה

ד"ר אברהם מידן 15.10.2020 00:52
חיפוש בטקסט חופשי גדול (BIG DATA) בעברית באמצעות שאילתות הכוללות כמה


מה הדרך היעילה לחפש קטעים רלוונטיים (לדוגמה, תשובות לשאלות) בטקסט חופשי בעברית? הדרך המקובלת ו"הפשוטה" ביותר היא: רושמים מילה, והתוכנה מחפשת את המחרוזת. השיטה עובדת לא רע באנגלית, אבל בעברית היא יוצרת הרבה החטאות ואזעקות שווא, עקב הגורמים הבאים: ניקוד: לדוגמה, "שבת" במובן "יום שבת", לעומת "שבת" במובן "השתתף בשביתה". הטיות לשוניות: לדוגמה הם מכים, הוא הכה (רק האות "כ" משותפת) אותיות שבשפות אחרות הן מילות יחס עצמאיות מהוות חלק מהמחרוזת: לדוגמה, "מועד" במובן חג, לעומת "מועד העובדים". אין כתיב אחיד, לדוגמה שיפור לעומת שפור.




attachment חיפוש בטקסט חופשי בעברית באמצעות שאילתות הכוללות כמה מילים272.pdf



הוספת תגובה
  מגיב אנונימי
שם או כינוי:
חסימת סיסמה:
  זכור אותי תמיד במחשב זה

כותרת ראשית:
אבקש לקבל בדואר אלקטרוני כל תגובה לטוקבק שלי
אבקש לקבל בדואר אלקטרוני כל תגובה למאמר הזה