פרסומים

הלצה מוכרת מתחום הבלשנות וחקר השפה גורסת שההבדל בין דיאלקט לשפה הוא ששפה היא דיאלקט שיש לו גם צבא... כוונת ההלצה הזו היא שיש אינספור דיאלקטים בעולם, אבל מספר קטן בהרבה של שפות רשמיות ומוכרות. דיאלקט הוא מנגנון תקשורת המשרת קהילה של אנשים, לעיתים גדולה מאוד, אבל כזה שלא הצליח לחצות רף חמקמק שאחריו הוא יהפוך חלק מזהות לאומית שיש לה גם ישות מדינית. דוגמא אחת מיני רבות היא השפה הבאסקית, אשר נפוצה ומהווה חלק מזהות לאומית בעיני המשתמשים בה, אבל היא חסרה ״רגל המדינית״ פורמלית -- או כפי שמתלוצצים הבלשנים, אין לה צבא ולכן היא נשארת דיאלקט, שהוא במדרג נמוך יחסית לשפה פורמלית.

התובנה הזו חשובה גם בעידן הבינה המלאכותית, אשר מודלי שפה מהווים חלק משמעותי מהבסיס הטכנולוגי שלו ומאפשרים, בין השאר, את אותן מערכות "צ'אטבוט", דוגמת ChatGPT ודומיו, שהפכו בשנתיים האחרונות לחלק מחיינו. הבינה המלאכותית ועידן מודלי השפה הגדולים הם רק גלגול נוסף של אותה תובנה, ומבחינות רבות, הן יעמדו בבסיס הזהות הלאומית והריבונות הדיגיטלית.

לאחרונה התפרסם דו"ח ועדת נגל להאצת תחום הבינה המלאכותית בישראל. בשולי הדו"ח מתייחסת הועדה גם לשאלה של מודל שפה לאומי, האם ישראל זקוקה לו והאם בכוחה הכלכלי והטכנולוגי לפתח אותו. ברמה המופשטת והפילוסופית, דווקא ראוי היה להעמיד את השאלה הזו במיקום גבוה בהרבה מכיוון שמבחינות רבות, השפה היא הבסיס. אך קודם יש להסביר מהם מודלי השפה ואת האתגר הטכנולוגי, תשתיתי והכלכלי הכרוך בפיתוחם.

מודל שפה גדול (Large Language Model) הוא למעשה סוג של מערכת בינה מלאכותית העושה שימוש בכמות עצומה, בין עשרות למאות טריליוני מילים, של מידע טקסטואלי כדי לייצר ייצוג ממוחשב של שפה אשר יודע לחקות שפת דיבור ולתקשר עם בני אדם באופן שירגיש להם טבעי . בשלב ה"אימון", קרי הפיכת המידע הטקסטואלי למודל, נהוג להעדיף תוכן שנוצר באופן ידני ואורגני ונאסף ממקורות מגוונים, ובכלל זאת ספרות, עיתונות, פרסומים אונליין, על פני כזה שנוצר בצורה ממכונת, מכיוון שכך ניתן להבטיח אינטראקציה טבעית יותר. המערכת "מסיקה" דברים באופן הנחזה לרציונלי, אבל לאמיתו של דבר, יכולת ההיסק היא, כמובן, סטטיסטית, המתבססת על אותם מיליארדי אינטראקציות וניסיון לענות תשובות שהן בעלות הסיכויים הגדולים ביותר לקלוע לכוונת המשתמש. אין ביכולתן של מערכות בינה מלאכותית, לפחות לא כיום, לקיים חשיבה רציונלית או לפתח רעיונות מקוריים אמיתיים.^[1] אבל למרות כל אלה, מודלי השפות כיום מצליחים לקיים אינטראקציה אנושית הולכת ומשתכללת, הגורמת למרבית האנשים לתת מידה מסוימת של אמון בהם.^[2] לרוב, מוצרי הצ'אט המסחריים אף מקליטים ושומרים את השיחות כדי להשתמש בהן בעתיד כמידע טקסטואלי שניתן לאמן באמצעותו מודלים חדשים ומתקדמים יותר.

במאמר מוסגר, כאשר מתוודעים לכמות העצומה של מידע שנדרש לאגור ולעבד על מנת לאמן מודלי שפה גדולים – קל להבין מדוע התפתחות תחום הבינה המלאכותית דורשת תשתיות עיבוד ומחשוב משמעותיות המאוכסנות לרוב בחוות שרתים או מרכזי מחשוב עצומים. "חוות" אלו, כמובן, דורשות בתורן כמויות משמעותיות של אנרגיה על מנת להפעיל ולקרר את המחשבים בזמן שהעיבוד ואימון המודלים מתבצע. עקב העלויות הניכרות של תשתיות אלו, אין זה מפתיע כי חלק גדול מהקשב של הועדה, ורובו המוחלט של הדיון הציבורי במסקנותיה, אכן מתמקד בעלויות התקציביות הנדרשות להאצת והצלחת התחום בישראל.^[3] דרישות אלו מסתכמות בסדר גודל יותר מאשר התקציב הנוכחי של התוכנית הלאומית לבינה מלאכותית.

מודל שפה מבסס את תשובותיו, במידה רבה, על המידע אשר הוזן לו מאינטראקציה אנושית. המידע הזה, בחירתו ותוכנו, מן הסתם הוא סובייקטיבי. בנוסף, המודלים כמובן עושים שימוש במידע אובייקטיבי, למשל נתונים מדעיים. כך לדוגמא, יש סיכוי גבוה ששאלה פשוטה אשר התשובה לה הינה עובדה מקובלת, למשל "האם השמש זורחת במזרח ושוקעת במערב?" תזכה לתשובה התואמת את העובדות המוכרות, בלי קשר למודל הנשאל. כשמדובר במידע סובייקטיבי, מן הסתם ייתכנו מצבים שבהם המודל יעניק משקל יתר למידע שעליו הוא אומן ויציע תשובה שגויה ״בתום לב״. אך המורכבות הזו הופכת למשמעותית יותר כאשר מדובר באפליקציות צ'אטבוט, כגון ChatGPT או DeepSeek, מכיוון שמעבר למודל עצמו קיימת שכבה נוספת של הוראות מערכת, אשר מנחות את המודל כיצד להתמודד עם פניות של משתמשים. וכאשר מדובר בשאלות סבוכות יותר, בפרט אם המענה להן כרוך בניתוח נתונים ערכיים, תרבותיים, לאומיים והיסטוריים, המערכות חשופות לסוגים מגוונים של הטיות. הטיות כאלו נפוצות בתשובות בנושאים אקטואליים ופוליטיים, כאשר אופיין של התשובות יכול להיות מושפע מכך שמידע עדכני לא היה זמין לאימון המודלֿ, או מידע שהמודל לא אומן עליו משיקולים של יוצר המודל (או תוכנן של הוראות המערכת במקרה של אפליקציות צ'אטבוט). כתוצאה מהטיות אלה, קל להבין כיצד מודלי שפה גדולים (וצ'אטבוטים ביתר שאת) יבטאו את תמונת העולם של יוצריהם. יתרה מכן, גם אם מדובר במודל אשר אומן במספר שפות ואף יודע לתרגם ביניהן – ללא השקעת מאמץ מיוחד באימונו הוא ישקף לרוב תמונת עולם אנגלו-פוני, מכיוון שרוב התוכן הזמין בקלות לטובת אימון מודלים הינו בשפה האנגלית,^[4] וממילא את זו של יוצריו.^[5]

כמובן שמקור נוסף להטיות וחוסר דיוק יכול להיות תכתיבים לגבי התכנים ומרחב הנושאים שמותר או אסור לעסוק בהם - תכתיבים האופייניים למדינות לא דמוקרטיות. כך, לדוגמא, אם נשאל צ'אטבוט אשר נוצר בידי חברה מערבית על אירועי הטבח בכיכר טיאננמן בסין בשנת 1989, נקבל מנעד תשובות שיתייחסו מפורשות לטבח בהקשר של מאבק אזרחי נגד השלטון הקומוניסטי בניסיון להשיג רפורמות דמוקרטיות. מאידך, אם נשאל צ'אטבוט שנוצר בידי חברה סינית, למשל דיפ-סיק, התשובה שתתקבל תהיה בהכרח כזו המקובלות על דעת השלטון על חשבון הדיוק היסטורי, או אמירה מפורשת שאין לצ'אטבוט יכולת לענות על שאלות בנושא זה.^[6] תופעה דומה קיימת, הגם שבאופן פחות מובהק, גם בשימוש ישיר במודלים ולא רק באפליקציות הצ'אטבוט המבוססות עליהם.^[7] כך או כך, ניתן להבין שמודלי השפה הם בעצם חלק מהמערכת הלאומית ומתווכים תכנים שהם חלק מהזהות הלאומית של מפתחיהם. וכמו ששפה פורמלית רגילה היא חלק מהזהות ומהווה מרכיב מהלאומיות והריבונות, כך גם מודל שפה גדול כרוך ישירות בחלקה הדיגיטלי של אותה לאומיות וריבונות.

הסוגייה המרכזית של איזה מודל שפה ראוי להשתמש בו והאם צריך לשאוף למודל שפה לאומי ישראלי – דווקא זו קיבלה תשומת לב שולית בדו"ח ועדת נגל. כיום, תשעה מתוך עשרת מודלי השפה המתקדמים ביותר (מודלי החזית) נוצרו בידי חברות מערביות (בפרט אמריקניות) – כגון GPT-4.5 של OpenAI, Llama של חברת מטא (פייסבוק), Grok של xAI, Gemini של חברת גוגל ו-Claude של אנתרופיק. המודל המתקדם הנוסף נוצר בידי חברה סינית. העלות של פיתוח מודל שפה היא עצומה ויכולה להגיע לעשרות מיליוני דולרים רק לאימון הסופי עצמו. למשל, עלות האימון של מודל GPT-4.0 מוערכת בכ-50 מיליון דולר, כאשר זו אינה כוללת את עלות הקמת מרכזי המחשוב, התשתיות או המו"פ הנדרש כדי לפתח את המודל, אלא את עלות האימון בלבד. העלות הכוללת עשויה להגיע למיליארדי דולרים (הערכות מקובלות גורסות עלות פיתוח כוללת של בין 850 מיליון למעל מיליארד דולר לפיתוח המודל Llama 3.1-405B של חברת מטא (פייסבוק) ועלות פיתוח כוללת של בין 6 ל-9 מיליארד דולר לפיתוח המודל Grok 4 של חברת xAI).^[8]

מגבלה פוטנציאלית נוספת שיש להתמודד איתה לטובת יצירת מודל שפה לאומי הינה הצורך בכמות משמעותית של חומר מקור טקסטואלי איכותי. כלל לא בטוח, שבעברית קיימים עשרות טריליוני המילים הכתובות הנדרשות לאימון מודל שפה גדול מן היסוד. אומנם פתרון אפשרי לסוגיה זו הינו התבססות על מודל יסוד קיים ורק להתאימו לשפה העברית על ידי ביצוע תהליך המכונה fine-tuning, אשר בתורו מכניס את ההטיות של מבצעיו באופן שאף יכול להתגבר על הטיות במודל הבסיס. דוגמא להצלחת גישה זו הינה המודל DictaLM-2.0, אשר הותאם לעברית באמצעות אימון על כ-50 מיליארד מילים מטקסטים בעברית ומצליח להשיג תוצאות טובות מאלו של מודלים הגדולים ממנו פי כמה.^[9] מודל DictaLM, בהיותו מודל פתוח (כלומר זמין באופן המאפשר למשתמש להריצו במרכז מחשוב בבעלותו ולא רק לצרוך אותו ממרכזי המחשוב של הגוף שיצר אותו), מאפשר שימוש תוך וידוא כי מידע רגיש שבו יעשה שימוש בידי המודל לא יצא את גבולות ישראל. יכולת זו קיימת רק באחד ממודלי החזית, אך דורשת משאבי חישוב משמעותיים עוד יותר עקב גודל המודל המדובר. אין מדובר בפתרון קסם – גודלו של המודל, ובהתאם גם ביצועיו, חסומים בידי הגישה שהייתה למפתחיו למשאבי חישוב. אילו הייתה להם גישה ליותר משאבים, יש להניח כי ניתן היה להתאים מודל גדול יותר – ייתכן שאפילו מודל חזית כמו Llama-3.1-405B וכך לייצר מודל לאומי שתוצאותיו טובות אף יותר.

ניתן להמחיש את חשיבותו של מודל לאומי באמצעות יוזמת "צ'אט המשפט" אשר הוכרזה לאחרונה על ידי הרשות השופטת. במסגרת יוזמה זו, הרשות השופטת פיתחה ועתידה לפרוס לשימושם של כ-900 שופטים, רשמים ועוזריהם, מערכת צ'אטבוט שיעודה לייעל את עבודת ניהול תיקי המשפט.^[10] לפי דיווחים בתקשורת, מערכת "צ'אט המשפט" מבוססת על מודל ג'מיני אשר נרכש מחברת גוגל ועבר התאמות ייחודיות ופועלת כמערכת סגורה מול כל תיק (כפי שהוא מופיע במערכת "נט המשפט") כדי לצמצם סיכון לדלף מידע ולמידע מפוברק, ומצליחה להגיע לכ-80% דיוק. המערכת הזו עתידה לצמצם במידה ניכרת את משך ההכנה לדיונים בתיקים ובמובן זה היא תואמת את החזון של ועדת נגל לשימוש בבינה מלאכותית לשיפור היעילות במגזר הציבורי. עם זאת, השימוש של יוזמת "צ'אט המשפט" במודל ג'מיני – משמעותו שלטובת ייעול עבודת מערכת המשפט, ייתכן שמידע של אזרחי ישראל יצטרך לצאת את גבולות המדינה , העיבוד יהיה יקר בלפחות כ-25% ומידת האפקטיביות של המערכת נמוכה יותר.^[11]

לכן, למודל שפה לאומי נודעת משמעות במובן הגנה על ריבונות המידע של אזרחי ישראל, איכות המענה ממערכות בינה מלאכותית,ֿ שימור התרבות והערכים הלאומיים – ובסופו של דבר לחלק מביטחונה הלאומי. למרות כל אלה, בלתי אפשרי לנתק את שאלות נחיצותו וערכו של מודל כזה מסוגיית עלותו, הגם שייתכנו מספר גישות ליצירתו אשר עשויות להיות בעלות השפעה משמעותית על עלותו. על פניו, ניתן לומר בצורה ברורה שמודל שפה לאומי ישראלי יתמוך בנרטיבים הלאומיים הישראלים טוב יותר מאשר מודלים זרים. גם הניואנסים הלשוניים, שהם חלק מהזהות הלאומית הישראלית, יבואו לידי ביטוי טוב יותר במודל לאומי. ובמונחי המטאפורה המתבדחת של הבלשנים, ברור כי הזהות הלאומית עצמה בעידן הבינה הלאומית קשורה במישרין לקיומה של השפה הדיגיטלית הלאומית - או מודל שפה לאומי – ויש הכרח לבחון את פיתוחו של מודל כזה, למרות עלותו.

לסיכום, שפה משותפת היוותה מאז ומעולם אחד המסמנים החשובים ביותר לקיומן של קבוצות אנושיות. הדבר נכון לשפות רגילות ונכון גם לשפות החדשות הדיגיטליות. ולכן, בעידן הבינה המלאכותית, אל לה למדינת ישראל להעביר את תחזוקת השפה, על כל המשמעויות התרבותיות, ערכיות וזהותיות הכרוכות בה, למיקור חוץ של מודלי שפה זרים בלבד. וכמו בכל תחום אחר, יש הכרח במידה של הסתמכות עצמית על מנת שלא לפתח תלות במערכות זרות. רבות מדובר כיום על הריבונות הדיגיטלית של ישראל. כותבי ישורות אלה מציעים כי הריבונות הדיגיטלית של ישראל כרוכה יסודית גם בקיומו של מודל שפה גדול לאומי.

__________________

[1] Parshin Shojaee et al., “The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity,” arXiv:2506.06941, preprint, arXiv, July 18, 2025, https://doi.org/10.48550/arXiv.2506.06941.

[2] Joy Buchanan and William Hickman, “Do People Trust Humans More than ChatGPT?,” Journal of Behavioral and Experimental Economics 112 (October 2024): 102239, https://doi.org/10.1016/j.socec.2024.102239.

[3] יעקב נגל et al., דין וחשבון של הוועדה הלאומית להאצת  תחום הבינה המלאכותית - אוגוסט 2025 (הוועדה הלאומית להאצת תחום הבינה המלאכותית, 2025), 62–64, https://www.gov.il/he/pages/event-ai050825; שלמה טייטלבאום and אדריאן פילוט, “ועדת נגל: מצבה של ישראל ב-AI מטריד, ממליצה על השקעות ענק והטבות מס לעובדים בתחום,” כלכליסט, August 6, 2025, https://www.calcalist.co.il/calcalistech/article/skux4lgoex.

[4] Pablo Villalobos et al., “Will We Run out of Data? Limits of LLM Scaling Based on Human-Generated Data,” arXiv:2211.04325, preprint, arXiv, June 4, 2024, https://doi.org/10.48550/arXiv.2211.04325.

[5] Lisa Schut et al., “Do Multilingual LLMs Think In English?,” arXiv:2502.15603, preprint, arXiv, February 21, 2025, https://doi.org/10.48550/arXiv.2502.15603.

[6] Zeyi Yang, “Here’s How DeepSeek Censorship Actually Works—and How to Get Around It,” Tags, Wired, n.d., accessed October 13, 2025, https://www.wired.com/story/deepseek-censorship/.

[7] Ali Naseh et al., “R1dacted: Investigating Local Censorship in DeepSeek’s R1 Language Model,” arXiv:2505.12625, preprint, arXiv, May 19, 2025, https://doi.org/10.48550/arXiv.2505.12625.

[8] James Sanders, “What Did It Take to Train Grok 4?,” Epoch AI, September 12, 2025, https://epoch.ai/data-insights/grok-4-training-resources; Louie Peters [@_LouiePeters], “LLama 3.1 405B likely cost ~$60m after training for ~100 days on a 16k H100 datacentre (maybe ~$850m capex). This is a huge free gift to open source AI & anyone building with AI! It is not yet however a next generation LLM (eg GPT-5, Claude Opus 3.5, Gemini Ultra 1.5/2.0, Grok-3,” Tweet, Twitter, July 25, 2024, https://x.com/_LouiePeters/status/1816443587053092917.

[9] Shaltiel Shmidman et al., Hebrew LLM Leaderboard, Python, DICTA, released March 12, 2025, https://huggingface.co/spaces/hebrew-llm-leaderboard/leaderboard; Shaltiel Shmidman et al., “Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with Enhanced Vocabulary and Instruction Capabilities,” arXiv:2407.07080, version 1, preprint, arXiv, July 9, 2024, https://doi.org/10.48550/arXiv.2407.07080.

[10] נטעאל בנדל, “שופט, נאשם וצ’אטבוט: כך ייראה המשפט של העתיד | פרסום ראשון,” Ynet, August 10, 2025, https://www.ynet.co.il/digital/technews/article/hkcucns00le; איתמר לוין, “900 שופטים יקבלו בקרוב כלי חדש שיסייע לעבודתם, והתגובות נלהבות,” משפט, Globes, August 24, 2025, https://www.globes.co.il/news/article.aspx?did=1001519639.

[11] “Israel Data Boundary | Assured Workloads,” Google Cloud, accessed September 1, 2025, https://cloud.google.com/assured-workloads/docs/control-packages/israel-data-boundary; “Llama 3.3 70B - Intelligence, Performance & Price Analysis,” Artificial Analysis, accessed October 13, 2025, https://artificialanalysis.ai/models/llama-3-3-instruct-70b.