ExplAInable

השבוע ב-explAInable אירחנו את ד״ר אלי שוורץ, מנהל קבוצת בינה מלאכותית מולטי מודאלית ב-IBM. ניסינו להבין את חשיבות המולטי-מודליות, למשל בעבודה עם מסמכים הכוללים טבלאות ותמונות, והבנו מה מקומם של מודלים קטנים יותר. אז מהם שלושת הרכיבים בארכיטקטורה שמאפשרים הטלה של תמונות במרחב הטקסט? למה מייק מאמין במודלים קטנים? והאם העתיד נמצא דווקא במודלי דיפיוזיה? כל זאת ועוד- בפרק!   לפרק ביוטיוב:  https://youtu.be/AXj6VLAzYEM ללינקדאין של אלי: https://www.linkedin.com/in/elischwartz/  למאמר: https://arxiv.org/abs/2502.09927  למודל הפתוח: https://huggingface.co/ibm-granite/granite-vision-3.3-2b  בואו להתארח אצלנו כמומחים בפרקים הבאים: https://forms.gle/tUArnguwPU5KFNKx5     

השבוע ב-explAInable אירחנו את נורית כהן אינגר,  דירקטורית Data Science בלושה, ודוקטורנטית בפקולטה למדעי המחשב ומידע בבן-גוריון. ניסינו להבין את המחויבות של מובילים בתעשייה להישאר מעודכנים בחזית המחקר, ובעיקר - איך מצליחים לעשות ״גם וגם״. אז איך תחרות בקאגל יכולה להוביל לשינוי קריירה? איך מייק מצליח לקרוא מאמר כל יום? והאם הטמעה של מערכות ריבוי-סוכנים (multi-agents) זה הכל עניין של קונטקסט אנג׳ינירינג? כל זאת ועוד- בפרק!   ללינקדאין של נורית בואו להתארח אצלנו כמומחים בפרקים הבאים  

השבוע ב-explAInable, אירחנו את ירון חביב וזכינו להצצה נדירה לתפקידו כ Technology Lead במקינזי. ניסינו להבין מה עומד מאחורי הקשיים על חברות ענק לדחוף פרוייקטים GenAI בארגון, והאם יש מקרים חוץ מ-Copilot ו-data extraction שעובדים ללקוחות שלהם. בדקנו מהם ארבעת החלקים של LLM Ops, והאם הם שונים מ-MLOps קלאסי. האם אנחנו בעיצומה של מהפכה כלכלית? או רק שינוי הדרגתי? כל זאת ועוד- בפרק!    

השבוע ב-explAInable, אירחנו את פרופ׳ איתן פתיה כדי להבין האם אסטרטגיות מתורת המשחקים יכולות לעזור לנו במודלים מרובי משימות (Multi-task) ומרובי מטרות (Multi-objective). האם ריבוי מטרות בהכרח יעיד על הכללה טובה יותר (generalization)? האם ג׳ון נאש יצליח לשפר החלטות של סוכנים נטולי אגו? ואיך הכל מתקשר ליכולת לשכוח תמונות ו-Jailbreaking - כל זאת ועוד, בפרק! למעבדה של איתן: https://sites.biu.ac.il/en/ethan-fetaya-lab בואו להתארח כמומחים בפודקאסט שלנו: https://forms.gle/Eanqmf6mby2YcXTw9 

השבוע ב explAInable, אלכסיי ספוזניקוב הגיע לספר לנו על ה-Disruption שמודלי LLM הביאו לעולם הסטארט אפים. דיברנו על השינוי בעולם הגיוסים בעידן בו ה time to market הרבה יותר מהיר, השיפט הטקטוני בשלב הפרה-סיד של סטארטאפים ואבטחת מידע בעידן ה- GenAI. אז האם יש מקום לסטארטאפים בעולם של ענקיות? כל זאת ועוד בפרק!

השבוע ב explAInable, הילה פז הרשפנג הגיעה לספר על פרוייקט Compressive Sensing במסגרת התואר השני שלה ב Harvard Extension School, בשיתוף עם נאס״א. נבין מה ההבדל בין מצלמה באייפון לחישה של כדור הארץ ב300 אורכי גל שונים, נבחן הורדות מימדים במרחב הספקטרלי, נדבר על ה Business Value בוויתור על 90% מאורכי הגל, ולמה דרישת הלינאריות גורמת לנו לחפש דווקא פתרונות פשוטים.

בפרק הזה מייק ריאיין את תמיר שסיפר על האפליקציה שהחברה maik-education.com שלו מפתחת. מדובר באפליקצייה וובית ייחודית שהינה סביבת Reinforcement Learning הניתן להפעלה באופן פיסי עם רובוטים אמיתיים שכל אחד יכול ליצור בבית או במשרד. בסביבה ניתן ליצור סוכנים, להגדיר להם התנהגויות בקוד או במודל דיפ אותו ניתן לאמן למיקסום פונקצית תגמול כלשהיא. לאחר שהפרויקט רץ ועובד וירטואלית ניתן לחבר כל סוכן לרובוט בבלוטוס (יש גם ערכות לזה) ויש לייצב מצלמה שתתפוס את זירת הרובוטים ואז כל מה שתיכנתנו או אימנו בסימולציה יקרה בעולם הפיסי. בפרק תמיר הראה פרויקטים כמו רובוטים שיודעים להסתדר בצורה של משולש, רובוט (פוטבול) המנסה להגיע לקו בעוד רובוט אחר המנסה לחסום אותו (AI vs AI), רובוט המגיע לנקודת יעד מבלי להתנגש במכשול או לחילופין כך שיעבור דרך נקודה שתזכה אותו בתגמול חלקי, ועוד. הסביבה מאפשרת לכל אחד ליצור פרויקט רובוטים יצירתי כלשהוא למטרות למידה וכף.  

בפרק זה, ד״ר בוריס גורליק — חוקר נתונים, מרצה ורוקח בעברו — מציג היפותזה מרתקת שלפיה מודלי שפה גדולים מפגינים התנהגות אנושית יותר מכפי שמצופה מהם. מכאן השיחה גלשה לפסים פילוסופיים על טיב התבונה, משמעות החיים, והאם אלגוריתמים ישנים כמו SVM עשויים לשוב ולתפוס מקום מרכזי בעולם ה-AI. המאמר של בוריס בו הוא מציג את ההיפותזה : https://www.mdpi.com/2076-3417/15/15/8469 ויש לו גם פודקאסט על המזרח התיכון https://anchor.fm/hashavua

בפרק הזה שמחנו לארח את שוקי כהן מ AI21 - החברה הישראלית המובילה בעולם בפיתוח בינה מלאכותית. בשיחה עם שוקי למדנו מניסיונו העשיר וצללנו לנבכי פיתוח בינה מלאכותית: מפיתוח מודל היברידי Jamba, דרך וורדטיון ועד למוצר הדגל שלהם, מאסטרו. ניסינו להבין איך נוצר האקלים היחודי שגרם ל AI לחדור לכל סלון בעולם המערבי תוך חודשים ספורים, ומאידך דנו בשאלה מדוע פרויקטי AI נכשלים ולא מגיעים לפרודקשן. חקרנו את הסוגיות שמעסיקות את כולנו, אבל הפעם ממקור ראשון - מחברה שמפתחת בעצמה את טכנולוגיית הקצה הזו שמשנה את החיים של כולנו. 

סערת טוויטר אחרונה דיברה על evals לאייג׳נטים וLLM באופן כללי - האם מדובר בכלי נדרש או בקידום עצמי של בעלי עניין? אלמוג, מוביל קהילת GenAi, איתנו לדבר על החשיבות והמגבלות של evals - ולמה הם ממש לא פתרון קסם. נדבר על פרקטיקות נפוצות לאיסוף פידבק, וביצוע error analysis ליצירה של agent שיודע להשתפר לאורך זמן.  

״אם לניוטון היה רשת נוירונים לעולם לא היינו לומדים את נוסחאות הכבידה״ האם החדשנות בAI מאיצה או מאטה את קצב הגילויים המדעיים. נכון כנראה שחוקרים יכולים לכתוב קוד מהר יותר, אבל האם נגלה עוד נוסחאות קצרות ומרשימות כמו תורת היחסות הפרטית או חוקי ניוטון? איתנו פרופסור טדי לזנביק לדבר על האופן שבו בינה מלאכותית משנה את תהליך הגילוי המדעי, תוך מעבר מעבר ללמידת מכונה מסורתית לשיטות המשלבות ידע קודם והיגיון סימבולי. הוא בוחן את תחום ה־רגרסיה הסימבולית (Symbolic Regression) כאמצעי לחשיפת חוקים מתמטיים ניתנים לפרשנות ישירות מנתונים, ומדגיש את תרומתה לחשיפת המשוואות היסודיות של הטבע. הדיון מתמקד גם בשילוב ידע תחומי בתוך מודלי הבינה המלאכותית – במיוחד בגישות המונחות על־ידי עקרונות פיזיקליים – וכן באופן שבו מודלים שפתיים גדולים (LLMs) יכולים לשפר את תכנון הניסויים, להאיץ את ניתוח הנתונים ולהפיק השערות חדשות באופן אוטומטי. לבסוף, הפרק מתעמק בתפקידם של LLMs ועיבוד שפה טבעית (NLP) באוטומציה של סקירות ספרות מדעיות ובפיתוח היגיון פורמלי לבדיקת אמיתות מדעיות, ומדגים כיצד בינה מלאכותית מאיצה את תהליך הסינתזה וההתקדמות המדעית. קישורים לעיון: Mindless statistics  Why Most Published Research Findings Are False

ראיון עם עם פרופ' נעם קניגשטיין מאוניבריסטת תל אביב, מומחה למערכות המלצה וחוקר לשעבר המוביל של XBox recommendation במיקרוסופט. מהחלוקה הקלאסית בין מערכות collaborative filtering ו-content based ועד ל-hybrid והמעבר ל-embeddings ו-matrix factorization. נעם יסביר את התפתחות האלגוריתמים, את ההבדלים בין explicit ל-implicit feedback, ואת האתגרים בבחירת ממד המודל. בנוסף נעם מדגיש את הפער בין ביצועים ב-offline test set לבין ביצועים אמיתיים בשטח, ואת הצורך להבין סיבתיות ולא רק קורלציות. דיברנו על ההבדלים בין אלגוריתמים כמו bandits, שימוש ב-organic feedback, והקושי ב-off policy evaluation תוך איזון בין bias ל-variance. פרופ׳ קניגשטיין מספר על יישומים אמיתיים במוזיקה ובסרטים, על ההבדלים ביניהם, ועל החשיבות של הסברים (XAI) כדי להתמודד עם בעיות כמו filter bubbles. לבסוף, הוא מצביע על חזון לקדם את קהילת מערכות ההמלצה בישראל ולחבר בין האקדמיה לתעשייה.

בעידן שבו כל יום מאיימים עלינו שעוד מעט לא יצטרכו מתכנתים כי AI יחליף את כולנו, האם צריך ללמוד הנדסת תוכנה? ד״ר אסף שפנייר ראש התוכנית לתואר שני בבינה מלאכותית מהמכללה להנדסה - עזריאלי בירושלים, יספר מדוע מדובר ב Fake news. נדבר על החוסרים שAI מתקשה למלא בעולמות הנדסת התוכנה, ועל התפקיד החדש של מהנדס תוכנה בעידן שאחרי ChatGPT. לאסף יש מספר עצות לבוגרים טריים, איך נכון להתבלט בשוק שבו ״פרויקט גמר״ כבר לא מרשים אף אחד - כי תמיד יש את הספק אם הוא נכתב על ידי AI או אדם. ואיך בכלל בודקים הבנה של יסודות תוכנה בסיסיים כאשר כלים כמו Cursor יכולים להשלים את החסר בצורה טובה יחסית. קישור לפודקסט של אסף: מתכנתים מחדש את ההוראה

כולם מדברים היום על קידוד עם AI, בין אם זה עם כלי עזר כמו co-pilot או cursor, השלמה אוטמטית. או כתיבה של תוכניות שלמות עם vibe coding עם כלים כמו lovable או base44. בפרק זה נארח את גילי נחום, לענות על שאלות על עתיד עולם התוכנה והכלים האחרונים. נדבר על שימוש נכון בMCP, על חלוקה של הכלים לדורות וההיררכיה שלהם. ונתן עצות מה המקומות הנכונים לשלב כלים כמו claude code לעומת כלים אחריםץ

אימון מודלים זה דבר מורכב, הכולל בחירה חכמה של גודל הבאצ׳ים, ובחירה נכונה של דאטא איכותי ונקי. בפרק זה נדבר עם עידן משיח, סטודנט לתואר שני בתחום על אלטרנטיבה או השלמה ללמידה בבאצ׳ - למידה בהמשכים. נדבר על האתגרים של ״שכחה״ catastrophic forgetting כשחושפים מודל לדאטא חדש. עידן ישטח בפנינו את שלושת האלטרנטיבות ללמידה הדרגתית, הכוללים שינוי של מבנה הדגימה, עדכון המודל ושינויים בפונקציית האופטימיזציה. נשווה בין למידה ישירה ללמידה בהמשכים ונמליץ על טיפים פרקטיים לכל מי שמאמן מודלים על דאטא גדול.

AI מעולם לא היה זמין יותר, ולמרות זאת חברות רבות מתקשות במחקר ופיתוח מוצרים/פיצ'רים מבוססי GenAI. מה הן מפספסות? מדוע זה שונה כל כך מפיתוח תוכנה "קלאסי"?  בפרק זה אירחנו את עוז ליבנה, יועץ וארכיטקט GenAI, לשתף מנסיונו ולהסביר על שינוי הפרדיגמה העמוק הדרוש להצלחה במחקר ופיתוח GenAI, ועל ההבדלים המהותיים מפיתוח תוכנה קלאסי - ברמת החשיבה, התכנון, התמודדות עם אתגרים, צורת ההתקדמות, POCs, ומטריקות

בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו. חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים? תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה. נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק. דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought. והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית. סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.

זה נראה שרוב הפוקוס הנוכחי הוא על הכנסת דאטא עדכני לדאטאסט של אימון של מודל, ושמירת המודל עדכני. אבל הצד השני של המטבע הזו, הוא לגרום למודל לשכוח נתונים שאינם עדכניים. בין אם מדובר בחוקי מס שהשתנו או בביאסים של הדאטא (כמו דעות קדומות) שהיינו רוצים לשנות, שיכחה היא דבר חשוב. פרופסור עודד שמואלי מהטכניון ידבר איתנו על המורכבות של ״עריכת״ מידע של מודלים, החל ממודלי קלאסיפיקציה פשוטים ועד מודלים מורכבים שפועלים על מספר מודאליות

בפרק זה אירחנו את אלן ארזי, מהכותבים של TabStar (יחד עם עילם שפירא ופרופ. רועי רייכארט) - מודל דיפ לרנינג המיועד למידע טבלאי. בניגוד לתמונה, קול וטקסט - במידע טבלאי מודלי דיפ לרנינג הם לא הגישה הרווחת. האתגר הגדול בעולמות הטבלה היא חוסר האחידות, טבלאות יכולות לתאר מגוון רחב של נתונים בלי מכנה משותף ביניהם - ולכן קשה למצוא ״מודל בסיס״ כמו בעולמות התמונה. בטאב סטאר, הכותבים לקחו גישה שמערכת מודלי שפה (ובפרט טרנספורמרים) והשתמשו בשמות העמודות ובתיאור הטקסטואלי של הקטגוריות בשביל לתת למודל קונטקסט. השיטה מראה ביצועים עדיפים על XGBoost כאשר יש מגוון של עמודות טקסטואליות במשימות קלאסיפיקציה. אלן סיפר לנו על האתגרים באיסוף מידע לאימון ועל הצפוי לנו בעתיד בעולמות המידע הטבלאי.  

רביד זיו, לשעבר מהמעבדה של יאן לקון, היום פרופסור בNYU וחוקר פורה בדיפ לרנינג ידבר איתנו על דחיסה ולמידה. בעוד דחיסה מזכיר לחלקנו זיפ, או jpeg - רביד ירחיב על איך רשתות דוחסות מידע בצורה יעילה. נדבר על שיטות כגון next token prediction שמסתבר שמאלצות מודלים ללמוד דחיסה יעילה יותר מאשר masking כמו בBERT. נדבר על חשיבות האוגמנטציה בתהליך האימון - או יותר נכון, חוסר החשיבות כפי שנראה. ונעמיק על הקשר שבין דחיסת מודלים, דחיסת אינפורמציה והמשימות אליהן רוצים לעשות אופטימיזציה

מתי מריאנסקי, מוביל קהילת עליית המכונות הפופולארית, אמן ומשתמש נלהב בAI ידבר איתנו על נסיונו. נדבר על המגבלות והדפוסים שנראה שAI נופל אליהם, האם מודל בינה יוכל לייצר את סגנון הקוביזם החדש? ונדבר על ההשלכות של פילטרי הבטיחות על איכות המודלים. לסיום, נדון האם יש טעם ללמוד היום עיצוב גרפי, והאם התחום בדרך לאוטומציה מלאה.

היום בעידן מודלי השפה הגדולים כשתרגום סימולטני מתאפשר בלייב, זה נראה כאילו מאז ומתמיד ChatGPT ידע לדבר עברית. עד לא מזמן היתה צניחה משמעותית בביצועים של מודלי שפה על שפות שאינן אנגלית. בפרק זה גיא רוטמן, חוקר אקדמי בתחום ובתעשייה ב gong.io ידבר איתנו על אתגרי העבר והווה באימון מודלי שפה רב שפתיים. נדבר על טיפים עכשוויים להתמודדות עם שפות כגון עברית, ועל אתגרי הדאטא.

יוצא לנו הרבה לדבר על אייג׳נטים, על מודלי שפה, ועל איך הם עובדים. בפרק זה אנחנו נדבר עם מיכאל קיסילנקו - היזם מאחורי GenDesk, שמגיע שיטתית למליוני חשיפות בלינקדין בעזרת שימוש בAI. מיכאל פיתח מומחיות רבה, ולמד את האלגוריתם של לינקדין מכל הצדדים. פרק מלא תובנות שאסור לפספס

היום כשמודלי שפה נהיו כ״כ חזקים, אנחנו לוקחים כמובן מאליו את יכולות הבנת התמונה. בפרק זה פרופ. עידן שוורץ מאוניברסיטת בר אילן יספר לנו על ההיסטוריה של התפתחות התחום, על ביאסים בתשובות ואיך מתמודדים איתם ומה הם האתגרים העכשוויים בתחום. ריבוי מודאליות גורם גם לבעיות מסדר שני, כגון ישור הקלטים, מציאת מרחב משותף מייצג, וכמובן מה עושים כאשר יש קונפליקט בין המימד החזותי לטקסטואלי למשל. ב28 למאי ייערץ יום עיון בבר אילן, שם עידן ומיטב המוחות בתחום יציגו את העבודות שלהם. קישורים לעיון: https://biu365-my.sharepoint.com/:f:/g/personal/schwari9_biu_ac_il/Eus14HAcXQBBuS_GhknGbh4Bevs1VixlLgPO0yCgLReY2w?e=GZJDnO

אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה. נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי. ועל גישות LLM as a judge הרווחת לאיבליואציה של חיפוש והמלצה

מודלי שפה גדולים אמנם עוזרים לפרודקטיביות, אבל גם של ההאקרים. עולם הסייבר השתנה רבות מאז יציאת ChatGPT - מומחים מעריכים שמספר הפריצות גדל פי ארבעה. בפרק זה נתן כץ יסקור לנו ארבע שיטות לניצול חולשות במודל השפה עצמו. נדבר על גניבת מודלים, ״הרעלה״ של סט האימון והרעשה של המודל לביאס עבור מילת אקטיבציה ספציפיתץ נתן יחלוק לנו מתובנותיו בlumin AI על תהליך המכירה לCSO בארגון, ונדבר על ההבדלים בין סיכוני open source ל״משקולות פתוחים״ לקריאה נוספת: https://owasp.org/www-project-machine-learning-security-top-10/ https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v05.pdf

בפרק זה החליפו מייק ותמיר את התובנות החידודים והשאלות הפתוחות שלהם בניסיון להבין איך מתחברים עולם ה RL ועולם ה LLM (קרי RLHF). ב 2024 השתנתה הפרדיגמה - בתחילה יצירת מודל reward כדי לעשות אימון נוסף ל LLM אחרי ה pretraining שלו באמצעות PPO. ולאחר מכן הוחלף ה PPO בRLHF. בעוד רוב מודלי ה reasoning של החברות הגדולות (chatgpt, claude, gemini) עדיין באפילה - נדבר על איך לדעתנו RLHF יכול לשמש בתהליך.

יאן לקון, מאבות הAI המודרני מאמין שהעתיד נמצא בתיכנון טווח ארוך (planning) ולא בחיזוי המילה הבאה. פרופסור גיא שני מהפקולטה להנדסת מערכות מידע באוניברסיטת בן גוריון ומוביל קבוצת מחקר בeBay יספר לנו על האתגרים. נדבר על סוגים של אי וודאות במודלים, ושיטות תכנון לאופק מוגדר לעומת אופק לא ידוע. נצלול לעומק הגישות המרקוביות הקלאסיות, כמו POMDP ונשווה מול גישות Reinforcement learning. למי שמעוניין לצלול לפרטים, פרופסור גיא שני והמעבדה שלו הקליטו קורס אונליין חינמי בקישור הבא:  https://campus.gov.il/course/bgu-acd-bgu-ai101/

כנס הGTC של אנבידיה הוא אחד האירועים המרכזיים של עולם הAI. הכנס נערך חמישה ימים והסתיים ב22 למרץ 2025, בפרק זה ננסה לתמצת לכם את עיקרי הדברים בעשרים דקות. וכהרגלנו, נבחון בעין ביקורתית את ההצהרות וההכרזות שהיו בכנס. מה נאמר על רובוטים, דיפסיק, עתיד המניה ומה לא נאמר ובלט בהיעדרו.

מעטים המאמרים המתארים בפירוט רב כל כך את האתגרים של יצירת וידאו מטקסט. במאמר הMovieGen של מטא, נכתבו 92 עמודים של המודלים השונים שנדרשים כדי לייצר סרטונים קצרים. בפרק זה לירון יספר לנו על האתגרים הטכניים כמו מגבלת הזכרון, וסוגי הטעויות שניתן להבחין בסרטונים מג׳ונרטים. אנחנו נסקור בקצרה את הגישות שמטא לקחו במאמר שלהם, ונפרק את השיטה לתתי המודלים שמרכיבים את הpipeline הארוך של יצירת סרטונים עם AI.

להכניס מודלי שפה כמו ChatGPT למערכת, זה יחסית קל ונגיש, עם אלפי דוגמאות ותמחור תחרותי אצל הספקים השונים. אבל למדוד את הביצועים של מודל כזה או אחר נשארת בעיה פתוחה, במיוחד אם משלבים גם מדדים עסקיים. בפרק זה נארח את אסף בורד, שמוביל את מאמצי ה GenAI בחברת Northwestern Mutual והשיק לאחרונה את Multinear.com כקוד פתוח לאבלאוציה. נדבר על חמשת הרכיבים שיש לבדוק כשמנסים להעריך מערכת AI בשלמותה: דאטא, פונקציית המטרה, הפרומפט, הסטאק הטכנולוגי ובדיקות. ונעמיק בהשוואה מול ספריות אחרות וטכניקות מדידה כגון GPT as a judge

נראה שהבינה המלאכותית כבר כאן, חיה ובועטת - אבל עדיין אין רובוטים מתהלכים ביננו. בעוד מודלי שפה גדולים מגיעים לתוצאות מבחני לשכה מעל העורך דין הממוצע, הם עדיין מתקשים בקיפול גרביים. בפרק זה נארח את אופיר זמיר מNVIDIA שייספר לנו על האתגרים, ועל טכניקות כגון Imitation learning, Simulation ועל הכלים שאנבידיה מביאה לשולחן מבחינת חומרה ותוכנה כדי להפוך את החלום על רובוטים למציאות.   זו הזדמנות מעולה להזכיר שכנס הGTC השנתי של אנבידיה קורה החודש, ב17 למרץ ואפשר להשתתף אונליין ללא עלות. להרשמה https://www.nvidia.com/gtc/?ncid=ref-inpa-481629

כולנו מכירים את התופעה שמודלי שפה גדולים נוטים להמציא דברים שלא היו ולא נבראו. אבל האם אפשר לכמת את איכות המודל לפי רמת ה״הזיות״ שלו? ומה לגבי סוכנים? שם טעות בשלב אחד יכולה להשפיע דרמטית על הכלים שייבחרו בשלבים הבאים? אירחנו את ישי רוזנברג, חוקר בתחום שמוביל את Verax AI לדבר על איך אפשר להתמודד עם בעיות האמינות של מודלים. ומדוע לדעתו צריך להיות דקדקנים במינוח של סוגי הטעויות לפי הקונטקסט הנכון.

בר שאלתיאל מוביל את קהילת בינה מלאכותית בגובה העיניים המונה מעל 30000 אנשים. בר שיצא בשאלה מהעולם החרדי לפני כשלוש שנים גילה כמעט בטעות את כוחם של מודלי השפה הגדולים כשהתחיל לסייע לסטודנטים לכתוב עבודות אקדמיות. מאז נכנס בר למסע של מחקר והבנה איך המנגנון עובד, ואילו פרומפטים יעילים ביותר. יוצא לנו הרבה לדבר על מודלי שפה גדולים מנקודת המבט של החוקר, ובפרק זה נצלול לראשונה לחוויית המשתמש והbest practices שבר מלמד מהעבודה בשטח.

כבר חמש שנים שאנחנו מקליטים על למידת מכונה, אלגוריתמים ולא מעט על GenAI. עוד אף פעם לא מאוחר להזמין לפרק לייב, בשיתוף פעולה עם qodo לפרק מיוחד של Ask me anything/ כדי שנוכל להתכונן, נשמח לענות על השאלות שלכם בקישור הבא: https://docs.google.com/forms/d/e/1FAIpQLSeqQX4VtEoGxa4IlEi4-cpn46mtkhOdogR4FTxNwuq8cXy2HA/

כולם מדברים על דיפסיק, המודל הסיני, החדש, הזול והאופן סורס שמביס את צ׳אט ג׳י פי טי ומביך את OpenAI בפרק זה נדבר על ארבעת החידושים הטכנולוגיים מהמאמר: GRPO, KL-divergence approximation, multi token prediction והקוואנטיזציה. ואיך לא, גם קצת השערות של מייק ארליכסון ושל אורי גורן על מה באמת קורה מתחת למכסה המנוע.

בפרק זה מצטרף אלינו פרופ' אופיר לינדנבאום מאוניברסיטת בר-אילן לשיחה על השימוש בלמידת עומק לגילוי מדעי. נדון באתגרים הייחודיים של נתונים טבלאיים, היתרונות של רשתות נוירונים מול שיטות מסורתיות, ויישומים מעשיים בתחומים כמו ביולוגיה ורפואה. המאמר שהזכרנו בפרק האתר של אופיר לינקדאין של אופיר

בפרק זה, אירחנו את דן עופר, מדען נתונים בכיר ב-Medtronic ודוקטורנט באוניברסיטה העברית, נדבר על ניסיונו בתחרויות Kaggle ובתחום מדעי הנתונים. נדון גם בתרומתה של Kaggle לפיתוח יכולות מעשיות, באתגרים שבין התחרויות לבין המציאות המקצועית, ובתובנות שנרכשו מתחרות ProteinBERT לאנליזת חלבונים באמצעות מודלים מבוססי שפה. גיטהאב של דן לינקדאין של דן  

פרק שני בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. 

בעקבות הפרק שיפור וודאות במודלים: הצצה לעולם של ניבוי קונפורמי החלטנו  הפעם לצלול עמוק פנימה. בפרק הזה, אנחנו צוללים לעומק עולם הניבוי הקונפורמי. יחד עם חילף חסון, נדון כיצד ניתן ליישם ניבוי קונפורמי בבעיות קלאסיפיקציה, מה היתרונות, ואיך זה לסייע בקבלת החלטות מדויקות יותר בעולם הנתונים. פרק עשיר בתובנות לכל חובבי ה-AI והדאטה סיינס   האתר של חילף Conformalized Quantile Regression Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

היום בפרק נדבר עם סרג' סמורדינסקי, ראש תחום NLP ומחקר ב-Loris AI, לשיחה על חלופות להנדסת פרומפטים וכלי DSPy. סרג' ישתף על האתגרים בעבודה עם מודלים לשוניים גדולים (LLMs) וכיצד DSPy מאפשר יצירת פרומפטים דינמיים ואופטימליים. נציע מבט חדשני על עתיד ה-NLP ושיטות עבודה מתקדמות בתעשייה.   לינקדאין של סרג׳ DSPy: Machine Learning Attitude Towards LLM Prompting מאמרים של סרג׳ במדיום

ברוכים הבאים לפרק סיכום שנת 2024! הפעם שוחחנו עם איתן צימרמן, מוביל צוות הדאטא סייאנס ב-ARGMAX, סיכמנו את שנת 2024 ועל המגמות, האתגרים וטרנדים שנתקלנו בהם לאורך השנה בנוסף, שיתפנו את התחזיות שלנו לשנת 2025 – אילו טרנדים חדשים צפויים לצבור תאוצה? אילו בעיות טכנולוגיות נצטרך לפתור? מה אתם צופים ששנת 2025 תביא איתה בעולמות הML?   לינקדאין של איתן

היום בפרק נצלול לעומק עולמות האקדמיה בתחום הNLP  אבי ואמיר, חוקרים ומומחים בעולמות ה-NLP, משתפים במסלולי הקריירה שלהם, ההבדלים בין מחקר באקדמיה לעבודה בתעשייה, וכיצד ניתן למנף דוקטורט לקריירה מצליחה. נדון גם בשאלה מה הופך מחקר אקדמי למעניין, אילו כישורים ניתן לפתח בתהליך הדוקטורט, ומהם ההבדלים בין מחקר לתעשייה בעידן של LLMs האתר של אבי לינקדאין של אמיר

בפרק הבא נחקור יחד עם הדר שרביט את השילוב בין פיזיקה ללמידת מכונה בחיזוי סדרות זמן. נדון בהבדלים בין חיזוי לניבוי בזמן אמת, באתגרים תעשייתיים, ובדרכים שבהן מודלים פיזיקליים ונתוני חיישנים משתלבים כדי ליצור פתרונות מתקדמים.   לינקדאין של הדר Nixtla הבלוג של הדר

בפרק זה נדבר עם לירון יצחקי אלרהנד באתגרים הטכניים ביצירת וידאו באמצעות בינה מלאכותית. נדון בניהול זיכרון, שמירה על קוהרנטיות בין פריימים, והקשרים בין מודלי שפה ליצירת וידאו, ונציג גם פתרונות חדשניים להתמודדות עם תנועות מורכבות ושיפור עקביות ויזואלית

פרק שני בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. 

בפרק זה נשוחח עם בן בורן, CTO של SwarmOne, על האתגרים בהכשרת מודלים בבינה מלאכותית. בן יסביר על עבודה עם GPU, שמירה על אבטחת מידע, וסקלת מודלים גדולים. הם ונדון גם בהשפעת LLM ובדרכים לייעל את תהליכי ההכשרה. SwarmOne הלינקדאין של בן

 פרק משותף עם הפודקאסט ״״המחוללים של דורון שדה ושקד זיכלינסקי והפעם, נדון בכל מה שקשור ל-RAG, והאם אכן מכאן תגיע הישועה לפתרון בעיית ההזיות של מודלי שפה?   ״המחוללים״ האתר של דורון לינקדאין של שקד

בפרק הבא נדבר עם עמית מנדלבאום על התפתחות סוכנים אוטונומיים תוך שימוש במודלים מתקדמים של ראיית מחשב ו-LLMs. נתייחס לאתגרים בשילוב יכולות היסק ושיקול דעת, ולבעיות שהיו בפרויקטים כמו AutoGPT. נציג את הצלחתה של חברת Anthropic בהבנה של פעולות ממסכי מחשב ונסביר כיצד טכנולוגיות אלו משפרות את ההתמודדות עם פעולות ממוחשבות בצורה קרובה להתנהגות אנושית.   https://medium.com/@luke.birdeau/reverse-engineering-chatgpt-o1-5cf3b61c6eee AI Agents That Matter https://www.multion.ai/blog/introducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities

פרק ראשון בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. 

בפרק הבא נדבר על העולם המורכב של זיהוי טקסט שנוצר על ידי בינה מלאכותית. נסקור את השימושים הנפוצים ב-ChatGPT, מהכתיבה ועד ליישומים אפורים כמו העתקות ובוטים. יחד עם אביב קרן, נדון בשיטות לזיהוי טקסט מג׳ונרט, השפעות על האקדמיה, שימושים בבינה מלאכותית לאימון מודלים, ונדבר גם על האתגרים האתיים והטכנולוגיים שמלווים את התחום. Semantic Scholar A Survey on LLM-generated Text Detection: Necessity, Methods, and Future Directions