Podcasts about logistic regression

The Logistic Regression of the AI Safety Institutes, UK/US By David Stephen How do you keep AI safe and how important is AI safety should have been the most important questions of any AI safety institute. The questions are not how to keep the AI model of a company safe by evaluating it before release, or that AI should simply be safe because of awareness or being trendy. If any AI safety institute that meant business paid attention to the news - of misuses of AI for fake images affecting schools, fake AI voices used for impersonation against loved ones, fake videos used against businesses, wrong information from AI used for nefarious purposes, malware generation and so forth - it should have been clear that the approach to making AI safe has to be general, with tens of different methods at any time, in direct and indirect forms. How do you keep AI safe? AI safety should have led AI regulation, such that tools for safety may not need to be enforced for people to use them in a jurisdiction, but that people would adopt those tools because of their necessity. Simply, AI regulation that would work would be AI safety tools, as products, against unsafe and unaligned AI models or outputs. Though tough, there was not even an explored path [known] towards this outcome, making regulations go forward, then it became unpopular because of the vacuum left by innovation. What AI safety institutes should have centered on, also, is that any unsafe AI from any source, is a risk wherever it is accessible. This means that it is important to work on AI model safety, output AI safety, platform AI safety, and jurisdiction AI safety. Model safety would apply to models. Output safety would be against misused AI outputs. Platform safety would be on platforms where AI outputs may appear, or where AI models can be found like social media, search engines, ISPs, company network, and so forth. Jurisdiction AI safety could be a county, a state, a nation, in ways that may not easily be bypassed. The vision for safety and the approach could have been a driver to pursue technical answers, with the likelihood of minor to major success that would have been solid enough to withstand political pressures or a hard pivot. The UK and the US AI safety institutes did not seem to have those, and they both seem to be on the verge of inconsequentiality. Already, the UK AI safety institute has been renamed to the UK AI security institute, changing its mandate since the prior mandate had little direction or anything of magnitude to show. A report on TIME, Inside the U.K.'s Bold Experiment in AI Safety, detailed a humiliating experience for the UK AI safety institute, where AI labs would not allow them access to the weights of the models in evaluation, meanwhile, DeepSeek, a model of a possible adversary, opened their weights to everyone. The UK AISI said it was a mistake to ask for the weights, maybe, but the lack of direction in assuming that evaluating a few models meant AI safety was a total waste, showing of a lack of scope on what their mission was about. The US AI safety institute was an absolute nod off effort given the opportunity to make a major difference. There was the AI safety consortium that nothing ever came out of. Lots of organizations joined. They did not show or explain on the list page what their ongoing projects in AI safety or alignment were, and those that were working on AI safety would have done so, regardless of being a part of the consortium. The US AISI had an agreement to evaluate the models of OpenAI and Anthropic, two companies that for all the misuses of AI, in the last two years, did not provide general or industry-wide answers, just like the rest. This means that even if those models were fairly safe, what would it matter if some families were put through a bad experience in deception of fake AI audio of a loved one or the several other scalable possibilities of misuses? The US AISI did not have regulation staving technical plans, where it...

Welcome to The Nonlinear Library, where we use Text-to-Speech software to convert the best writing from the Rationalist and EA communities into audio. This is: Truth is Universal: Robust Detection of Lies in LLMs, published by Lennart Buerger on July 19, 2024 on The AI Alignment Forum. A short summary of the paper is presented below. TL;DR: We develop a robust method to detect when an LLM is lying based on the internal model activations, making the following contributions: (i) We demonstrate the existence of a two-dimensional subspace, along which the activation vectors of true and false statements can be separated. Notably, this finding is universal and holds for various LLMs, including Gemma-7B, LLaMA2-13B and LLaMA3-8B. Our analysis explains the generalisation failures observed in previous studies and sets the stage for more robust lie detection; (ii) Building upon (i), we construct an accurate LLM lie detector. Empirically, our proposed classifier achieves state-of-the-art performance, distinguishing simple true and false statements with 94% accuracy and detecting more complex real-world lies with 95% accuracy. Introduction Large Language Models (LLMs) exhibit the concerning ability to lie, defined as knowingly outputting false statements. Robustly detecting when they are lying is an important and not yet fully solved problem, with considerable research efforts invested over the past two years. Several authors trained classifiers on the internal activations of an LLM to detect whether a given statement is true or false. However, these classifiers often fail to generalize. For example, Levinstein and Herrmann [2024] showed that classifiers trained on the activations of true and false affirmative statements fail to generalize to negated statements. Negated statements contain a negation like the word "not" (e.g. "Berlin is not the capital of Germany.") and stand in contrast to affirmative statements which contain no negation (e.g. "Berlin is the capital of Germany."). We explain this generalization failure by the existence of a two-dimensional subspace in the LLM's activation space along which the activation vectors of true and false statements separate. The plot below illustrates that the activations of true/false affirmative statements separate along a different direction than those of negated statements. Hence, a classifier trained only on affirmative statements will fail to generalize to negated statements. The activation vectors of multiple statements projected onto the 2D truth subspace. Purple squares correspond to false statements and orange triangles to true statements. Importantly, these findings are not restricted to a single LLM. Instead, this internal two-dimensional representation of truth is remarkably universal, appearing in LLMs from different model families and of various sizes, including LLaMA3-8B-Instruct, LLaMA3-8B-base, LLaMA2-13B-chat and Gemma-7B-Instruct. Real-world Lie Detection Based on these insights, we introduce TTPD (Training of Truth and Polarity Direction), a new method for LLM lie detection which classifies statements as true or false. TTPD is trained on the activations of simple, labelled true and false statements, such as: The city of Bhopal is in India. (True, affirmative) Indium has the symbol As. (False, affirmative) Galileo Galilei did not live in Italy. (False, negated) Despite being trained on such simple statements, TTPD generalizes well to more complex conditions not encountered during training. In real-world scenarios where the LLM itself generates lies after receiving some preliminary context, TTPD can accurately detect this with 952% accuracy. Two examples from the 52 real-world scenarios created by Pacchiardi et al. [2023] are shown in the coloured boxes below. Bolded text is generated by LLaMA3-8B-Instruct. TTPD outperforms current state-of-the-art methods in generalizing to these real-world scenarios. For comparison, Logistic Regression achieves 798% accuracy, while Contras...

Sean Moriarity, creator of the Axon deep learning framework, co-creator of the Nx library, and author of Machine Learning in Elixir and Genetic Algorithms in Elixir, published by the Pragmatic Bookshelf, speaks with SE Radio host Gavin Henry about what deep learning (neural networks) means today. Using a practical example with deep learning for fraud detection, they explore what Axon is and why it was created. Moriarity describes why the Beam is ideal for machine learning, and why he dislikes the term “neural network.” They discuss the need for deep learning, its history, how it offers a good fit for many of today's complex problems, where it shines and when not to use it. Moriarity goes into depth on a range of topics, including how to get datasets in shape, supervised and unsupervised learning, feed-forward neural networks, Nx.serving, decision trees, gradient descent, linear regression, logistic regression, support vector machines, and random forests. The episode considers what a model looks like, what training is, labeling, classification, regression tasks, hardware resources needed, EXGBoost, Jax, PyIgnite, and Explorer. Finally, they look at what's involved in the ongoing lifecycle or operational side of Axon once a workflow is put into production, so you can safely back it all up and feed in new data. Brought to you by IEEE Computer Society and IEEE Software magazine. This episode sponsored by Miro.

हर चीज़ का अंत होता है आगया है समय टेक स्टोरीज पॉडकास्ट के विराम का आ गया है 100th एपिसोड, मिलते है ब्रेक के बाद Thanks a lot, listener for showering so much love on Tech Stories and being awarded as the winner of Best Podcast on Spotify Spotlight 2022 and Featured in the Best Podcast category year 2023 on India's No 1 Hubhopper Podcast In this episode, I am giving you a short review of what all being covered in past episodes If you want to explore the Internet of Things, Sensors, Embedded C, Agriculture IoT, and Home Automation then you must check Episodes no 1 to Episode 12 If you are an artificial intelligence lover then most of the episodes are on AI, ML, Deep Learning, Linear regression, Logistic Regression, Supervised learning, Deep Learning, NLP Chat Bots, Chat GPT Start listening from EP-16 till end BTW In a few of the episodes, I explain the concept with a hands-on demo in Video Podcast and Talk about AI Tools

Guest Dr. Konstantinos Siontis sits down with host Dr. Hamid Ghanbari to discuss his recently published manuscript "Tandem deep learning and logistic regression models to optimize hypertrophic cardiomyopathy detection in routine clinical practice" Read the manuscript: https://www.cvdigitalhealthjournal.com/article/S2666-6936(22)00167-0/fulltext#%20 Follow the Journal: twitter.com/CVDH_journal

Lucy D'Agostino McGowan and Ellie Murray chat with Travis Gerke, Director of Data Science at The Prostate Cancer Clinical Trials Consortium (PCCTC). This episode has lots of hot takes and lots of love for logistic regression! Follow along on Twitter: Travis Gerke: @travisgerke The American Journal of Epidemiology: @AmJEpi Ellie: @EpiEllie Lucy: @LucyStats

Roe v Wade was overturned and Twitter blew up with mutually exclusive pro-choice and pro-life reactions. My reaction didn't neatly fall into either camp. I'm also taking a Python machine learning course on Udemy and have completed the Linear Regression, Logistic Regression, and K Nearest Neighbors modules. I'm amazed at how accessible it is for us to gain this ability to become modern day prophets. My life has also included more in-person meetings and apartment hunting in New York. ------------------------------------------------ Don't forget to subscribe to the podcast and follow me on Instagram for more random thoughts, conversations, and experiences from a third culture kid that's finding his way around the world. A third culture kid is someone who grew up in a country that's different from the one his parents were raised in. I grew up in Brazil, was raised in a Korean household, and was educated in an American school - all at once.

03 - Locally Weighted & Logistic Regression

In another technically-focused episode, co-hosts Ron Landis and Jennifer Miller deconstruct a statistical technique called logistic regression. They focus on how logistic models can be used to predict the likelihood of a particular outcome. Given the numerous organizational outcomes that are binary in nature (for example, turnover, absence, or promotion), logistic models can provide important insights as to the drivers of such variables. In this episode, we had conversations around these questions:  What is logistic regression?  How is logistic regression used in organizational contexts?  How can logistic regression be used to drive optimal business decisions? What are some steps an organization can take to more effectively utilize logistic regression models?  Key Takeaways:  Logistic Regression is a technique used to model relations between variables of interest and predict the probability of an outcome. The focus in this episode is on outcomes that take on one of two possibilities. For example, let's say we're interested in predicting whether an individual leaves an organization. Our outcome variable is turnover which we can define as either someone leaving or staying with the company. We also have characteristics about those individuals that we can include in the model as predictors to predict the outcome variable. The model will give information on the likelihood of an individual either staying or leaving the organization.  At the end of the episode, Jennifer and Ron recommend steps for folks just starting out in this space all the way to the more advanced HR professional.   Related Links  Logistic Regression Resource Millan Chicago  

Greg and Patrick explore the generalized linear model as a powerful framework for building regression models for binary and other discretely distributed dependent variables. Along the way they also mention stealing property, statistical conspiracy theories, mic drops, coming uncorked, getting punched by biostatisticians, big logistic, tapping out, the Oakland Raiders, being 8.5 feet tall, sheep bones, cleaning up after the party so your parents don't find out, arm strength, the regression whisperer, what we giveth we taketh away, and sultry voices.

Video Podcast: https://www.youtube.com/watch?v=lUkifSQFlCw&ab_channel=givingBack Timestamps: 00:00 | Intro 02:17 | Transition to a job from an internship 03:13 | Associate Data Scientist 03:38 | CS Skills in Data Science 04:55 | Bridging the gap between CS and DS 06:18 | Projects 08:00 | Real-life examples and tools 09:06 | Supervised & Unsupervised Learning 11:35 | Linear & Logistic Regression 15:25 | Variables 18:00 | Precision 18:26 | Messy Data!? 19:31 | Selecting Features 21:20 | Data dealt by Companies 24:12 | Training 26:30 | Life at IBM 30:00 | Recommendation System 31:47 | Software Engineering and ML Algorithms 33:35 | Testing a Model 36:00 | Biasness and Outliers 39:11 | ML, AI, and Deep Learning 43:00 | Cloud & Big Query 46:15 | Resources --- Support this podcast: https://anchor.fm/givingbackpodcast/support

คุยกันเรื่อง Logistic Regression มาทำความรู้จัก Machine Learning Model กันอีกตัว

פודקאסט מספר 401 של רברס עם פלטפורמה - מברוק! שינינו קידומת במהלך הסגר . . . Unauthorized 401.היום אנחנו הולכים לדבר עם אסף מחברת Outbrain על נושא שנקרא AutoML - תיכף נדבר על מה זה ועל מה זה עושה.ואנחנו, כרגיל, באולפנינו הביתי אשר בכרכור - סגר מספר 3 עבר עלינו בשלום, החיסונים כבר אצלנו ואנחנו נתנים גז . . .(אורי) כן - חוץ מזה שפתאום הופעת עם משקפיים . . . (רן) רק לאותיות הקטנות.אז אסף - בוא קודם נכיר אותך: מי אתה? מה אתה עושה ב-Outbrain? אחר כך כמובן נדבר על מה זה AutoML ולמה זה מעניין אותנו.(אורי) זה סוג של אוטו . . .(אסף) אז אני אסף קליין, והיום ב-Outbrain אני מנהל קבוצה של מהנדסים ו-Data Scientistsספציפית, ה-Task הגדול שלנו זה לבנות את מערכת ה-CTR, זאת אומרת - היכולת שלנו לחזות את ההסתברות ש-User יקליק על אחת ההמלצות שלנו.בהשכלתי אני בעל תואר שני במתימטיקה ובמדעי המחשב, עבדתי בעבר בכמה תפקידים, גם כמה תפקידי Engineer וגם בתפקידי אלגוריתמיקה שונים ומשונים בכמה חברות.ב-Outbrain אני כבר כשש שנים - וואו, הזמן עף כשנהנים . . .(רן) מעולה . . . עד כמה בכלל חשוב כל הסיפור הזה של CTR ב-Outbrain? למה בכלל זה מעניין AutoML או Machine Learning באופן כללי ב-Outbrain?(אסף) אני אתייחס חלק הראשון של השאלה שלך בהתחלה - CTR זה בעצם אבן הבניין - ואני קצת אצטנע - המרכזית במנוע ההמלצה שלנו.זאת אומרת - כשאנחנו פוגשים משתמשת באחד מאתרי התוכן שעובדים איתנו, בעצם כדי להבין מהי ההמלצה הכי נכונה עבורה יש לנו איזשהו מודל, Predictor, שאמור לבוא ולהגיד מה ההסתברות שעבור אותה היוזרית - פריט התוכן הספציפי יעניין אותה כרגע, בהקשר הנתון שבו היא נמצאת.וזה בעצם השיקול הכי משמעותי לגבי איזו המלצה היא תראה.(אורי) חלק בלתי נפרד מה . . . מוצר ההמלצות, התפקיד שלו הוא להגיש תכנים מעניינים וליצור את המוטיבציה לעבור אל התוכן הזה.זה נמדד אצלנו בקליק - כמו שמקליקים על תוצאת חיפוש בגוגל או על תוכן שמוגש בפייסבוק - אנחנו עושים את זה “באינטרנט הפתוח”.(רן) אז אפשר להגיד שהתפקיד שלך ושל החבר’ה שלך זה חלק מה - Core Value Proposition של Outbrain, חלק מהמנוע המרכזי של Outbrain - ואתם עוסקים בעיקר בתחום של Machine Learning.פה ספציפית אנחנו רוצים לדבר עלך הקונספט של AutoML - אז בוא אולי נתחיל לדבר על מהי הגדרת הבעיה, למה בכלל AutoML? למה זה דומה? איפה נתקלת בזה לראשונה? (אסף) אז שנייה . . . AutoML, אני חושב, זה Buzzword מאוד נפוץ היום בכל התעשייה - ואני לפחות אתן את ה-Take שלי על כל הדבר הזה.אני חושב שכל מי שהתנסה אי פעם בפיתוח מערכת מבוססת Machine Learning, שצריך גם לשים אותה ב-Production ואמורה לשמש משתמשים אמיתיים באילוצים אמיתיים, חווה תסכול מסויים או קושי מסויים, ואני אנסה טיפה להרחיב, אם אני מדבר יותר מדי אנא עצור אותי . . .לרוב, כשאנחנו חושבים אל איזשהו Task שהוא סביב Data Science אז יש לנו כמה שלבים לדבר הזה - כ-Data Scientist אנחנו לרוב מקבלים איזושהי בעיה, איזשהו Data-set, איזושהי משימה - לרוב זה מתחיל באיזשהו מחקר, Offline-י, שבו אנחנו עוסקים באקספלורציה (Exploration) של הדאטה, הבנה של הבעיה, הבנה של המימדים הרלוונטיים וכן הלאה.אם התמזל מזלנו, אחרי עבודה קשה, אנחנו מגיעים לאיזשהו מודל שאנחנו מרוצים ממנוהיה נחמד אם זה היה הסוף - אבל המעבר ממודל שעובד לנו לוקאלית על המכונה שלנו, על ה-Data set שיש על המכונה, למשהו שרץ ב-Production הוא מעבר, בוא נגדיר את זה כ”לא טריוואלי” . . .אני יכול קצת להרחיב?(רן) כן . . . באופן טיפוסי, אתם בונים את המודל על המכונות הפרטיות, או שהמכונה זה רק כמשל?(אסף) כמשל . . . יש לי פואנטה בסוף . . . אז סבבה - אנחנו באים לשים את המודל ב-Production, ולא תמיד גם שם החיים פשוטים, כי Data Scientists ואלגוריתמיקאים אוהבים לעבוד ב-Stack שלהם, לרוב ב-Python . . .אני כמובן מכליל, אבל Python זה לרוב ה-Stack הנפוץ, עם כלים וחבילות ו-Libraries שמאוד נוחים לנו כ-Data Scientists - ולא תמיד ה-Stack ב-Production שלנו כתוב גם הוא ב-Python, ולכן לא תמיד זה קל, לדוגמא, לקחת את ה- XGBoost המדהים שבנינו ולשים אותו במערכת ה-Production שלנו.במיוחד אם אני מתייחס שנייה ל-use cases של Outbrain, שבהם נדרשים SLA מאוד קשיחים - “קח את ה-XGBoost שלך ב-Python ועכשיו תן לו להגיש 100,000 בקשות בשנייה” - ושיהיה לנו בהצלחה עם זה. . .(רן) אז אולי בשביל ה-Context, אני בתפקיד שלי ביום-יום גם מנהל קבוצה של Data Science ב-AppsFlyer ואני גם מזהה עם הכאבים שלכם והם חוזרים גם אצלנו.אוקיי - אז מה עושים? Data Scientist אוהב לעבוד ב-Python, אוהב לכתוב XGBoost - וזהו, אחר כך נגמר העניין. אבל בכל אופן - ה-Business רוצה שניקח את המודל הזה ונשים אותו ב-Production, אז מה עושים?(אסף) אז האמת היא שיש לי פה עוד פואנטה, רן, אני מצטער שאני ככה נותן לך קונטרה, אני אשמח לענות על זה - בוא נניח שהתגברנו על הבעיות האלה, אני חושב שיש מגוון של דרכים לתת מענה לדבר הזהאם זה כל מיני חבילות שיודעות לקחת את המודל XGBoost ולהגיש אותו בחבילות שונות ומשונות, או אולי אתה ממש רוצה להתאבד ובא לך לממש את זה ב-++C כדי בכלל לחוות זמני תגובה מהיריםאבל אפילו אם התגברת על המהמורה הזאת, גם כשהמודל שלך מתחיל לשרת את ה-Production, גם שם אתה מתחיל לחוות Friction . . . אני אתן שתי דוגמאות ברשותך - למשל, משהו שאני חושב שהצוות שלי בזבז - השקיע! - עליו משהו כמו שלושה שבועות כשהמודל שלנו היה ב-Production וזה שאתה פשוט מקבל פרדיקציות (Predictions) שהן לא הגיוניות . . . וכשאתה בא לחקור את זה אתה מבין שהדאטה שראית בזמן ה-Training הוא לא הדאטה שאתה רואה בזמן ה-Serving בהמון מובנים . . .סתם אנקדוטה - יש לך דאטה שמגיע לך ב-Serving באיזשהו API והוא פורמט בצורה אחת, אבל כשהוא נכתב כבר ל-Data Lake, ל-Database שלך, על ה-Hive שלך או Whatever [כבר יצא כזה שירות של AWS? שם טוב], הוא מפורמט (Format) קצת אחרת - נגיד שהוא עובר ל-Lower case, ועכשיו המודל שלך ראה Upper case ב-Training וב-Serving הוא רואה Lower Case ואוי ואבוי . . .זה עוד סוג של Friction(רן) אתה יודע מה? אם אנחנו כבר מערימים קשיים, אז תרשה לי להערים קושי נוסף: יש את כל הסיפור הזה של Feature engineering, שלפעמים הוא קורה ב-Offline באופן שונה ממה שקורה ב-Online, וזו עוד מהמורה שככה צצה וצריך לעבור . . .(אסף) לגמרי . . . בוא ככה נבנה את המוטיבציה אפילו, נעשה פה דרמה יותר גדולה - גם אם התגברנו על זה ובנינו כלים, עכשיו יש לנו מודל ב-Production, ולרוב זה מודל בהתחלה ראשוני, ועכשיו יש לנו צוות של Data Scientists שכל הזמן רוצים לשפר אותו, ולבדוק את הדברים שלהם ב-Production ולראות שהם עבדו - איך אנחנו עושים את כל הזמן? זה בעצם כל הסיפור הזה כפול כל החיים בערך . . . (רן) כן . . .(אורי) כל החיים כפול כל ה-Data Scientists . . .(אסף) אמרת את זה נכון(רן) אוי, כבר יש לנו מטריצה, עוד שנייה אנחנו עוברים ל Tesor-ים . . . וגם יכול להיות שמודל שעבד מצויין אתמול אולי יפסיק לעבוד מחר, כי העולם השתנה או כי דברים קרו.(אסף) נכון, וזה אחד האייטמים שלי פה שלא דיברתי עליהם - Concept Drift, שזה משהו מאוד מאוד שכיח, במיוחד בתעשיית ה-Ad-Tech, כשה-Marketplace הוא נורא דינאמי.(רן) כן - המלצה שאולי הייתה מצויינת אתמול, והדאטה בסדר והכל Lower case והכל בסדר - אבל התוכן השתנה, עולם התוכן השתנה וההמלצה כבר פחות רלוונטית.(אורי) אומרים שעם העיתון של אתמול אפשר לעטוף דגים? אז זה בערך . . . זה כבר בעולם ה-Online זה שעם העיתון של לפני עשר דקות אפשר לעטוף דגים.(אסף) לגמרי(רן) בסדר - אז עכשיו אנחנו מוכנים לפתור את הבעיה?(אסף) יש איזושהי מנטרה שאני מנסה לחזור עליה במהלך השיחה שלנו - אני חושב שאחד ה-Take aways שלנו מאיזשהו שכתוב מאוד מאסיבי של המערכת במהלך השנה האחרונה הוא שצריך בעצם לאפשר ל-Data Scientist להיכשל מהר . . .בטח שמעתם את זה, זה קצת קלישאה, אבל זה נורא נכון.(רן) אז אתה אומר “להיכשל מהר” . . . לא להצליח אלא להיכשל מהר. מה עומד מאחורי זה?(אסף) כל מי שעסק באלגוריתמיקה ו-Data Science, לפחות בי זה היכה לפני כמה זמן, כי - כמה כיף זה לפתח פרויקט תוכנה רגיל? בפרויקט תוכנה רגיל קל לך לראות אם ה-Latency שלך מספיק מהיר, אם הכפתור שלך במקום וכן הלאה . . .ב-Data Science זה לא ככה - ב-Data Science לרוב אתה יורה באפילה, ומקווה לטוב. לצערי - הרבה מאוד פעמים אנחנו נכשלים, ולכן אם נאפשר בפרויקט ל-Data Scientists שלנו להיכשל מהר, זה יאפשר להם לנסות דברים הרבה יותר מהר, הם לא יפחדו לנסות, יהיו יותר הצלחות, המודלים שלנו ישתפרו וה-KPI העסקיים שלנו יעלו.(רן) אז בוא נסתכל, נגיד, על דוגמא - יש לך איזשהו מודל המלצות, וחלמת בלילה על פיצ’ר חדש: “נגיד שכל אות שנייה היא ב-Capital אז זו הולכת להיות המלצה מצויינת!” - ועכשיו אתה רוצה לבדוק האם זה הולך לעבוד.אם יקח לך חודש לבדוק את כל הסיפור, אתה תספיק לבדוק אולי, עד שיפטרו אותך, משהו כמו שניים או שלושה רעיונות, ואז יגמר לך הזמן, Game Over; אבל אם אתה נכשל מהר, ולוקח לך יום או חצי יום לבדוק את הרעיון המטורף הזה אז אתה תספיק לבדוק עוד ועוד, ובסופו של דבר תגיע דווקא לרעיון קצת יותר מוצלח.(אסף) נכון - ואם תיקח את זה אפילו יותר קיצוני, אם תספיק לבדוק בשלושה ימים 20,000 אפשרויות להוספת פיצ’ר כזה או אחר, בפורמולציות כאלו ואחרות, זה אפילו יותר טוב.(רן) אני חושב שיש פה שני מושגים שהם אולי דומים - אחד מהם זה AutoML והשני זה MLOps - ואני חושב שדיברת על שניהם . . . בוא נגדיר את שניהם ונראה מה כל אחד פותר.(אסף) אז באמת אני אעשה Zoom-out ואתייחס למה שאמרת - באיזשהו מקום אני חושב שההבנה היא, לא רק אצלנו אלא באופן כללי, שיש איזשהו יתרון להפרדה בין ניסויים ב-Offline לבין ניסויים ב-Online, ב-Serving.זאת אומרת - בסוף היום, ההוכחה שהצלחת לעשות משהו מועיל באיזור האלגוריתמי, באיזור המודל, הוא שאתה שם, במקרה שלנו, איזשהו A/B Test ומוכיח שה-KPI העסקיים במודל החדש שייצרת עולים על המודל הקודם - וזה באמת ה-Online.בעצם, כל היכולת לעשות אורקסטרציה (Orchestration) לסיפור הזה - לעלות את הA/B Test בצורה נוחה, לשים את המודל ב-Production בצורה נוחה - אני חושב שזה יותר באיזורים של ה-MLOps.לעומת זאת, כמובן שלכל A/B Test או לכל ניסוי Online-י יש Overheads, יש תקורות - ולכן אם אנחנו באמת רוצים להיות יעילים אנחנו צריכים לאפשר לעשות ניסויים Offline, כלומר - איזושהי סביבה שבה ה-Data Scientists שלנו יוכלו לחקור את הבעיה ולחקור כל מיני היפותזות שיש להם בצורה מהירה ויעילה, בעזרת כלים שנותנים להם להתרכז בעבודת ה-Data Science ופחות באספקטים טכניים שתמיד הם חלק מהחיים שלנו.אולי האוטומציה הזו, או כל מיני כלים שמאפשרים את האוטומציה הזו - אפשר לתייג אותם בתור AutoML.(רן) לצורך העניין, חשבתי על הפיצ’ר המטורף שלי שבו כל אות שנייה היא Capital letter וזה הולך להיות פצצה - ועכשיו אני מתלבט: האם אני רוצה לדחוף את זה לתוך XGBoost או לתוך רשת ניורונים - ואם כן אז כמה שכבות או כמה ניורונים, או כמה עצים הולכים להיות בתוך . . . מה העומק של ה-XGBoost.אם אני עושה את כל זה בצורה סדרתית, כנראה ששוב זה יקח לי כמה ימים טובים, אולי חודש, לבדוק את כל אלו - מה ה-AutoML נותן לנו?(אסף) בעצם כלי AutoML מאפשרים לך לבדוק את ההיפותזות האלו בצורה אוטומטית, ווכמובן בסוף נותנים לך איזשהו Audit trail - היכולת להבין עבור כל אחת מההיפותזות או הדברים שרצית לבדוק, עד כמה הם טובים.לרוב זה בעזרת איזשהו Proxy - זה לא יהיה ב-Business KPI שלך אלא איזשהו Proxy ל - Business KPI.(רן) ראיתי כלים כאלה Out there - יש כלי כזה ל-AWS ויש כלי כזה ל-GCP - מה אתם עושים? כתבתם אחד משלכם?(אסף) כן . . . תראה, אני חושב שיש . . . קודם כל כתבנו משהו משלנו, והוא תפור באמת לבעיה שלנו, אני יכול טיפה לדבר למה . . .המודל שלנו, לרוב . . . כדי להגיד משהו על טיב של מודל כזה או אחר, למשל בדוגמא של רן - האם הוספנו פיצ’ר כזה או פיצ’ר אחר, אז עד כמה המודל מתפקד בצורה טובה? - לדבר הזה נדרש די הרבה דאטה.הכלים, לפחות אלו שאנחנו מכירים, פחות יודעים להתמודד עם כמויות הדאטה העצומות שנדרשות לבעיה שלנו.(רן) אוקיי - אז מה, אני, כ- Data Scientist, בא בבוקר ואומר: “אני רוצה להריץ את שלושת האלגוריתמים האלה, כל אחד עם קומבינציה של 10 פרמטרים שונים”, וזהו - הולך לשתות קפה, חוזר ויש לי תוצאות?(אסף) אה . . . קצת יותר מורכב מזה.לרוב יש לנו כל מיני שאלות, היפותזות, שבהן אנחנו עוסקים, וכל Data Scientist לוקח מה-Backlog איזושהי שאלה כזאתלמשל - האם הוספה של פיצ’ר כזה או אחר תשפר את המודל, ובכמה זה ישפר את המודללרוב אתה צריך לבחור איזשהו Data Set שהוא Offline, כי זה לא נעשה בחלל ריק.יש לנו דרך, בעצם, לתרגם, את ההיפותזה הזאת לבעית חיפוש - אני יכול לתת דוגמא תיכף, אבל בסוף היום ב-AutoML יש לנו מנוע חיפוש, והוא מחפש במרחב המודלים שה-Data Scientist מגדיר לו - מחפש בצורה מאוד מהירה ומבוזרת, וזה תלוי בכוח המחשב שאתה שם עליו - אבל בגדול, אחרי כמה שעות אתה תקבל תשובה.(רן) אוקיי, אז אמרת שאתה רוצה לתת איזושהי דוגמא?(אסף) אני מתלבט האם לתת דוגמא מורכבת או . . . מעניינת וקצת מורכבת, שנדרש קצת רקע, או משהו יותר בנאלי?(רן) מעניינת ומורכבת ונדרש ידע - בוא נצלול!(אסף) מצויין - אז בעולם של CTR Prediction, אני אתן דוגמא שהיא יחסית מעניינת.אחד המודלים - אמנם מודל בסיסי, אבל עובד לא רע - הוא Logistic Regressionבגדול, הדאטה שהוא מקבל זה המידע על אותו Listing, וה-Context - למשל: רן כרגע נמצא בכרכור, צופה בדף של Ynet(!) בתוך iPhone 12 (!!) - ומערכת ההמלצה שלנו באה לנסות להבין איזו מבין שלושת הפרסומות שכרגע נמצאות ב-Inventory הכי מתאימה לרן.אז בעצם, אם ניקח את כל הדברים שאנחנו יודעים על רן ועל ה-Context שבו הוא נמצא - כרכור, iPhone 12 וכו’ - אז לכל אחת מהפרסומות, נוכל להפוך את זה לבעיית Classification של “מה ההסתברות שרן יקליק על אותו פריט תוכן?”בוא נאמר שלמדנו את זה מתוך דאטה היסטורי - וזה בעצם Logistic Regression ל - CTR Prediction על קצה המזלג.מסתבר שכמו בהרבה בעיות ב-Logistic Regression, צימודים של פיצ’רים מאוד עוזריםזאת אומרת - יכול להיות שלמדנו, אם נגיד את זה למודל, שאנשים בכרכור אוהבים ללחוץ על פרטי תוכן על מכוניות אדומות, לעומת אנשים שגרים בתל אביב שאוהבים משאיות ירוקות.(אורי) בדרך כלל ההיפך, אבל . . .(אסף) כן, קצת אילתרתי . . . אפשר לתת דוגמא יותר מוצלחת כנראה, אבל הנקודה היא שבאמת צימודים כאלה של פיצ’רים מוסיפים המון לדיוק של המודל(רן) זאת אומרת שאם מקודם בתיאור שלך של המודל הנחת איזושהי אי-תלות - הוא בכרכור, יש לו iPhone, וזה לא קשור לזה שהוא אוהב או לא אוהב מכוניות ירוקות או אדומות, אבל מסתבר שהמציאות מספרת לנו סיפור אחר, כנראה שיש איזושהי קורלציה ביניהם (אסף) נכון - וכאשר אתה מוסיף את הצימוד הזה של מיקום וסוג הפרסומת, בעצם המודל שלך יהיה יותר מדויק.אם נחשוב על בעיה מהחיים האמיתיים - אז יש לנו אלפים של פיצ’רים, וכאשר באים להוסיף פיצ’ר חדש ל-Logistic Regression, נשאלת השאלה עם איזה צימודים הוא יעבוד הכי טוב.אפילו אפשר לקחת שאלה הרבה יותר כללית - אם יש לנו נגיד אלף פיצ’רים, איזה צימודים אנחנו צריכים להוסיף למודל על מנת שהוא יתפקד בצורה הכי טובה שיש?(רן) רק נבהיר פה את המתימטיקה - אם יש לנו אלף פיצ’רים, אז אם נוסיף פיצ’ר אחד ונצמיד אותו לכל האחרים, אנחנו הולכים לקבל פי . . . הרבה פיצ’ריםכל אחד מחובר לכולם(אורי) יהיו הרבה . . .(אסף) למעשה, אם הולכים בקומבינטוריקה לאקסטרים - זה C(10,2) - וזה הרבה.[10 לא המון, 1,000 כבר כמעט חצי מליון . . . ]בעצם די מהר אפשר לחשוב על הבעיה הספציפית הזו כבעיית חיפוש - ואז אם יש לך מנוע חיפוש מוצלח אז תוכל למצוא את המודל המיטבי.ברור שמרחב האפשרויות פה הוא אקספוננציאלי, ואנחנו לא אוהבים אקספוננציאלי במדעי המחשב . . .(רן) שנייה, בוא נבהיר רגע . . .(אורי) אנחנו לא אוהבים אקספוננציאלי - ותמיד זה אקספוננציאלי . . .(אסף) נכון - ויש פתרונות מהספר, מה-Text book, של איך עושים את זה.(רן) אז בוא רגע נדבר על למה זה מנוע חיפוש - החיפוש הוא בין השילובים השונים של הפיצ’רים, ולכל אחד מהם יש איזשהו Score, זאת אומרת איזשהו . . אם הגעתי למקום אז אני יודע האם הגעתי למקום טוב או לא.וה-Score הוא - מה? היכולת שלו לחזות את ה-CTR לצורך העניין?(אסף) אז באמת ה-Score, אני חושב שזה המרכז פה ואפשר לדבר עליו, ותיכף אני אצלול בשמחה לתיאור של ה-Score, אבל אנחנו מדברים פה בעצם על מרחב חיפוש אקספוננציאלי, ואפשר להפעיל כל מיני אלגוריתמי חיפוש שרצים על המרחב הזה עם Score, עם יוריסטיקה.אם נכתוב תשתית טובה והמנוע חיפוש הזה יוכל לרוץ בצורה מבוזרת על הרבה מכונות, וגם ה-Score הזה ידע להיות מחושב מהר, אז ה-Data Scientist שלנו יהיה מאוד מרוצה כי יוכל בדוק את ההיפותזות שלו מאוד מהר.(רן) אז בו נעשה רגע שנייה סיכום - אני רוצה להוסיף עכשיו פיצ’ר חדש, אבל הבנו שפשוט להוסיף את הפיצ’ר ה-1,001 זה כנראה לא כזה מעניין כי יש הרבה מאוד קורלציות בין פיצ’רים, אז צריך להבין למי הפיצ’ר שלי קורלטיבי או לא, זאת אומרת - איזה קרוסים (Cross) מעניין להוסיף.וזה אתה אומר במרחב שהוא אקספוננציאלי, אז את זה צריך לצמצם, שלא יהיה אקספוננציאלי - לא אמרת בדיוק מה זה כן, אבל אני מניח שזה קצת פחות, ובכל אופן כנראה שנקבל עדיין מרחב מאוד מאוד גדול, אפילו שזה לא אקספוננציאלי זה עדיין מאוד מאוד גדול - אז גם את החיפוש במרחב הזה אני רוצה לעשות בצורה יחסית מהירה.והחלק שהוא Computational expensive בכל הסיפור הזה זה החישוב של ה-Score או משהו אחר?(אסף) כן, בדיוק זה המרכז.בסוף השאלה הבסיסית היא בעצם, אם שנייה נצלול אפילו יותר עמוק, אז בעצם כל Node במרחב החיפוש שלנו זה איזשהו מודל, עם צימוד כזה או אחר של פיצ’רים או עם שניהם יחדיו - ובעצם אנחנו שואלים עד כמה הוא יותר טוב מכל האחרים.ואני קצת אתאר איך אנחנו מחשבים את ה-Score הזה - בעצם ה-Score הזה אמור להיות Proxy מאוד קרוב לדיוק המודל ,ולשם כך אנחנו משתמשים ב-Data set שהוא Offline-י, מאוד קלאסי, שמחלקים אותו ל-Train ול-Test, חלק ממנו משמש לאימון המודל - ה-Bootstrap שלו - וחלק אחר לחיזוי הקליקים.זה דאטה אמיתי כמובןועל תוצאות הפרדיקציות, כשאנחנו יודעים את ה-Target, אם היה קליק או לא היה קליק, אנחנו מחשבים מדדי דיוק - AUC או מדדים אחרים די סטנדרטיים.(אורי) זה ל-Offline(אסף) זה ל-Offline כמובן(רן) ואיך אתה יודע שבאמת הדאטה הזה מייצגת את המציאות הנכונה? אם תיקח את כל הדאטה בעולם אז כן, אבל הבעיה היא שהוא גדול מדי . . . (אסף) כן, בגלל זה אני חושב ש . . .לפני כן שאלת אותי למה עשינו פה את כל הפיתוח של משהו שהוא ייחודי לנו, וזה באמת כי כדי לייצר את מטריקה שנותנת לנו דיוק טוב, אנחנו נדרשים לקחת הרבה דאטה - אז לרוב אנחנו לוקחים דאטה של שבוע, שזה דאטה של ג’יגות (Gb) בגדול, ועליו אנחנו מריצים את החיפוש.(רן) הבנתי . . . ובעצם מי שבנה את ה-Framework הזה זה בעצם מישהו בתוך קבוצת ה-Data Science אצלכם?(אסף) כן, זה התחיל ממשהו די פשוט וסיבכנו אותו ככל שהדרישות הצטברו . . .(רן) ככל שנתנו לכם . . . (אסף) האמת שלא, האמת ש . . . (אורי) זה היה תהליך מדהים, כי התחילו במשהו יחסית פשוט כדי להוכיח את ההתכנות של המודל הזה, ולאט לאט הלכו הוגדילו Scale ודייקו ודייקו את המודל, ונוספו פיצ’רים וגם המודלים המתימטיים השתפרו לאורך הזמן.(אסף) כן . . . האמת שהתחלנו עם Vowpal Wabbit, למי שמכיר, ובמהלך הדרך . . .למי שמכיר - Vowpal Wabbit זה Logistic Regression ממש מהירובמהלך הדרך קפצנו במנוע המתימטי למשהו שכתבנו אצלנו בקבוצה, שאנחנו קוראים לו Fwumious wabbit, שזה Field-aware factorization machines נורא נורא מהיר(אורי) ממש ממש ממש מהיר(אסף) ממש . . .אתם יכולים לראות את הבלוגים אצלנו, ב-Outbrain engineering, כתבנו על זה וגם על AutoML אז תוכלו לראות כמה דוגמאות יותר מפורטות(רן) יותר ממכונית ירוקה בכרכור . . .(אורי) לא, באמת - יש הרבה דברים שנכתבו בבלוג של Outbrain Engineering ושווה לקרוא שם.(רן) ופה ספציפית דיברנו על Use case של הוספת פיצ’ר - יש לכם נגיד גם Use cases של בחירת מסווג חדש, או כיוונון של Hyper-parameters במסווג או Use cases אחרים בסגנון הזה?(אסף) תראה, בחירת מסווג זה עניין די מורכב, כי המסווגים שלנו, כדי שהם יעבדו כמו שצריך, דורשים המון המון עבודה.כיום, למשל, יש לנו איזושהי גרסא שתפורה ל-TensorFlow, ובה אנחנו מנסים כל מיני ארכיטקטורות של רשתות - וכן, זה משהו שהכלי זה יודע לתמוך גם בה.(רן) אוקיי, אז פה בעיקר דיברנו על AutoML - זאת אומרת, החלק ה-Offline-י - אבל בחלק מהצגת הבעיה גם דיברנו על החלק השני, החלק ה-Online-י, שנקרא לו אולי MLOps? נניח . . . אילו פתרונות נבנו בתחום הזה? (אסף) אני יכול לספר לך על הרצוי ועל המצוי . . . בוא נתחיל עם הרצויבגדול, אני חושב שהשאיפה שלנו היא שברגע שיש לך תוצאה טובה ב-AutoML אתה תיהיה, אנחנו קוראים לזה “One click away” מ-A/B Test, זאת אומרת - בקליק אחד, או גם שלושה קליקים זה יהיה בסדר . . .(רן) שה-CTR שלהם הוא? . . .(אסף) 1 . . . 100%אבל הרעיון הוא שתוכל להגיע נורא מהר ל - A/B Test, עם כמה שפחות Technicalitiesאם נפרוט שנייה מה זה אומר ”ללכת ל - A/B Test”, אני יכול לפחות לתאר את החווייה שלנו ב-Outbrain, אז אומר לפעמים לעשות שינויים בשכבה שעוטפת את המודלים שלנו, לקחת את הפיצ’ר הזה ולגרום לו להגיע בכלל אל המודל ב-Serving, ויש איזושהי עבודה שנדרשת ב-Production, ואחרי זה להתקין, “לרלס” (Release) את אותו Service שמגיש את המודל, וכמובן שזה אומר לבדוק אותו ולעשות בדיקות SLA ו-Latency ו-Staging, ואחרי זה להגדיר את ה-A/B test . . . זו שורה ארוכה של משימות, ובעצם השאיפה שלנו היא לגרום לכל הסיפור הזה להיות אוטומטי.(רן) נכון להיום, כמה . . . אני זוכר, בהיותי מתחום ההנדסה, שאם מודדים לדוגמא מטריקות (Metrics) כמו Commit to Production - כמה זמן לוקח מהרגע שבוא עשיתי Commit ועד שהקוד הוא Deployed ב100% - לכם יש אילו שהן מדדי זמן כאלה? אם כן, מה הם?(אסף) אני חושב ש . . .אין לנו איזה Dashboard של Garfana שמודד את זה.כיום יש איזושהי סדרה של פעולות שה-Data Scientist צריך לעשות, יש פרוטוקל מוגדר היטב - זה לוקח בסביבות שעה וחצי.ואנחנו שואפים בעצם להפוך את זה לדקה וחצי.(אורי) זה למודל חדש, כשגם שינית את ההבאה של הדאטה . . .(אסף) לא, לרוב, אם נדרשים שינויים ב - Data Pipeline אם להוסיף APIs אז זה יכול לקחת קצת יותר - אני מתייחס ל - Tweak במודל.(רן) אוקיי - והחלק, נגיד ה - Post Production - לגלות Drift או תקלות אחרות שיכולות לקרות - איך זה עובד בעצם? סיימתי את ה - A/B Test ועכשיו אני שמח, אני שם את זה ב-Production - מה הלאה? (אסף) תראה, יש לנו שכבות שונות של ניטור, ושוב - גם פה יש עוד הרבה עבודה לפנינו.בגדול יש לנו כל מיני . . . אני יכול רק לומר שהדברים הקריטיים שגילינו שבהם המודלים שלנו מאוד משתפרים זה שהמודל צריך להיות מאוד עדכני.בעצם, המערכת בכל חמש דקות מקבל מודל חדש ב - Production - מאמנת מודל חדש ומכניסה מודל חדש ל-Production.וזה די מפחיד . . .(אורי) רגע, רגע . . . קודם דיברנו על זה שאנחנו רוצים לאמן כל מיני פיצ’רים חדשים ודברים כאלה, וזה כדי לבנות מודל מסוג חדש.עכשיו אתה מדבר על מודל עדכני - זאת אומרת: אותו מודל, כמו שבניתי ואימנתי וזה, רק שאני מאמן אותו בכל פעם על דאטה עדכני בכל חמש דקות.(אסף) כן, אז אולי באמת שווה לתת טיפה קונטקסט, אולי קצת קפצתי לזה - בגדול, המודלים של ה-CTR שלנו, אם תחשבו על ה-Setting של הדבר הזה, בעצם אנחנו כל הזמן מגישים המלצות, ה - Users מקליקים או לא מקליקים על ההמלצות שאנחנו מגישים, הדאטה הזה, של על מה הקליקו ועל מה לא מגיע למערכת שלנו אחרי כמה דקות ונאסף ב - Data Lake שלנוובעצם אנחנו יכולים לקחת את הדאטה הזה ולעדכן את המודלים שלנו כרגע ב-Production.וגילינו ש-KPI מאוד משמעותי לביצועים של המודל זה מהי נקודת הדאטה האחרונה שהמודל שלנו ראה בזמן ההגשה, ואנחנו שואפים שהזמן הזה יהיה קצר ככל האפשר.(רן) והסיבה מאחורי זה היא שהתוכן מתחדש? זאת אומרת, מה . . .(אורי) עם העיתון של אתמול אפשר לעטוף דגים . . .(רן) אוקיי . . . בסדר - היו לכם אילו שהן מחשבות על ללכת לכיוון משהו שהוא לגמרי Online? זאת אומרת Reinforcement learning, שממש יעשה את זה “באפס זמן”, או קצת יותר?(אסף) אני חושב שיש פה הרבה מקום לשיפור, בעיקר אני חושב שבתחום התשתיתייש כאן דבר אחד שצריך להבין, שיש כאן Trade off - אנחנו בעצם מציגים המלצות למשתמשהמשתמש, יכול להיות שבדיוק כשהגשנו לו את ההמלצה הוא צריך ללכת לעשות פיפי, והוא יחזור אחרי חמש דקות ואז הוא נזכר שהוא צריך לשתות קפה[זו לולאה אינסופית, דוגמא סטריאוטיפית של מהנדס כלשהו]רק אחרי רבע שעה הוא יגיד “וואו - איזו המלצה מדהימה ש-Outbrain נתנו לי!” והוא יקליק על ההמלצהורק אחרי אולי שמונה עשרה דקות נקבל את האינפורמציה על הקליק . . .הנקודה היא שיש לנו איזשהו Delay אינרנטי (Inherent) בכמה שאנחנו מחכים לקליק - אבל השאיפה באמת להיות כמה שיותר קרובים.(רן) אז אתה אומר שכאילו “ה-Watermark” הזה של החמש דקות הוא מספיק קצר כרגע, לפי מה שאתם רואים - כי גם ככה יש את ההתנהגות האנושית הזו של זמני קריאה, זמן הפיפי וזמן הקפה, ואין כרגע סיבה משמעותית לרדת מתחת לזה?(אסף) אה - לא, אני אגיד . . .יש עדיין איזשהו Delay אינרנטי, כמו שאמרנו, וכמובן שיש את כל ה-Data Pipeline שלנו שגורם לאותו קליק לחלחל למערכת, ל-Updater שלנו - ואת זה אפשר לקצר.שם יש לנו הרבה - אבל זו בעיקר עבודה תשתיתית, לגרום ל-Data Pipeline להיות הרבה יותר מהיר.(רן) הבנתי - גם אם אתה מרלס (Release) מודל חדש כל חמש דקות, אזא. יש את זמן בניית המודל, שגם יכול להיות לא טריוויאליב. וגם יש את השאלה של “ממתי הדאטה שעליו הוא עובד?” - ויכול להיות שהדאטה הזה “עדיין בצינורות” ולוקח לו זמן להגיעאני יכול להגיד שאצלנו (AppsFlyer) זה לוקח סדר גודל של שעתיים, אני חושב . . . או שלוש, לא זוכר.(אורי) אז פה, עשינו התקדמות מאוד גדולה בנושא של Real-time data pipelines, וזה עוזר בהמון מקומות.(אסף) וודאי - בעצם מה שזה אומר, אם שנייה נחשוב, זה בעצם שהמודלים שמגישים המלצות ב-Production, פוטנציאלית ראו חודשים של דאטה.(רן) דרך אגב - האימון הוא כל פעם מחדש, או שזה אינקרמנטלי (Incremental)?(אסף) אינקרמנטלי . . . (רן) אוקיי - אז זה לא חייב להיות כל כך הרבה זמן, ה-Cycle של האימון.(רן) אוקיי, מעולה - יש עוד המון דברים לדבר עליהם, אבל אנחנו כבר לקראת סוף הזמן שלנו.יש עוד נושא שרצית לכסות, לפני שאנחנו נסיים?(אסף) לא, אני חושב שעברתי על כל הרשימה שלי(אורי) יש נושא שרצית לכסות לפני שאנחנו אומרים שאנחנו מגייסים Data Scientists? (אסף) אה, נכון . . . אנחנו מגייסים!אנחנו מגייסים אנשים, תסתכלו בדף המשרות שלנוואם מעניין אתכם קצת לקרוא יותר על הדברים שדיברנו כרגע אז כנסו לבלוג של Outbrain Engineering או ב - Medium ל - Outbrain Engineering ותמצאו שם תוכן מעניין.(רן) מעולה - בהצלחה בהמשך הדרך ותודה רבה.(אסף) תודה שאירחתם אותי.הקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

Logistic regression is one of the most commonly used statistical analytic tools in the medical literature. William Meurer, MD, from the University of Michigan, and Juliana Tolles, MD, from UCLA, discuss a JAMA Guide to Statistics and Methods article they wrote entitled “Logistic Regression Diagnostics: Understanding How Well a Model Predicts Outcomes.” Related Article: Logistic Regression

Link to bioRxiv paper: http://biorxiv.org/cgi/content/short/2020.11.20.391904v1?rss=1 Authors: Mohanty, S. D., Lekan, D., McCoy, T. P., Jenkins, M., Manda, P. Abstract: Healthcare costs that can be attributed to unplanned readmissions are staggeringly high and negatively impact health and wellness of patients. In the United States, hospital systems and care providers have strong financial motivations to reduce readmissions in accordance with several government guidelines. One of the critical steps to reducing readmissions is to recognize the factors that lead to readmission and correspondingly identify at-risk patients based on these factors. The availability of large volumes of electronic health care records make it possible to develop and deploy automated machine learning models that can predict unplanned readmissions and pinpoint the most important factors of readmission risk. While hospital readmission is an undesirable outcome for any patient, it is more so for medically frail patients. Here, we develop and compare four machine learning models (Random Forest, XGBoost, CatBoost, and Logistic Regression) for predicting 30-day unplanned readmission for patients deemed frail (Age [≥] 50). Variables that indicate frailty, comorbidities, high risk medication use, demographic, hospital and insurance were incorporated in the models for prediction of unplanned 30-day readmission. Our findings indicate that CatBoost outperforms the other three models (AUC 0.80) and prior work in this area. We find that constructs of frailty, certain categories of high risk medications, and comorbidity are all strong predictors of readmission for elderly patients. Copy rights belong to original authors. Visit the link for more info

Predictive analytics

Recap of this week

The idea for business

Boston has become popular in kaggle competitions but is it better than logistic regression

C controls the degree of regularization. Gamma controls the smoothness of the boundary. Kernel can improve speed. Penalty controls the loss function

Logistic regression is a very robust machine learning technique which can be used in three modes: binary, multinomial and ordinal. We talk about assumptions and some misconceptions. For example, people believe that because logistic regression fits only a linear separator in the expanded dimensional space it wouldn’t be able to fit a complex boundary in the original space. Also, people normally use either linear regression or multinomial logistic regression when they should be using ordinal logistic regression.

Don't get confused with the name "Logistic regression" Its name contains regression but it performs classification. If you want to know the difference between regression and classification watch podcast number 27. --- This episode is sponsored by · Anchor: The easiest way to make a podcast. https://anchor.fm/app --- Send in a voice message: https://anchor.fm/aihindishow/message Support this podcast: https://anchor.fm/aihindishow/support

Gradient convergence

Daniel Soudry is an assistant professor and a Taub Fellow at the Department of Electrical Engineering at the Technion. His first work focsed on Neuroscience, attempting to understand how neurons work in the brain. He then continued to a post-doc at Columbia University, where he discovered his interest in both the practical concerns and theory of deep neural networks. This episode focuses on Daniel's research work on questions such as how to make neural network work with low numerical precision, and when are SVM and Logistic Regression the same thing? We also talk with him about his path in academia and the journey to discover his research interests. Things we discussed in this episode: D. Soudry, E. Hoffer, M. Shpigel Nacson, S. Gunasekar, N. Srebro, "The Implicit Bias of Gradient Descent on Separable Data", ICLR + Accepted to JMLR, 2018. https://en.wikipedia.org/wiki/Logistic_regression https://en.wikipedia.org/wiki/Support_vector_machine E. Hoffer, R. Banner, I. Golan, D. Soudry, "Norm matters: efficient and accurate normalization schemes in deep networks", NIPS 2018 (Spotlight) R. Banner, I. Hubara, E. Hoffer, D. Soudry, “Scalable Methods for 8-bit Training of Neural Networks”, NIPS 2018. Whole-brain imaging of neuronal activity in a larval zebrafish - https://www.youtube.com/watch?v=lppAwkek6DI Simultaneous Denoising, Deconvolution, and Demixing of Calcium Imaging Data: https://www.cell.com/neuron/fulltext/S0896-6273(15)01084-3

Добрый день уважаемые слушатели. Представляем новый выпуск подкаста RWpod. В этом выпуске: Ruby In Ruby 2.4, IPAddr#== and IPAddr# do not throw exception for objects that can't be converted to IPAddr, Upgrading shopify to rails 5 и The Only Alternative to a Rails Monolith are Micro Services? Bullshit! Implementing Classification using Logistic Regression in Ruby, Faster Rails: Indexing Large Database Tables Without Downtime, 11 Small Improvements For Ruby и Private files for your Rails app using S3 Crystal, TDD and Conway's Game of Life, Rufo - ruby formatter и Shorten the IRB prompt (video) JavaScript Webpack 3: Official Release, Functional programming in Javascript is an antipattern и Webpack & Preact-CLI Vulnerability Service Worker gotchas, Machine Learning with JavaScript : Part 1 и Machine Learning with JavaScript : Part 2 Bojler - an email boilerplate and a guideline for writing HTML code that will render correctly across each of the most popular email clients, Sonar – JS Foundation Welcomes Newest Project и Introducing: Lazy Arrays In JavaScript

Your first classifier: Logistic Regression. That plus Linear Regression, and you're a 101 supervised learner! ocdevel.com/mlg/7 for notes and resources

Logistic Regression is a popular classification algorithm. In this episode, we discuss how it can be used to determine if an audio clip represents one of two given speakers. It assumes an output variable (isLinhda) is a linear combination of available features, which are spectral bands in the discussion on this episode.   Keep an eye on the dataskeptic.com blog this week as we post more details about this project.   Thanks to our sponsor this week, the Data Science Association.  Please check out their upcoming conference in Dallas on Saturday, February 18th, 2017 via the link below.   dallasdatascience.eventbrite.com  

Models were developed to predict spatial distribution of prehistoric archaeological site potential in the Sawtooth National Forest. Archaeological data and environmental parameters were collected and processed in a GIS. Predictor variables were evaluated to discover correlates with human locational behavior & compared against a control dataset. Three modeling methods were used: Logistic Regression, Regression Tree, and Random Forest. These models were assessed for efficacy using k-fold cross-validation and gain statistics. Although observed relationships could result from biases in archaeological data and predictors, results suggest a strong correlation between environment and prehistoric site location.

In many applications, the response variable is not Normally distributed. GLM can be used to analyze data from various non-Normal distributions. In this short course, we will introduce two most common GLM models: Logistic Regression for binary (yes/no or 0/1) data and Poisson Model for count data. Examples of fitting GLM models using JMP and interpretation of outputs are also provided. Course files available here: www.lisa.stat.vt.edu/?q=node/1177.

In this paper we highlight a data augmentation approach to inference in the Bayesian logistic regression model. We demonstrate that the resulting conditional likelihood of the regression coefficients is multivariate normal, equivalent to a standard Bayesian linear regression, which allows for efficient simulation using a block Gibbs sampler. We illustrate that the method is particularly suited to problems in covariate set uncertainty and random effects models.

Quantitative research especially in the social, but also in the biological sciences has been limited by the availability and applicability of analytic techniques that elaborate interactions among behaviours, treatment effects, and mediating variables. This gap has been filled by a newly developed statistical technique, known as graphical interaction modelling. The merit of graphical models for analyzing highly structured data is explored in this paper by an empirical study on coping with a chronic condition as a function of interrelationships between three sets of factors. These include background factors, illness context factors and four self--care practices. Based on a graphical chain model, the direct and indirect dependencies are revealed and discussed in comparison to the results obtained from a simple logistic regression model ignoring possible interaction effects. Both techniques are introduced from a more tutorial point of view instead of going far into technical details.

We discuss Bayesian estimation of a logistic regression model with an unknown threshold limiting value (TLV). In these models it is assumed that there is no effect of a covariate on the response under a certain unknown TLV. The estimation of these models with a focus on the TLV in a Bayesian context by Markov chain Monte Carlo (MCMC) methods is considered. We extend the model by accounting for measurement error in the covariate. The Bayesian solution is compared with the likelihood solution proposed by Kuechenhoff and Carroll (1997) using a data set concerning the relationship between dust concentration in the working place and the occurrence of chronic bronchitis.

In many practical problems, it is of interest to check whether a functional relationship between an explanatory and a response variable remains unchanged over the whole domain of the explanatory variable or whether the functional form changes at certain unknown points, the so-called breakpoints. Thus, testing for the existence of a breakpoint is often an essential task. In this paper, we consider likelihood-ratio tests for different regression models such as broken line and threshold models. The problem related to the use of likelihood-ratio tests in this context concerns the determination of the null distribution of the likelihood-ratio statistic which has not been solved yet analytically. It is shown by means of Monte-Carlo experiments that the proposals of a limiting distribution discussed in the literature often yield unreliable results. It is therefore recommended to determine appropriate critical values by simulating the null distribution according to the data situation under investigation.