Podcasts about formalize

#15: Bradly Hirdes of Ordinary Architecture Practice joins host Tyler Suomala to discuss proactive business development and networking strategies for architecture firms. Hear how Bradly navigates client relationships and expands his network in Houston, Texas.We dive into:→ Showing genuine curiosity in building client relationships→ How often should architects engage in networking events to build and maintain relationships?→ What is the importance of formalizing a relationship management system for architecture firms?→ Scheduling regular time for outreach and networking efforts→ The power of hosting regular social events to help maintain and grow a network→ How can Google reviews impact the visibility and growth of small architecture firms? → Leveraging your current client relationships to attract new work(03:58) Preparing for growth by targeting ideal clients.(08:20) Leveraging connections for architectural work opportunities.(12:44) Creating spaces for deeper connections.(16:16) The power of genuine curiosity in client relationships.(19:17) Engage easily: from dinners and luncheons to charity events.(22:20) How consistent contact keeps you top of mind.(24:15) Mix your communication methods to stay memorable.(28:46) Curate intimate gatherings and social events within your network.(30:49) Seeking testimonials and reviews.(35:52) Formalize relationships, set goals, and follow up consistently.GROWTHITECT RESOURCES→ Join thousands of architects on the free Growthitect newsletter - https://growthitect.com/join STAY CONNECTED→ Follow on LinkedIn→ Follow on Instagram→ Subscribe on YouTube→ Follow on TwitterSPONSORS

The head of the Newfoundland and Labrador Association of Public Employees is weighing in on the Province's use of agency nurses. The government has issued a Request for Proposals to standardize the use of private agency nurses. Opposition parties were quick to criticize that move, and NAPE president Jerry Earle agrees with them. We spoke with him in studio this morning.

The Future of HPR In episode hpr4109 "The future of HPR" Knightwise challenged us to look at HPR from the point of view of marketing to a business. His show was prompted by a post we put out entitled Happy new year - should we continue with HPR ?, wherein we asked you to vote on the future of HPR. The vote was a not so subtle redirect to our upload page. TL;D[R|L] This is likely to be a long show, so I'm adding the summary here. Key Takeaways More subscribers does not mean more contributors. In person contact is the best way to get new contributors. Use social media to bring people to HPR and not drive the discussions away from HPR. Our interface point with the listening world is the RSS feed. The Web site is the first point of contact for new contributors. We are losing contributors due to fear of being "guilty by association". Feed the queue Send in one show a year. Get one new host a year. Don't rush in shows, use the reserve queue. Follow the Scheduling Guidelines. Look for Hosts at every opportunity Take every opportunity, work, school, hobbies, social media groups, to ask people to send in a show. Volunteer to host an HPR Booth at events, libraries, fairs, meetups, etc. Record interviews with interesting Projects. Get in touch with older hosts and remind them how much you miss their content. Get our house in order To be taken seriously as a project, we need to: Finish the migration of the Back End. Formalize our current implicit Code of Conduct. Refresh the website, emphasizing our norms and values. Enrich the RSS feeds to become more integrated on distribution channels. Start giving talks at conferences promoting HPR, or Projects discussed on HPR. Get HPR Published in Wikipedia, Industry, Tech and Hobby Magazines. Assign dedicated Janitors on Official and Unofficial Platforms. Subscribers versus Contributors "Without data, you're just another person with an opinion." W._Edwards_Deming All the numbers given in this episode are the most conservative numbers we can give, as we have no financial incentive to do otherwise. We can be confident in the numbers as the rate of subscriber growth mirrors the growth of social media, and the growth of the Internet in general. There have been 2,446,084 Total unique subscribers since the project began. That is at least 2.5 Million people that have not only heard about HPR, but have also actively subscribed to an HPR feed. There have been 359 hosts since the project began. The plots show that the number of monthly subscribers to HPR has slowly increased from 40,000 to over 120,000 between 2010 and 2022. It also shows for the same period the number of new hosts per month. The period between 2010 and 2016 shows a lot of new hosts joining at a rate of about three per month. This was when we were active at FLOSS Events. Between 2016 and 2023 the rate of new hosts drops to one every two months or so. Links Pepper and Carrot

In this episode, Ray Sclafani discusses the importance of establishing an advisory board for financial advisory firms. He highlights the benefits of having a formal advisory board, including strategic guidance, network access, accountability, specialized knowledge, risk management, long-term vision, and the development of future partners. Ray emphasizes the role of the advisory board in providing valuable insights, guidance, and support to navigate challenges and drive growth. He also provides tips on setting up an advisory board, such as investing time and money, paying board members, and creating a schedule of quarterly meetings.Key Takeaways - Establishing an advisory board can provide crucial benefits for financial advisory firms.  - An advisory board offers strategic guidance, network access, accountability, specialized knowledge, risk management, long-term vision, and the development of future partners.  - Advisory board members bring diverse expertise and experience to help make informed decisions and navigate challenges.  - Setting up an advisory board requires investing time and money, paying board members, and creating a schedule of quarterly meetings.  - An engaged and productive advisory board can be a valuable asset for financial advisory firms.  To find this article from The ClientWise Blog click here or visit https://www.clientwise.com/blog/7-powerful-reasons-to-formalize-your-advisory-board Are you interested in joining a community of high-performing financial advisors? ClientWise has created one of the largest and most dynamic online communities exclusively for financial advisors, the ClientWise eXchange™. We unite high-performing advisors and their team members, fostering a collaborative environment where like-minded professionals come together with a shared commitment to building enduring firms.  Plus, enjoy access to an extensive practice management library packed with resources on topics like strategic planning, client acquisition, team development, and operations. Join us and be part of a thriving network dedicated to success and growth!Visit exchange.clientwise.com to claim a complimentary membership.

Consolidating Accounts and Legal Risks: "I think the biggest risk would be for the financial accounts because the person that does know the password that is the key to the kingdom may not understand where their control starts and where their authority ends, And just because they know the password to that bank account doesn't mean that the dollars sitting in that account are theirs or can be transferred lawfully."— Larae SchraederIn this episode, we talk about the intricate world of digital estates with our expert guest, Larae Schraeder from Schraeder Law. As our lives become increasingly intertwined with digital platforms, from social media to online banking, the question arises: What happens to these digital assets when we pass away? Larae will guide us through the legal landscape of digital estates, offering essential tips on how to manage and protect our digital presence effectively in our wills and estate planning. Top Takeaways1. Digital assets encompass not only obvious items like social media accounts and online banking, but also less obvious ones such as PIN numbers, passwords, and digital files like photos stored in the cloud. 2. A digital executor is someone appointed to manage and oversee your digital assets after you pass away. 3. Simply knowing someone's password does not legally empower an individual to manage their digital assets. 4. Creating a comprehensive list of all digital assets is a fundamental first step in digital estate planning. 5. Handling digital financial assets, like bank accounts or investments, without proper authorization can lead to legal violations. 6. The executor of a digital estate should ideally be tech-savvy as this role requires managing various types of digital platforms and understanding digital security protocols.7. Platforms like Facebook and Apple ID allow users to set up legacy contacts who can manage digital assets posthumously without needing the password. 8. Digital estate planning should consider security measures such as two-factor authentication which protects digital information but also acknowledges the executor's need for access posthumously.9. Active management of digital assets involves not just accessing accounts but properly closing them or managing ongoing subscriptions and payments.10. While a will may address digital assets, adding specific instructions for each type of digital asset or account can be beneficial. Memorable Moments04:46 Identify all digital accounts and secure them.09:18 Granting authority must be carefully considered.12:42 Assets like Amazon points are part of estate.14:54 Formalize will with specific instructions for executor.19:56 Identifying and avoiding common client mistakes.21:40 Set up legacy contacts for Apple and Facebook.We would love to hear from you.Give us your feedback, or suggest a topic, by leaving us a voice message.Email us at hello@lookingforwardourway.com.Find us on Facebook.Please review our podcast on Google!And of course, everything can be found on our website, Looking Forward Our Way.Recorded in Studio C at 511 Studios. A...

This week, Russian President Vladimir Putin traveled to North Korea to meet with Supreme Leader Kim Jong Un, where the two signed a comprehensive strategic partnership. This formalized alliance has a provision that Russia and North Korea “provide mutual assistance” if facing aggression. While their war on Ukraine has alienated Russia from the West, Putin has found a willing partner in Kim Jong Un to get ammunition and supplies for his war. Their latest pact is a concern for South Korea and the United States, as North Korea has long had goals for a robust nuclear weapons program. Dr. Rebecca Grant is a national security analyst and a Vice President at the Lexington Institute. She joins FOX's John Saucier to explain the repercussions of this dangerous new axis forming among many of the West's most dangerous and desperate adversaries. Photo Credit: Sputnik Kremlin Learn more about your ad choices. Visit megaphone.fm/adchoices

This week, Russian President Vladimir Putin traveled to North Korea to meet with Supreme Leader Kim Jong Un, where the two signed a comprehensive strategic partnership. This formalized alliance has a provision that Russia and North Korea “provide mutual assistance” if facing aggression. While their war on Ukraine has alienated Russia from the West, Putin has found a willing partner in Kim Jong Un to get ammunition and supplies for his war. Their latest pact is a concern for South Korea and the United States, as North Korea has long had goals for a robust nuclear weapons program. Dr. Rebecca Grant is a national security analyst and a Vice President at the Lexington Institute. She joins FOX's John Saucier to explain the repercussions of this dangerous new axis forming among many of the West's most dangerous and desperate adversaries. Photo Credit: Sputnik Kremlin Learn more about your ad choices. Visit megaphone.fm/adchoices

This week, Russian President Vladimir Putin traveled to North Korea to meet with Supreme Leader Kim Jong Un, where the two signed a comprehensive strategic partnership. This formalized alliance has a provision that Russia and North Korea “provide mutual assistance” if facing aggression. While their war on Ukraine has alienated Russia from the West, Putin has found a willing partner in Kim Jong Un to get ammunition and supplies for his war. Their latest pact is a concern for South Korea and the United States, as North Korea has long had goals for a robust nuclear weapons program. Dr. Rebecca Grant is a national security analyst and a Vice President at the Lexington Institute. She joins FOX's John Saucier to explain the repercussions of this dangerous new axis forming among many of the West's most dangerous and desperate adversaries. Photo Credit: Sputnik Kremlin Learn more about your ad choices. Visit megaphone.fm/adchoices

HEADLINES: PH, US, Japan to formalize accord | Mar. 15, 2024 Subscribe to The Manila Times Channel - https://tmt.ph/YTSubscribe Visit our website at https://www.manilatimes.net Follow us:Facebook - https://tmt.ph/facebookInstagram - https://tmt.ph/instagramTwitter - https://tmt.ph/twitterDailyMotion - https://tmt.ph/dailymotion Subscribe to our Digital Edition - https://tmt.ph/digital Check out our Podcasts:Spotify - https://tmt.ph/spotifyApple Podcasts - https://tmt.ph/applepodcastsAmazon Music - https://tmt.ph/amazonmusicDeezer: https://tmt.ph/deezerStitcher: https://tmt.ph/stitcherTune In: https://tmt.ph/tunein #TheManilaTimes#KeepUpWithTheTimes Hosted on Acast. See acast.com/privacy for more information.

This is the 2nd part of our examination of celebrity estate plans. Using the real-life stories of some of entertainment's most famous figures, Jeff teaches us valuable lessons that can be applied to our own situations.    What You Need to Know  (00:00) Episode introduction. (02:56) Singer Whitney Houston created a will in 1993. She died 19 years later with the same will in place. The lesson: Keep your will up to date. Be careful about passing large sums of unprotected money to young people. (07:39) Attorney Robert Kardashian—part of OJ Simpson's defense team and the father of Kourtney, Kim, Khloe, and Rob—had a handwritten will. Upon his death, the language in the will was unclear and subsequently disputed. The lesson: Detailed language matters.   (11:44) Actor Heath Ledger died in 2008 with an outdated will that left everything to his parents and sister. So, at the time of his death, Ledger's young daughter was not provided for. His family gifted the inheritance to his daughter. The lesson: Don't rely on others to do the right thing.   (16:20) Musician Prince died in 2016 with $200 million in assets—and no will or trust. Forty-five people claimed to be heirs. By 2018, $6 million had been spent on unnecessary legal fees. The lesson: Formalize your plan. Be detailed and intentional. (19:20) Actress Brittany Murphy named her mother as heir in a handwritten will. When Ms. Murphy got married, she updated her estate plan and used very specific language, again leaving her entire estate to her mother. The lesson: Keep your plan updated and use detailed language. (22:51) Singer Aretha Franklin died without a will or trust. Two contradictory handwritten wills were found in her house. The lesson: Use a professional to create an estate plan. Have only one document stored in a safe, known place.   (26:23) DJ Casey Kasem suffered from dementia in his later years. In 2007 and 2011, he created conflicting documents that put his daughter and his wife at odds over his fortune. The courts were forced to intervene. The lesson: Make your intentions clear.   About Bellomo & Associates Jeffrey R. Bellomo, the founder of Bellomo & Associates, is a licensed and certified elder law attorney with a master's degree in taxation and a certificate in estate planning. He explains complex legal and financial topics in easy-to-understand language. Bellomo & Associates is committed to providing education so that what happened to the Bellomo family doesn't happen to your family. We conduct free workshops on estate planning, crisis planning, Medicaid planning, special needs planning, probate administration, and trust administration. Visit our website (https://bellomoassociates.com/) to learn more.   LINKS AND RESOURCES MENTIONED Bellomo & Associates workshops:https://bellomoassociates.com/workshops/ Life Care Planning The Three Secrets of Estate Planning Nuts & Bolts of Medicaid For more information, call us at (717) 845-5390. Connect with Bellomo & Associates on Social Media Tune in Saturdays at 7:30 a.m. Eastern to WSBA radio: https://www.newstalkwsba.com/ X (formerlyTwitter):https://twitter.com/bellomoassoc YouTube: https://www.youtube.com/user/BellomoAssociates Facebook:https://www.facebook.com/bellomoassociates Instagram:https://www.instagram.com/bellomoassociates/ LinkedIn:https://www.linkedin.com/in/bellomoandassociates WAYS TO WORK WITH JEFFREY BELLOMO Contact Us:https://bellomoassociates.com/contact/ Practice areas:https://bellomoassociates.com/practice-areas/    

In this week's episode of the Maximize Business Value Podcast, Tom delves into Chapter 26 of the Maximize Business Value Playbook - "Formalize Documentation." Join as we explore the indispensable practice of putting commitments in writing and the profound impact it has on business stability and value.Tom begins by highlighting the cultural significance of a handshake, especially in the South. However, in the realm of business, he underscores the necessity of memorializing everything in writing. The risk of different recollections arising from verbal agreements poses a significant threat, particularly for business owners engaged in crucial discussions, such as those involving compensation or ownership.Through a compelling real-life example, Tom recounts a business acquisition where verbal promises to key managers went unfulfilled, leading to confusion and dissatisfaction post-transaction. Had these commitments been documented, the ensuing conflict could have been easily avoided.The lesson is clear: "If it's worth saying, it's worth documenting." Formalizing agreements in writing not only provides clarity but also prevents potential conflicts that could impact both business owners and employees. This proactive approach fosters a sense of security and confidence, ultimately contributing to increased business value.MAXIMIZE BUSINESS VALUE BOOK: https://amzn.to/2AvazXTMAXIMIZE BUSINESS VALUE PLAYBOOK: https://amzn.to/3Vv2KWqSchedule a time with Tom: http://calendly.com/tombronsonCONNECT WITH TOMFacebook: https://www.facebook.com/masterypartnersLinkedIn: https://www.linkedin.com/in/tom-bronson/Website: https://www.masterypartners.com/Please be sure to like and follow for more great content to help YOU maximize YOUR business value!Tom Bronson is the founder and President of Mastery Partners, a company that helps business owners maximize business value, design exit strategy, and transition their business on their terms. Mastery utilizes proven techniques and strategies that dramatically improve business value that was developed during Tom's career 100 business transactions as either a business buyer or seller. As a business owner himself, Tom has been in your situation hundreds of times, and he knows what it takes to create and implement the right strategy. Tom is passionate about helping business owners and has the experience to do it. © 2023 Mastery Partners, LLC.

The House votes to formalize an impeachment inquiry and Republicans react to Hunter Biden calling out James Comer on his offer for a public hearing and a Denver family sues Chili's after alleged discrimination when they were accused of dine & dash and asked to pay for their meals in advance.

On today's DSR Daily, the Supreme Court announces that it will make a decision on Mifepristone, the House votes to formalize the Biden impeachment inquiry, Putin makes statements on war in Ukraine, and more. Learn more about your ad choices. Visit megaphone.fm/adchoices

The full House of Representatives just formalized the impeachment inquiry of President Biden as Republicans seek to move the probe forward. The vote comes hours after Hunter Biden defied a GOP subpoena to testify behind closed doors, accusing Republicans of lying over and over about him and his father. Also breaking, a federal judge is pausing Donald Trump's 2020 election interference case. The order could delay Trump's scheduled March trial date potentially pushing it closer to election day. Plus, President Biden meets with the families of American hostages held by Hamas amid new fractures in his relationship with the Israeli Prime Miinister Netanyahu over the war in Gaza. Learn more about your ad choices. Visit megaphone.fm/adchoices

On today's DSR Daily, the Supreme Court announces that it will make a decision on Mifepristone, the House votes to formalize the Biden impeachment inquiry, Putin makes statements on war in Ukraine, and more. Learn more about your ad choices. Visit megaphone.fm/adchoices

On today's DSR Daily, the Supreme Court announces that it will make a decision on Mifepristone, the House votes to formalize the Biden impeachment inquiry, Putin makes statements on war in Ukraine, and more. Learn more about your ad choices. Visit megaphone.fm/adchoices

On Wednesday, the House took a notable step forward in its investigation into President Biden by voting to officially begin an impeachment inquiry. The measure received a narrow approval with a 221 to 212 result; every Republican showed support for the move, whereas the Democrats present during the vote all voiced their opposition. Oversight Committee Chairman, James Comer, a Republican from Kentucky, addressed the House floor leading up to the vote. He outlined the significant point reached in the investigation and detailed the intent to question several members of the Biden family. Comer also highlighted the investigatory challenges posed by purported obstructions from the White House. According to Chairman Comer, the White House has been making efforts to prevent crucial testimony from current and former staffers. Additionally, thousands of records related to President Biden's Vice Presidential tenure are allegedly being withheld. Comer stressed the necessity of holding President Biden accountable for suspected dishonesty, corruption, and obstruction. The Republicans are currently holding the reins in various committees, including Oversight, Ways & Means, and Judiciary. Investigations have been launched into Biden's potential misuse of his vice-presidential power to financially benefit his family through international businesses. The inquiries have prominently featured his brother, James Biden, and son, Hunter Biden - the latter facing a federal investigation for tax and firearms-related offenses. Kevin McCarthy, Republican and former Speaker of the House, was the one to call for an impeachment inquiry into Biden in September. Despite McCarthy's request, the White House has shown dismissal towards the probe, deeming it illegitimate in the absence of a formal House vote.See omnystudio.com/listener for privacy information.

FOX News Radio's Ryan Schmelz joins Marc & Kim to discuss if Republican will vote to formalize Biden impeachment this week.

In the 3rd hour of the Marc Cox Morning Show: Will you wear a mask if mandated to  Real or Fake News with Carl: Come see if you can beat reigning champ Ethan in the Real or Fake Headlines. FOX News Radio's Ryan Schmelz joins Marc & Kim to discuss if Republican will vote to formalize Biden impeachment this week. George Santos making Cameo messages now Coming Up: Jessie Jane Duff and Tom Ackerman

In this enlightening podcast episode, Pete Rawlinson (CMO of Allbound) engages in a deep conversation with James Partington (Head of Partnership Programs at Hootsuite) about the significance of developing a partner-centric journey and the steps they took to formalize their own partner program. Listen as James takes us through his valuable experience at Hootsuite, highlighting the key considerations they made during their partner program revamp. He emphasizes the importance of providing clear value to partners and debunks the notion that a “build it and they will come” mindset works with partner portals.

In this episode... Renaud and Andrew, Sofeast's head of New Product Development, are in the booth discussing how a supplier's quality can be evaluated and validated. In order to avoid purchasing parts or materials that will let you down, you need to be able to assess if a supplier is capable of reaching your requirements, and they're going to tell you how!   Show Sections 00:00 - Greetings and introducing today's topic. 01:31 - Why is supplier quality important? 05:56 - When should you start being concerned with supplier's quality and what should you do to mitigate risks of poor quality? 15:33 - Why the quality team must help to include your quality standards in the PRD (product requirement document). 22:05 - Why small businesses may benefit from working with a supplier who has in-house engineering resources. 23:32 - Doing due diligence to qualify that a supplier's quality is good. 33:16 - Checking the supplier's QMS. 35:07 - Regular audits can also uncover helpful information about suppliers. 37:35 - Formalize approved suppliers. 41:43 - Wrapping up.   Related content... Sourcing New Suppliers From China: 7 Tips For Success. Free Download: Ultimate Guide To Sourcing From China And Developing Your Suppliers [eBook] Click here to listen

How do you get and keep your SEO team up to speed? Where do you even start when training an SEO team? What tactics should you follow when building a strong SEO training program?  Take your team to the next level as Sterling Sky's Colan Nielsen joins Wix's Crystal Carter and Mordy Oberstein to share proven strategies for training SEO teams.  Formalize your training programs as Wix's own Henry Collie joins us to discuss his expertise in implementing successful courses to further strengthen your SEO team and beyond.  “Go team!”, as this episode of the SERP's Up SEO Podcast helps you take your SEO team to new heights.   Key Segments: [00:02:34] What's On This Episode of SERP's Up? [00:03:45] Focus Topic of the Week: Training an SEO Team [00:04:55] Focus Topic Guest: Colan Nielsen [00:27:21] Across the Wixverse [00:41:53] Snappy News [00:46:38] Follow of the Week   Hosts, Guests, & Featured People: Mordy Oberstein Crystal Carter Colan Nielsen Henry Collie Mark Preston   Resources: SERP's Up Podcast Wix SEO Learning Hub Wix Studio Wix Studio YouTube Searchlight SEO Newsletter Sterling Sky SEO Agency LocalU   News: Google Completes Rollout of October 2023 Spam Update Google October 2023 Core Update rollout is now complete Google: Search Generative Experience May Link To Paywalled Content But Here Is How To Block SGE  

The Hallmark of happy couples is NOT that they never have disagreements or regrettable incidences. What sets the "masters of marriage" apart from the "disasters of marriage," as Gottman likes to classify them, is Repair Attempts. If you can have a fight but come back together and effectively move forward, learning from your last conversation that didn't go well, then you are on the right track for a growing relationship. This week I show you how to repair your conversations by tapping the breaks, taking a time out, and coming back together. If you are ready to become the woman God says you already are, you have to join me in Clarity+Courage, my cost-effective coaching group for Christian women. Learn more and enroll at www.myhappyvault.com/clarityandcourageQuestions? Email Jill directly at Jill@thehappiestlives.com

In episode 384, Caro Jensen teaches us four easy steps to build a strong food brand, stand out from the crowd and offer maximum value to our readers. Caro is a seasoned marketing professional who has worked in the food and wine space for over a decade. As a Brand and PR Manager in the wine industry she's worked with bloggers directly and via agencies. She's also connected bloggers and brands as a marketing consultant and works as a food and wine content creator to build her own brand and channels. In this episode, you'll find out what branding is, why it is important for business growth and how to build a strong, identifiable and likable brand. - Branding is not just your logo. - With SEO being popular, individuality is more important than ever. - Find your brand mission and create a vision board. - How do you want to serve your reader? - Why did you start your blog? - A tag line helps others to understand quickly what you do. - Create a mood board for your brand. - Formalize your brand feel in a style guide. - Decide what photography and videography style you want to use. - What writing style will you use? - Being on brand should allow you to be yourself. - Be consistent with your branding on all platforms. Connect with Caro Jensen Website | Instagram

Step-by-step process to find your perfect customer: Define who you want to be in the market. Ask “what is your business trying to accomplish this year?” Dissect your current customer base with a team of people. Formalize it, socialize it and realize it. Repeat this process and do it often.

Godfrey Senkaba discusses 10 must-dos for every hiring manager to successfully onboard new employees, particularly those who will perform monitoring and evaluation jobs. The tips are intended to improve the onboarding practices of hiring managers. Already 9 in 10 employees disagree that their organization does a good job onboarding new employees (Gallup.com).  Tip #1. Develop and complete a pre-onboarding checklist Tip #2. Scope the issues to address during onboarding Tip #3. Develop and execute a Technical Onboarding Plan.Tip #4. Don't Skip Orientation. Just Ensure it is meaningful.Tip #5. Have clear targets and outcomes for the onboarding. Tip #6. Have a shared understanding of the Job, roles, and expectations. Tip #7. Confirm the new employee's portfolio Tip #8. Formalize performance goals and expectations.Tip #9. Discuss and agree on a professional development plan, and Tip #10. Be available to answer questions and concerns from the employee. Have you hired new staff recently? What is your experience? I am happy to hear from you and just as ready to work with you to improve the job experience of new employees. Use the comment box below or send me an email. Thank you for your feedback. Connect with Godfrey Senkaba:Website: https://www.mandeboost.comEmail: info@mandeboost.comTwitter: https://twitter.com/senkaba_gLinkedIn: https://www.linkedin.com/in/godfrey-senkaba-32452428/

01. Tiesto, Tate McRae - 10_35 (feat. Tate McRae) [Tiesto's New Year's Eve VIP Remix] (Extended Mix) 02. David Guetta, James Carter, Elley Duhé, Meduza, FAST BOY - Bad Memories (David Guetta Remix) 03. Topic, HRVY - All Or Nothing (Extended Mix) 04. R3HAB, Mike Williams - Sing Your Lullaby (Extended Version) 05. Hugo Cantarra, Taim - What Did You Say (AVIRA Extended Remix) 06. MOGUAI, Bright Sparks, Bhaskar, Bulgarian Voices Angelite, Huun-Huur-Tu - Lost Generation (Edit) 07. Kaskade, deadmau5, Elderbrook, Kx5 - When I Talk (Extended Mix) 08. Lastlings - Get What You Want - Vintage Culture Dub Edit (Original Mix) 09. Lane 8, Solomon Grey - Together feat. Solomon Grey (GrigoreÌ Remix) 10. Jebu, Corey James - Drum Beats Go Like (Extended Mix) 11. Lowez - Can't Get Enough (Original Mix) 12. Formalize, GUI2IN - Bounce That (Extended Mix) 13. Nacho Chapado, Ivan Gomez - Move It (Extended Mix) 14. Malaa - How it is (Original Mix) 15. Mosimann - Dancing On My Own (Matt Sassari Remix) 16. Ummet Ozcan - Oyna (Extended Mix) 17. Öwnboss, FAST BOY - Left & Right (BYOR Remix) (Extended Mix) 18. INDOX, POLTERGST - Pump That Shit (Extended Mix) 19. Sam Smith, Kim Petras - Unholy (David Guetta Acid Extended Mix) 20. Alok - Kill Me (Extended Mix) 21. Aster - Generation (Koriginal Mix) 22. Bassjackers, Dimitri Vegas & Like Mike - Raket (Extended Mix) 23. Afrojack, James Arthur - Lose You (Nicky Romero Extended Remix) 24. W&W, AXMO - Heaven Is A Place On Earth (Extended Mix)

01. Tiesto, Tate McRae - 10_35 (feat. Tate McRae) [Tiesto's New Year's Eve VIP Remix] (Extended Mix) 02. David Guetta, James Carter, Elley Duhé, Meduza, FAST BOY - Bad Memories (David Guetta Remix) 03. Topic, HRVY - All Or Nothing (Extended Mix) 04. R3HAB, Mike Williams - Sing Your Lullaby (Extended Version) 05. Hugo Cantarra, Taim - What Did You Say (AVIRA Extended Remix) 06. MOGUAI, Bright Sparks, Bhaskar, Bulgarian Voices Angelite, Huun-Huur-Tu - Lost Generation (Edit) 07. Kaskade, deadmau5, Elderbrook, Kx5 - When I Talk (Extended Mix) 08. Lastlings - Get What You Want - Vintage Culture Dub Edit (Original Mix) 09. Lane 8, Solomon Grey - Together feat. Solomon Grey (GrigoreÌ Remix) 10. Jebu, Corey James - Drum Beats Go Like (Extended Mix) 11. Lowez - Can't Get Enough (Original Mix) 12. Formalize, GUI2IN - Bounce That (Extended Mix) 13. Nacho Chapado, Ivan Gomez - Move It (Extended Mix) 14. Malaa - How it is (Original Mix) 15. Mosimann - Dancing On My Own (Matt Sassari Remix) 16. Ummet Ozcan - Oyna (Extended Mix) 17. Öwnboss, FAST BOY - Left & Right (BYOR Remix) (Extended Mix) 18. INDOX, POLTERGST - Pump That Shit (Extended Mix) 19. Sam Smith, Kim Petras - Unholy (David Guetta Acid Extended Mix) 20. Alok - Kill Me (Extended Mix) 21. Aster - Generation (Koriginal Mix) 22. Bassjackers, Dimitri Vegas & Like Mike - Raket (Extended Mix) 23. Afrojack, James Arthur - Lose You (Nicky Romero Extended Remix) 24. W&W, AXMO - Heaven Is A Place On Earth (Extended Mix)

Guest: Bob Rae, Canada's Ambassador to the United Nations

Welcome to The Nonlinear Library, where we use Text-to-Speech software to convert the best writing from the Rationalist and EA communities into audio. This is: Guesstimate Algorithm for Medical Research, published by Elizabeth on September 22, 2022 on The Effective Altruism Forum. This document is aimed at subcontractors doing medical research for me. I am sharing it in the hope it is more broadly useful, but have made no attempts to make it more widely accessible. Intro Guesstimate is a tool I have found quite useful in my work, especially in making medical estimates in environments of high uncertainty. It's not just that it makes it easy to do calculations incorporating many sources of data; guesstimate renders your thinking much more legible to readers, who can then more productively argue with you about your conclusions. The basis of guesstimate is breaking down a question you want an answer to (such as “what is the chance of long covid?”) into subquestions that can be tackled independently. Questions can have numerical answers in the form of a single number, a range, or a formula that references other questions. This allows you to highlight areas of relative certainty and relative uncertainty, to experiment with the importance of different assumptions, and for readers to play with your model and identify differences of opinion while incorporating the parts of your work they agree with. Basics If you're not already familiar with guesstimate, please watch this video, which references this model. The video goes over two toy questions to help you familiarize yourself with the interface. The Algorithm The following is my basic algorithm for medical questions: Formalize the question you want an answer to. e.g. what is the risk to me of long covid? Break that question down into subquestions. The appropriate subquestion varies based on what data is available, and your idea of the correct subquestions is likely to change as you work. When I was studying long covid last year, I broke it into the following subquestions What is the risk with baseline covid? What is the vaccine risk modifier? What is the strain risk modifier? What's the risk modifier for a given individual? In guesstimate, wire the questions together. For example, if you wanted to know your risk of hospitalization when newly vaccinated in May 2021, you might multiply the former hospitalization rate times a vaccine modifier. If you don't know how to do that in guesstimate, watch the video above, it demonstrates it in a lot of detail. Use literature to fill in answers to subquestions as best you can. Unless the data is very good, these probably include giving ranges and making your best guess as to the shape of the distribution of values. Provide citations for where you got those numbers. This can be done in the guesstimate commenting interface, but that's quite clunky. Sometimes it's better to have a separate document where you lay out your reasoning. The reader should be able to go from a particular node in the guesstimate to your reasoning for that node with as little effort as possible. Guesstimate will use log-normal distribution by default, but you can change it to uniform or normal if you believe that represents reality better. Sometimes there are questions literature literally can't answer, or aren't worth your time to research rigorously. Make your best guess, and call it out as a separate variable so people can identify it and apply their own best guess. This includes value judgments, like the value of a day in lockdown relative to a normal day, or how much one hates being sick. Or the 5-year recovery rate from long covid- no one can literally measure it, and while you could guess from other diseases, the additional precision isn't necessarily worth the effort. Final product is both the guesstimate model and a document writing up your sources and reasoning. Example: Trading off air quality and covid. The final model is available here. Every year California ...

Matt Gjertsen, founder and Chief Learning Officer of Better Every Day Studios, joins us on the podcast to discuss how to formalize your onboarding process. He shares his approach for designing effective onboarding with a three part strategy, and covers considerations for virtual onboarding. He also highlights the advantages to adapting in-person onboarding with blended learning solutions, reveals how defining your onboarding processes can create intentional culture, and how L&D can be a driver for businesses to scale. Resources: Matt Gjertsen on LinkedIn Matt Gjertsen's Website

Steve Grzanich has the business news of the day with the Wintrust Business Minute. Lollapalooza and the City of Chicago have formalized a deal that will keep the music festival in Grant Park for the next 10 years.  The agreement could generate $4 billion in economic impact during the next decade. Also, McDonald's has ended […]

What is Experience First, Formailze Later (EFFL)? Date: May 3, 2022 In this presentation, we will present a few lessons that have been developed for a student-centered classroom. In these lessons, students work in small groups to experience the learning before the teacher formalizes the learning with definitions and formulas. Using this learning structure, students […]

Today we speak with Sarah Stecher from Grand Rapids, Michigan. Sarah has experience teaching courses from Geometry all the way through to AP Calculus in the most diverse public high school in Michigan. She is now the chief lesson designer at Math Medic, a website that provides free lesson plans for teachers, covering the entire high school math curriculum.The discussion today will focus around the teaching model developed for Math Medic -- Experience First, Formalize Later (or EFFL for short!). In this teaching model, students interact in small groups on an activity before the teachers formalize the learning with a whole group discussion. Sarah has found that this teaching model promotes curiosity and engagement, opens up access to a wider variety of students, and produces confident learners  capable of flexible thinking.You'll Learn: What is the Experience First, Formalize Later (EFFL) way of teaching and learning?How to promote curiosity in your classroom, foster positive collaborative discussions, and create learners capable of flexible thinking. Free resources to start teaching with this model. Resources: Why teach using Experience First, Formalize Later?www.mathmedic.comwww.statsmedic.comwww.calc-medic.comHow to Debrief an EFFL LessonRedefining What it Means to be Good at MathReframing Mistakes in the Math ClassroomTwitter: @mathmedicCreate engagement while fuelling students sense making by using Make Math Moments ready-made lessons and units. Access our vast catalogue of lessons for elementary through high school math classes. Check the catalogue here --> https://makemathmoments.com/tasks/ Grab the free Make Math Moments 3-Part Framework Guidebook to extend your learning from this podcast! Grab the book here --> https://makemthathmoments.com/framework/

On this solo episode, Stacey is talking about the new year jump! Are you still motivated? Are you still building momentum? Listen in for valuable tips to make sure! Key takeaways: -Allow yourself time to plan. -Create a daily task list. Personal and professional. -You decide what is urgent and important. Tweetable Quotes: "Make sure your personal tasks are planned. Lunches, meal prep, laundry... do a run through on the personal that can impact the professional." -Stacey O'Byrne "Formalize your life. Do a Sunday brain dump. Coordinate that data as tasks throughout the week." -Stacey O'Byrne "Your day doesn't start until you do. Wake up when you need to wake up." -Stacey O'Byrne Resources: Instagram: @pivotpointadvantage Schedule a 15 minute call with Stacey:http://pivotpointadvantage.com/talktostacey ( http://pivotpointadvantage.com/talktostacey) If you're ready to take yourself and your business to the next level and are interested in a coaching program that will get you there check out:http://pivotpointadvantage.com/iwantsuccess ( http://pivotpointadvantage.com/iwantsuccess)  Join an interactive environment to help you build the success you've always wanted with other like-minded, success-driven entrepreneurs, business owners, and sales professionals:https://facebook.com/groups/sellwithoutselling ( https://facebook.com/groups/sellwithoutselling) 

Como fazer um plano de vendas para 2022 ? Todo início de ano é aquela mesma história: a Gestão de Vendas se reúne com toda a empresa para planejar todo o cronograma do ano. O caso é que muitos gestores não sabem nem por onde começar. Pensando nisso, quero aqui lhe ensinar como fazer um plano de vendas para 2022, e melhor ainda, como isso pode trazer muitos bons resultados para a empresa, confira. Se você neste momento está planejando todo o seu trabalho de Vendas e Marketing, aproveite: pegue seu papel e caneta e anote estes pontos cruciais para o sucesso de sua empreitada: 1) DATAS COMEMORATIVAS Estabeleça um plano de marketing muito minucioso para todas as datas comemorativas do ano. Se você é do varejo, fique muito esperto com suas ações de Natal, Black Friday, Férias, Festa Junina, Páscoa, Carnaval e muito mais. Conforme o seu nicho de mercado, escolha com antecedência as promoções que fará com muito cuidado para vender muito; 2) CRIE CENÁRIOS A melhor forma de como fazer um plano de vendas para 2022 é criar 3 situações de vendas: a ruim, a esperada e a que supera qualquer expectativa. Para cada cenário, crie um plano de ação de vendas, entendeu? Seja um roteirista de cinema. 3) TENHA REGISTRO DE TUDO Nada de confiar na memória. Formalize tudo preto no branco. Pode ser em seu CRM, e-mail, pode ser em seu sistema, nas nuvens, não sei. O que importa realmente é você registrar todas suas ações e planos, para que depois você consiga chegar e refazer para mudar possíveis rotas. Isso facilita o planejamento mensal do seu trabalho. 4) SEJA OMNICANAL Tenha estratégias para atual tanto no canal offline quanto no on line. A pandemia só acelerou um processo que era irreversível. Você terá a missão de criar novas formas de atender e vender para o seu exigente cliente. 5) INVISTA EM TREINAMENTO De nada adianta ter as melhores lojas, os melhores processos e o melhor sistema, se sua equipe de vendas e atendimento não está CAPACITADA e MOTIVADA para encantar seu cliente. Portanto, não esqueça de investir no melhor ativo da sua empresa. Portanto, espero que com estas dicas e estratégias você aprenda a como fazer um plano de vendas para 2022, 2023, 2024, 2025... E bora, #BORABRILHAR !

Piggybacking off of last week, what are you going to do differently/better to help move the needle? This podcast breaks down my answer to that question. 1. Focus on the activities that matter 2. Outsource and automate (admin, CRM, Dialer, recruiter) 3. Get serious about recruiting and Formalize a new agent onboarding process 4. Improve placement rate 5. Articulate and connect with my goals My list may or may not be what you're focusing on, but hopefully, there are a few takeaways for you here. If you like this, you may like my book. To protect your family, contact us. To change your life, join our team.

[קישור לקובץ mp3] בפרק מספר 422 של רברס עם פלטרפורמה - אני מתכבד לארח באולפן הוירטואלי שלי את ארז מטולה(רן) אז אם אתם מזהים את הקול הזה, זה בגלל שאתם מאזינים ממש-ממש-ממש אדוקים - עם ארז נפגשנו לפני 10 שנים - או יותר, אולי אפילו 11 שנים [מפה לשם כמעט 12…] - והקלטנו פרק, אז, על נושא של Penetration Testing [058 אבטחת מידע בתכנה software security, כולל הפתיח ההיסטורי למטיבי שמע], והנה אנחנו נפגשים שוב אחרי 10 או 11 שנים, כדי לראות מה התעדכן. רמז - הרבה . . . אז לפני שנכנס לעולם ה-Pen-Testing, ארז - ספר לנו, ככה בכמה מילים, עליך - (ארז) בשמחה - אני נמצא בתחום הזה של ה-Security בערך מאז שאני זוכר את עצמי . . . עוד בתור ילד, התעסקתי עם כל מיני שפות פיתוח ועם לפרוץ למשחקים ולעשות כל מיני דברים [לכאורה].היה לי ברור שזה הכיוון שלי, עוד בתור ילד היה לי ברור שאני איכשהו אשלב בין עולם המחשבים ועולם האבטחה - “הפריצות” אז קראנו לזה, עוד לא הייתה הגדרה לכזה דבר.ובאמת, בשביל לעשות את זה בצורה רצינית, היה לי ברור שגם צריך לעשות את זה בצורה “נכונה” ו”אקדמאית”, נקרא לזה.אז לאחר שלמדתי תואר ראשון ותואר שני בתחום, אמרתי “רגע, מה אני עוד יכול לעשות?”אולי אני אלך לעבוד בחברת פיתוח, כי בסך הכל אני מפתח תוכנה - אבל מצד שני, אני מאוד אוהב את ה-Security . . .אז אמרתי - רגע, בדיוק נולד תחום חדש שנקרא Application Security - אני מדבר איתך על לפני 20 שנה, כן? כשנכנסתי לעניינים - ואמרתי “איזה מגניב!”זה תחום שמשלב בין Security לפיתוח - בדיוק החיתוך הזה - ווואלה, נשמע לי מאוד מגניב, משהו שאני מאוד מתחבר אליו. ומאז גם התחלתי להתעסק עם כל מיני דברים שקשורים לכלים שפיתחתי, למחקרים שביצעתי, הרצאות שעשיתי במקומות כמו Black Hat ו-DevConאפילו יצא לי לכתוב ספר בנושא, שנקרא Managed Code Rootkitsומאז מאוד פיתחתי את התחום והשתדלתי לקחת סביבי הרבה מאוד אנשים שיטפלו בנושא הזהולפני משהו כמו 10 שנים הקמתי חברה בשם AppSec Labs - זו חברה שמתמחה בתחום ה-Application Security, ומה שאנחנו עושים בעצם זה בדיוק זה: אנחנו 15 איש, עושים Penetration Testing, עושים Code Review, מייעצים איך לכתוב אפליקציות בצורה בטוחה . . . כאשר המטרה המרכזית שלנו, בסופו של דבר, היא לגרום לעולם להיות מקום בטוח יותר, בהקשר של Software.(רן) מצויין, באמת הסטוריה ארוכה ומכובדת - לא הרבה יודעים, אבל גם אני התחלתי את הקריירה שלי כ-Pen-Tester, באיזשהו שלב . . . אחרי שסיימתי את הלימודים, זה היה אחד הדברים הראשונים שעשיתי, ואח”כ עברתי לכיוונים אחרים של Frontend ו-Backend ותשתיות - והיום Data Science, אבל כן, יש לי עדיין פינה חמה בלב לעולם ה-Pen-Testing וגם אני הייתי ב-Black Hat וכאלה, מכיר את החבורה . . .אבל בכל אופן, למי שאולי לא מכיר - הזכרנו את המילה הזו מספר פעמים: Pen-Testing: מה המשמעות? מה זה Pen-Testing? מה המשמעות של להיות Pen-Tester?(ארז) Pen-Testing זה, בצורה הכי נקרא-לזה-ככה-“מסונתזת”-שלו, זו מערכת, שיכולה להיות מערכת We-App או Mobile-App . . .ויכול להיות Pen-Test תשתיתי בכלל - Pen-Test לשרת קבצים, ל-IAS, ל-Apache . . . לא משנה מה, תמיד יש Target.בשורה התחתונה - המטרה היא להפיק דוח, להפיק רשימת Vulnerabilities, בעיות שנמצאו במערכת - על מנת שהצד השני - בדרך כלל בעל המערכת - יוכל להבין בפני מה הוא עומד.אם בעל המערכת יודע שיש לו איזושהי מערכת, ואין לו כל כך מושג אילו בעיות יש שם - אז הדבר הכי קרוב לפורץ אמיתי, שיפרוץ לו למערכת וינצל את זה - זה לקחת מישהו, נקרא לזה “מהטובים” - Penetration Tester, שבצורה מסודרת ומבוקרת ובתיאום עם אותו גורם, יבצע לו [עבורו] סוג של “סימולציה של האיש הרע”רק שבמקום שהוא באמת ינצל את הפרצות האלה ויעשה עם זה משהו, הוא פשוט בא ואחרי זה אומר לו “הנה, תראה - אלו הן הבעיות שמצאתי והנה, מההבנה שלי את הבעיות, אני גם יכול להגיד לך איך כדאי לך לטפל ולתקן אותן”.(רן) בסדר גמור, מעולה - אז אפשר לחשוב על Pen-Tester כעל “שודד טוב”: מישהו שמדמה פריצה אבל בסופו של דבר נותן לך דוח ולא גונב לך את הכסף, או את שאר הדברים . . .אז המקצוע הזה, כמו שאמרת, התחיל כבר לפני 20 שנה או יותר - אבל בוא נדבר על מה שקורה היום, זאת אומרת - מה התחדש, לפחות נאמר ב 5-10 שנים האחרונות, מבחינה טכנולוגית, מבחינה מתודולוגית . . . מה חדש בזמן האחרון?(ארז) אז קודם כל המון השתנה . . . אם אני אקביל את זה למה שהיה אז, בפגישה הקודמת שלנו לפני ~15 שנה, אז העולם היה מאוד פשוט . . .אז היתה לך טכנולוגיה אחת, בדרך כלל, שרת Web אחד . . . הכל היה מאוד הומוגני.הרוב היה רץ על IAS-ים, בדרך כלל מה שכתבו היו Web-Apps עם ASP . . . בהמשך התחיל NET.אם כבר היו אפקליציות Web-יות אז הן היו רק Java . . . היה מאוד מצוצמם.בדרך כלל, מי שעשה Penetration Testing בתקופה ההיא היו סוג של לקוחות מאוד-מאוד ממוקד - זה יכול להיות . . . בדרך כלל בנקים או תעשיות בטחוניות וכאלה.היום,Literally, כולם עושים Penetration Testing - כי כולם מבינים שזה צורך מאוד חשובוזה איזשהו שינוי מאוד מהותי שאנחנו רואים היום - שכולם עושים כל הזמן, כולם עושים להכל, לא רק לאותן אפליקציות שהן, ככה חשופות.ואם נסתכל רגע על ההבדל המשמעותי - אני אגיד את זה במשפט אחד ואני אפתח את זה: בשורה התחתונה, היום הרבה יותר מורכב לבצע Penetration Testing ממה שבוצע בעבר.היום, למשל, כשאנחנו מסתכלים על Target - אני, ברשותך, אתמקד בעולם שאני מכיר ושוחה ומומחה בו, תחום ה - Applications . . . אם אני מסתכל על Applications - ואגב Applications זה מושג מאוד רחב: זה יכול להיות Web-Apps, זה יכול להיות Mobile-Apps, זה יכול להיות IOTs, זה יכול להיות REST APIs, ו . . . You-name-it . . . כל עולם ה-Softwareבקיצור, הום הרבה יותר מורכב לבצע Penetration Testing, כי הפרופיל של ה-Penetration Tester הוא כזה שהוא צריך להיות הרבה יותר ורסטיליהוא לא יכול להכיר רק טכנולוגיה אחת, הוא לא יכול לבוא ולהגיד “אני יודע רק טכנולגויה אחת - אני יודע רק לבדוק Web-App מסוג Java!”הוא צריך להכיר טכנולוגיות שונות, הוא צריך לדעת את ההבדלים . . . מה ההבדל בין אפליקציה שנגיד מותקנת On-Prem - שזה, אגב, היה בעבר בעיקר On-Prem - לבין, פתאום, אפליקציות שהן . . . היום כמעט שאין On-Prem, רק בסביבות מיוחדות אתה תראה On-Prem.היום הרוב זה SaaS - אם ניקח את זה עוד שלב קדימה, היום הכל כמעט בנוי מעל תשתיות Cloudו-SaaS לא בהכרח אומר Cloud, יכול להיות שיש מישהו שיש לו SaaS שלא בהכרח משתמש בכל ה-Advanced Features שיש ל-Cloud Providers, כמו Storage של Encryption Keys וכמו שירותים שאתה “זורק את הקוד שלך” ויש לך איזה Lambda Function . . . אתה זורק את הקוד ואתה לא צריך בכלל תשתיות . . .אלו דברים שמאוד השתנו - ולכל סוג של מערכת, לפי ה-Deployment שלה ולפי הטכנולוגיה שלה, יש ממש סט של בעיות שאותו Pen-Tester צריך להכיר.בשורה התחתונה - ב-Pen-Testing, יש לך זמן קבוע - זה לא, ככה, “תבדוק כמה שאתה רוצה”, תמיד יש זמן קבוע - בסופו של דבר, Pen-Testing זו פעילות מסחרית, שיש לה זמן מוקצב, ואחד מהאתגרים הכי גדולים שיש ל-Pen-Tester, מעבר לטכנולוגיה, זה לדעת איך הוא “משחק נכון” עם השעות - איך הוא עושה פיזור נכון, אופטימלי, של השעות שלואיפה הוא שם את השעות אל מול ההסתברות הגבוהה למציאת Vulnerabilities - הייתי אומר שזה שם המשחק היום.(רן) אז אני מנסה, ככה, לדמיין איך נראה היום שלך, או של אחד העובדים בחברה שלך . . . אז נגיד, יש לקוח עם חוזה חדש ועכשיו יש לך, לצורך העניין, איזשהו “בנק-שעות” שאותו אתה הולך להשקיע ב-Pen-Testing - מה, זה מתחיל באנליזה? ארכיטקטורה של המערכת? שיחה עם מהנדסים, או שאתה מתייחס לזה כמו אל קופסא שחורה? זו השאלה ראשונה - עד כמה המערכת צריכה להיות “שקופה” אליך?שאלה שנייה היא האם יש איזשהו סט-כלים, Tools-of-Trade, שאיתם אתה תמיד מתחיל ראשון - ואז משם ממשיך הלאה, לפי הממצאים?(ארז) שאלה מצויינת, שאלות מצויינות . . . יש כמה שאלות שמתחבאות במה שהעלת . . .אני אתחיל, קודם כל, מאיזושהי הצהרה - בשורה התחתונה, כשעושים Penetration Testing, אפשר להגיד שהעולם מתחלק לשלושה סוגים - סוג אחד זה Black-Box, סוג שני זה White-Box, בצד השני של הסקאלה; ובאמצע נמצא Gray-Box.אני מאוד מאמין ב-Gray-Box . . . ואני אתחיל רגע בהסבר של מה כל אחד אומר . . .אז Black-Box אומר “קח את המערכת, עזוב'תי באמ'שלך ותחזור אלי עם דוח” - זה ממש, בשפה פשוטה . . .במקרה הטוב אתה מקבל Username ו-Password, יש לך נגיד את ה-URL של המערכת ו-User ו-Password וזהו, לא משתפים איתך פעולה.זו גישה אנכרוניסטית, לדעתי . . . היא מתאימה מאוד למצב שבו אתה יודע לחלוטין שבדקת את המערכת ואין שום דבר ויש סבירות מאוד נמוכה שימצאו [משהו] ועוד הרבה מאוד סיבות למה שתעשה Black-Box, יש עוד כמה . . .בשורה התחתונה, היא לא אופטימלית - אתה יכול לבזבז כמות שעות אדירה על דברים שאתה יכול לחלץ, את אותו Vulnerability, בשיחה של חמש דקות עם מתכנת, בסדר? . . . .או בלהסתכל בדיוק, לעשות Pin-point, ללכת ל-Class המתאים בקוד, כשאתה יודע איפה כנראה מסתתרת הלוגיקה שאתה רוצה לבחון - ופשוט להסתכל על הקוד ולהבין מה קורה שם.מהצד השני נמצא White-Box, שזה בעצם אומר “תן לי את הקוד, בוא נעשה White-Box Testing - תן לי את הקוד, אני בעיקר אסתכל עליו, אשאל שאלות, אסתכל על ה-Sequence Data וכו'” . . . ונמצא בעיות - נסתכל על ה-Design ונמצא בעיות.ויש את האמצע - האמצע זה ה-Gray-Box, שבעצם אומר “בוא נעשה את שניהם - בוא נשתמש בשני המכשירים, גם במכשיר ה-Pen-Testing ‘ה-Black-box-י' וגם במכשיר ‘ה-White-box-י', על מנת לאתר Vulnerabilities”שם המשחק הוא שבהינתן זמן נתון - קבוע, Fixed - אני רוצה למצוא את מקסימום ה=Vulnerabilitiesאני, כ-Pen-Tester, מאוד ארצה- כמו רופא שיכול לנתח ויש לו סט של מכשירים, שיכול להרים פעם את האיזמל הזה ופעם את ההוא וכו'אני רוצה לבוא ולהגיד שהייתי מאוד שמח, בהינתן בעיה נתונה שאני רוצה לבחון, לחשוב ולהגיד רגע, האם אני ניגש אליה במסלול . . .עם המכשיר של ה-Black, כי זה יותר נכון לבדוק אותה עם Black?אולי יותר נכון להסתכל עליה ב-White?או אולי נכון להתחיל Black, לעבור ל-White, לחזור ל-Black, לחזור ל-White . . . וככה בעצם, בצורה מאוד יעילה, לאתר את הבעיותוזה מוביל אותי לשאלה ששאלת - מהי המתודולוגיה של צורת הבדיקה? הPipline הוא כזה:עוד לפני שמתחיל Penetration Testing, נהוג לעשות משהו שנקרא Scoping - ו-Scoping זה תהליך שהוא חצי-עסקי וחצי-טכנולוגי - תהליך שבו מדברים עם הלקוח, עוד לפני שיש הצעת מחיר, לפני שיודעים מה בכלל הולכים לבדוק וכו' - ושואלים אותו “תגיד, מה מעניין אותך? מה היית רוצה לבדוק? בוא - שרטט לי גבולות גזרה, שרטט לי את הרכיבים שלך . . . האם ה-Web-App כן ב-Scope או לא ב-Scope? ה-REST API, שמדבר עם השירות-צד-שלישי שלך - כן להכניס אותו או לא להכניס אותו?”קודם כל, מחליטים איתו מה בכלל רוצים, מהם הגבולות גזרה, מבינים מה המורכבות של המערכת, כמה דפים יש לכל מערכת . . . כי הרי מערכת - לא מודדים אותה לפי משקלה בק”ג . . . מודדים אותה לפי כמות הדפים, כמות ה-APIs, עד כמה הם מורכבים . . .יכולות להיות שתי מערכות, לשתיהן עשר End-Points - אבל אחת היא סופר-מורכבת והשנייה היא כזאת פשוטה כזאת, כמה GET-ים פשוטים שמחזירים אינפורמציה . . . .אחרי שקובעים עם הלקוח את היקף הפעילות, מקבלים הצעת מחיר, הוא מאשר אותה, כל הצד הביזנסי . . . עברנו אותו.קובעים Kick-off - זה שלב סופר-חשוב ב-Pen-Test, זה שלב שבו, ביחד עם הלקוח, קובעים, בשלב הראשון של המערכת - מזמנים את כל הגורמים הרלוונטיים, בין עם זה ה-Pen-Testers וה-Product וה-Project Managers - זה מהצד שלנו, למשלומהצד של הלקוח - בדרך כלל את מי שמכיר את המוצר הכי טוב - מנהלת הפיתוח, לפעמים ה-CISO, מנהל מערכות מידע . . . גורמים מצד הלקוח.ורואים שקודם כל יש לנו את כל המידע שאנחנו צריכים - URL-ים ו-Password-ים וכל מה שצריך למערכות - רואים שהכל עובד, סופר-חשוב . . . גרוע להתחיל פעילות, ואז לגלות שפתאום אחת המערכות לא זמינה, כי אתמול ה-QA החליטו לעשות בדיקה ועשו איזו Stress-test או לא משנה מה . . . . תמיד יש סיפורים.בשלב הזה, של ה-Kick-off, זה השלב שבו נרצה גם לאושש את הנחות הייסוד שלנו, לגבי גבולות הגזרה - אני יכול לתת . . . לא חסרות דוגמאות, שפתאום מישהו מתעורר, מהצד של הלקוח, ואומר “רגע! המערכת הזו, שאמרתם שהיא ב-Scope - היא לא מוכנה, או שלא אמורים לבדוק אותה” - ויכול להיות גם מקרה הפוך, שמישהו יבוא ויגיד “רגע! מה עם השירות ההוא-וההוא? מה עם השירות שעכשיו עושה את Event-rule הזה? הוספנו את זה לפני כמה ימים וכן צריך להכניס אותו ל-Scope . . . .”אז זה בדיוק המקום שבו כל מיני דברים צפים.אחרי שעברנו את השלב הזה, מה שנהוג לעשות - ואני אחבר את זה רגע ל-Gray-Box - זה לקבוע שיחה עם אחד המתכנתים, מישהו שמכיר טוב את המערכת, וללכת איתו בשיטה של Cross-cut, לכל האיזורים שמעניינים ב-Security - ללכת איתו ממש ברמת ה-IDE, להגיד לו, למשל, “תפתח עכשיו ב-Visual Studio ותראה לי בבקשה איך אתה עושה Authentication ל-User-ים”, “תראה לי איך אתה חותם על JWT Tickets”, “קח אותי, למשל, לאותוריזציה (Authorization) - אני רוצה לראות את המודל-הרשאות שלך”או “אמרת לי שיש לך Database מסוג SQL - תגיד, אתה משתמש ב-Dynamic queries?” או “אמרת לי שאתה עובד ב-ORM - אני רוצה לראות בעיניים . . . קח אותי בבקשה ל-DALL, אני רוצה לראות בעיניים . . . “למה אני אומר את הדברים? כי אני יודע שעוד מעט אני אעשה את ה-Pen-Test, ואחד הדברים שאני אסתכל עליהם זה, למשל, זה SQL Injection . . . כשאני אבוא ל-SQL Injection, אם אני יודע, היה לי מידע פנימי, שאומר שלמשל - אין מצב ל-Dynamic queries בקוד, כי ראיתי בעין שהמתכנת משתמש ב-ORM, בסדר . . .בוא נניח שאין בעיה באיך שהוא מימש ORM . . . אז נניח שאני אומר שיש ORM - הסבירות שבה יש SQL Injection, שה-Run-time בכלל ג'ינרט (Generated) על מנת לגשת לדבר הזה - היא קלושה . . .זאת אומרת שאני יודע שאני אולי, בקטנה ככה, אוודא SQL Injection - אבל בשעות היקרות האלה, שהייתי אמור לבדוק SQL Injection - אני אשים אותן על משהו אחר . . . אני אמצא בעיה אחרת.ושוב אני מזכיר - זה משחק של הסתברויות . . . התפקיד של ה-Pen-Tester הוא לבוא ולראות איפה לשחק עם השעות שלו.אם אני אלך רגע קדימה - אז היום של ה-Pen-Tester הוא כזה שבהתחלה הוא סוג של, אם מתחיל הפרויקט, אז הוא סוג-של עושה Reconnaissance על המערכת, Information gathering . . . עובר על המערכת, אילו API-ים יש, כן WebSocket, לא WebSocket, מה עובר . . . אם זה עובר ב-JSON או עובר ב-Proto-Buff, או מה . . . .אגב, היסטוריה - פעם זה לא היה ככה, פעם ה-HTTP Request היה פשוט פרמטרים, כל מה שהיה צריך לעשות זה לשחק עם פרמטרים . . . היום פתאום זה הרבה יותר מורכב, יש Single Page authentication, אתה כבר לא יכול לעשות Crawling על כל המערכת ולדעת בצורה פשוטה, היום הדברים הרבה יותר מורכבים.ולכן, אחד הדברים החשובים ש-Pen-Tester עושה בהתחלה - הוא בונה לעצמו מודל של איך שהמערכת בנויה, והוא חושב כמתכנת - “אם אני הייתי בונה את זה . . .” - אני נכנס לראש של המתכנת ואני מבין את השיקולים שלו . . . “למה, למשל, את ה-Request הזה הוא העביר over WebSocket, ואת זה הוא העביר ב- REST API?” - כנראה שהייתה סיבה . . . כנראה שאת ה-WebSocket הוא צריך ל-Long-running Connection או משהו, ואני אראה שאם יש לו Long-running Connection, אז כנראה שבצד השני ה-User הוא כנראה Authenticated ברגע שהוא פתח Connection . . . זאת אומרת שיכול להיות שב-WebSocket אני אומתתי רק בפעם הראשונה שפתחתי את ה-Connection, ויכול להיות שכשאני אני אשלח את הבקשות הבאות, אם אני אעשה משחק על פרמטרים ואזין ID של User אחר או של Resource אחר - יש סיכוי גבוה יותר שאני אמצא אותו . . . למה? כי ב-REST API, מראש, בגלל שהוא State-less, בהקשר הזה - אז תמיד בודקים . . . יש כל מיני ניואנסים קטנים, שברגע שאתה נכנס לראש של כל מתכנת, זה נותן לך כל מיני טיפים על איפה כדאי לך להסתכל . . .בקיצור - אחרי שעשינו את כל שלב ההכנה ואיך שהמערכת בנויה ואיפה כנראה יש בעיות ו . . . אחד הדברים זה גם למפות פיצ'רים - למשל, יש Features של File upload או Download . . . מדי פעם זה Import או Export של כל מיני קבצים וזה - אז כבר אני יודע שב-Security test-cases שלי אני צריך לכסות Vulnerabilities כגון Directory traversal ו-Path manipulation ודברים כאלה . . . אם לא היה פיצ'ר כזה, שימו לב - זה Feature-Driven - אם לא היה פיצ'ר בכלל של File-ים, כנראה שלהתחיל לחפש Directory traversal היה נמוך יותר ברשימה שלי . . .זאת אומרת שאחד הדברים שה-Pen-Tester עושה - הוא גם בונה לו סוג של “רשימה ממויינת”: אילו Test-cases יותר מעניינים, ספציפית במערכת הזאת.זה קטע מאוד מעניין ומאוד מאתגר - וככל שיש יותר ניסיון, אנחנו גם רואים את זה, ש-Pen-Testers מנוסים יותר, הראשי-צוותים, הרבה פעמים . . . גם אם יש Pen-Tester מאוד טוב, שיודע לזהות בעיה מאוד מאוד טוב - הוא צריך את הניסיון של ה-Pen-Tester המנוסה יותר, שיגיד לו “שמע, יש לי תחושת בטן . . . יש לי הרגשה שבאיזור הזה יהיה לך Directory traversal . . . “הצעיר יותר, שיודע למצוא Directory traversal, ו”שד בזה” - יסתכל על המישהו המנוסה יותר ויגיד לו “איך אתה יודע?, מאיפה יש לך את התחושת בטן הזאת?” - וזה בדיוק הניסיון, שגורם לך להבין לאיפה לחלק את השעות . . . ואם אני כבר קופץ רגע לסוף, רק לשלב האחרון - אחרי שמצאנו, במהלך הפעילות, מצאנו Vulnerabilities . . .היועץ שם לו אותן בצד - ובשלב הסופי הוא כותב דוח שממפה את כל אותן בעיות, ואני אשמח עוד מעט להרחיב על מה נמצא בדוח ומה עושים איתו . . .(רן) כן . . . אז אני מניח שאיזשהו Sub-text שלא כל כך דיברנו עליו הוא שלך יש אולי איזושהי מגבלת זמן, אבל אתה יוצא מתוך נקודת הנחה שלפורץ אין מגבלת זמן . . . זאת אומרת, גם אם אין לו, כמובן, גישה ל-White-Box, אין לו גישה ל-Source-Code - או לפחות אנחנו מקווים שאין לו את הגישה הזאת, אם לא התכוונו לתת לו . . . .אבל כן יש לו הרבה מאוד זמן לשחק - אז הוא לא יודע אם יש Directory traversal או לא אז הוא פשוט מנסה, והוא לא יודע אם יש פה בעיה ב-WebSocket אז הוא פשוט מנסה - ולפורץ יש, נגיד, “אינסוף זמן”, אבל לך אין . . . יש סוף לזמן שלך, יש סוף לשעות שאותן אתה יכול להשקיע, לפי החוזה, ולכן אתה צריך לתעדף לפי סיכונים.רציתי לשאול - יש לנו בסך הכל הרבה נושאים שאנחנו רוצים לכסות והזמן קצר, כמו ב-Pen-Testing . . . - אז רציתי להתמקד על כמה דברים - ואחד הדברים המשמעותיים, אני חושב, ביותר בעולם של ה-Security activities זה ההתפתחות של שפות התכנות, זאת אומרת - אם בעבר פריצות טיפוסיות היו משתמשות ב-Buffer overflow ודריסות זכרון ודברים כאלה בשפות שהן פחות מנוהלות כגון C, היום השפות הן כבר הרבה יותר מנוהלות, ועדיין יש להן פגיעויות - אבל הן מסוג שונה.אז שפות שהן הרבה יותר מתקדמות, דוגמאת הגרסאות האחרונות של Java ו-TypeScript ו-Go ו-Rust מנהלות בצורה מאוד מאוד יפה את הזכרון שלהן, ויש להן לא מעט פיצ'רים של Security כבר Built-in בתוך השפה - אבל אני מנחש שיש להן פגיעויות אחרות . . .אז איך אתם ניגשים, נגיד, אם אתם לומדים שיש Code base שכתוב, לצורך העניין, ב-Go או ב-Rust או ב-TypeScript או בשפה מודרנית אחרת - האם אתם ניגשים לזה בצורה שונה, עם סט שונה של כלים או מתודולוגיה אחרת?(ארז) חד משמעית כן, כי בכל שפה יש את ה-Common Vulnerabilities שלה, או שאני אגיד את זה אחרת - לכל שפה יש את “המקומות האפלים האלה”, שמתכנת עלול “לירות לעצמו ברגל” . . .מה הכוונה? הסביבה והשיטה וכל ה-Community הרבה פעמים מעודד אותך לעבוד בצורה מסויימת, שהיא, בוא נגיד את זה ככה - קצת יותר מסוכנת מהממוצע, או יותר מסוכנת מבשפה אחרת . . . בעיקר בדברים דינאמיים או בדברים שאתה עושה בצורה שכזו, שנגיד שאולי בשפות אחרות לא היית עושהלמשל - בסביבות כמו Node.js ודומיהן, מאוד מאוד מעודדים אותך, יותר מבסביבות אחרות, להשתמש ב-Open Source Components . . . ו-Open Source Components, למרות שזה לא קוד שאתה כתבת, יש סבירות יותר גבוהה שבקומפוננטה (Component) שלא תפתח בעצמך, יהיה Vulnerability.גם לך תדע מאיפה הגיע ה-Package הזה ל-npm, ואתה מושך אותו ואלוהים יודע מה קורה איתו . . .אז יש סביבות שבהן ה-Package זה האיום המרכזי, ויש סביבות שבהן אתה יודע שהסביבה עצמה היא כזו שבה יש יותר סבירות לטעות . . .אגב, דיברת על זיכרון מנוהל וכו' - גם לפני 10 שנים, הרוב היה זיכרון מנוהל . . . בעיות כמו Buffer overflow ו-Format String ו-XSS וכו' - אלו בעיות שבאמת עוד בעבר הפסקנו להסתכל עליהן.זאת אומרת שהסבירות שאתה תמצא Buffer overflow באיזו Web-App הוא קלוש.לכן, רוב הבעיות מתמקדות בעיקר בבעיות טכניות - זה המונח, “בעיה טכנית”.“בעיה טכנית” זו בעיה כגון Directory traversal שהזכרתי קודם ו-SQL Injection ו-XSS ועוד כל מיני בעיות.ויש “בעיות לוגיות” . . . .(רן) כן, אני אוסיף לרשימה דברים שאני ראיתי - שימוש לא נכון ב-Encryption או בכל הספריות שקשורות ל-Encryption . . . (ארז) זה בעיות לוגיות . . . (רן) . . . ושימוש לא נכון באות'נטיקציה (Authentication) . . .(ארז) . . . לוגיות!(רן) אוקיי . . .(ארז) בדיוק . . . זה בדיוק מה שבאתי להגיד - לשם העולם הולך.אני אתן רקע - בעיות טכניות אלו בעיות שקל מאוד לפרמל (Formalize) אותן - לצורך העניין, אם אני עכשיו סורק את הקוד, קל לי, יחסית, לזהות או להגדיר Pattern של איך שנראה SQL Injectionתחשוב שמשהו רץ על הקוד, יש איזשהו Static Code Analysis, איזשהו מוצר של Security שעושה scanning, וידע לזהות איך נראה SQL Injection או XSS או כל בעיה אחרת . . .יש לזה Pattern בקוד, אני יכול להגדיר ולהגיד “אם אתה רואה קוד שיש בו Class של SQL Query ויש “הדבקת String-ים” בלה-בלה-בלה . . . “ - אני יכול לפרמל, לוגיקה כזו - “… - אז יש בעיה”.אלו בעיות טכניות.בעיות לוגיות, מהצד השני, הן בעיות יותר קשות - כי מכונה לא יכולה להסתכל על מכונה ולהכריע . . . זה הולך כל כך רחוק, עד כדי בעיית עצירה של Turing . . . זאת אומרת שאנחנו לא נוכל אף פעם, גם אם יש הרבה חברות AI שמספרות לנו כל מיני סיפורים - זה לא יקרה . . .בבעיות לוגיות, מכונה לא תוכל להכריע - זאת אומרת, יש דברים שהיא תוכל אולי, אני לא ראיתי . . . - אבל לדוגמא, הכי פשוטה:מי אמר שעל שדה מסויים, סופר-רגיש, צריך להיות Encryption? מי אמר שעל השדה הזה ב-Database או על השדה ההוא ב-Database צריך להיות Encryption? זה לא צריך להיות Encryption . . . מכונה לא תוכל להגיד לך את זה, בסדר?נכון שיהיה אפשר להסיק . . .(רן) אתה עושה את החלוקה בין “לוגיות” ל”טכניות” מנקודת הראות שלך, כ-Pen-Tester . . . דברים שבצורה טכנית, באופן טכני, אני יכול למצוא - ודברים שבאופן טכני אני לא יכול למצוא, ולכן אתה קורה לזה “לוגי”.אבל כמפתח, אני לא כל כך מודע לחלוקה הזאת . . . מבחינתי, הכל זה . . . לא יודע אם אפשר לקטלג את זה, אבל הכל זה בעיות לוגיות, כנראה . . . - זאת אומרת, מימוש לא נכון, הליכה כנגד ה-Best-Practices, בהרבה מקרים, או סתם חוסר הבנה או חוסר ידע שלי . . .(ארז) כן, תראה - הטרמינולוגיה של “בעיה טכנית” או “בעיה לוגית” היא לא טרמינולוגיה . . . זו טרמינולוגיה שבאה מעולם הPenetration Testing - זה מונח מקובל ונהוג לעשות את החלוקה הזאת.בשורה התחתונה - אתה צודק, מנקודת מבטו של מתכנת “הכל לוגי, כי הכל זה קוד שאני כותב”, ברור . . .אבל בהקשר של בעיה, כן - רוב הבעיות שאנחנו רואים היום הן בעיות כגון זה שלא שמת Encryption או שעשית Encryption לא נכון, או שלא עשיתי אות'וריזציה (Authorization), בסדר? לא עשית אות'וריזציה או שיכול להיות שהאות'וריזציה שלך לא טובה . . . .או למשל - מישהו שעושה Parameter Manipulation על איזה ערך, כן? . . . והוא נותן ערך Valid-י, זאת אומרת, תחשוב רגע שיש איזשהו ערך שאני מעביר - הערך עצמו, כערך, הוא אחלה ערך! הוא עובר RegExr, הכל תקין . . .אממה, לי אסור לשלוח אותו - הוא ה-CartID שלך, לא שלי, לדוגמא . . . . שזו בעיה לוגית, זו בעיה שמאוד קשה לעלות עליה מבחוץ - אתה ממש צריך להבין את ה-Business-Logic של המערכת.וזה, אגב, משהו שאומר שאיפשהו, ככל שהטכנולוגיה תתקדם ויהיו ל-Pen-Testing יותר שיטות ויותר כלים - תמיד אנחנו נצטרך Human בתמונה . . .(רן) אז נושא אחד שככה קצת נגעת בו מקודם, כשדיברנו על Node.js - הזכרנו קוד פתוח והזכרנו Package Managers, ורציתי קצת להכליל את זה ולדבר עוד כמה דקות על הנושא של Supply-Chain Attacks - התקפות על שרשרת האספקה.עכשיו, מי שמגיע מעולם התפעול מכיר שרשרת אספקה - זה אוניות, זה משאיות, זה מטוסים, זה מחסנים וכו' . . . . אבל מה, למעשה, זו שרשרת האספקה בעולם התוכנה? אז בעולם התוכנה, שרשרת האספקה כוללת כמה דברים - זה כולל את כל ה-Tool-ים שעוזרים לנו בסופו של דבר לכתוב את התוכנה ולדלבר (Deliver) אותה, אם זה IDE, אם זה ה-Package Manager, אם זה חבילות ה-Open-Source השונות, ה-CI, ה-Deployment System, ה-Docker ו-Kubernetes וכו' - כל מה שעוזר לנו בסופו של דבר - כל מה שהוא לא התוכנה שלנו, אבל עוזר לנו לייצר את התוכנה.ובזמן האחרון - טוב, אני לא יודע אם זה בזמן האחרון אבל שאולי זה רק עלה יותר למודעות בזמן האחרון - יש לא מעט התקפות על שרשרת האספקה הזאת, אם זה התקפה על ה-CI, אם זו התקפה על החבילות, Hijacking וכו' . . .איך זה משנה את עולם ה-Pen-Testing?(ארז) תראה, בשורה התחתונה אני אגיד שזה משהו שחלקית אנחנו . . . זאת אומרת, אפשר להתייחס אליו ב-Pen-Testing.ולמה אני אומר את זה? כי אם יש בעיה, כשהבעיה הזו היא, לצורך העניין, חשופה כלפי חוץ - אז אתה תראה אותה ב-Pen-Test, וזה לא משנה אם המתכנת טעה ועשה Bug של Security, שזה רוב המקרים, או אם המתכנת בכוונה הזריק וקטור לקוד - נדיר, אבל קורה . . . .או אם זה סוג של . . . מישהו אחר, נגיד, הכניס בכוונה Bug איפשהו - בסוף זה יצא כלפי חוץ, זאת אומרת - ב-Pen-Testing אתה אמור לזהות את הבעיות שקיימות.מה אתה לא תזהה ב-Pen-Testing? אם למשל מישהו החביא, איפשהו ב-Supply-Chain עמוק בפנים, איזשהו Backdoor שכזה . . . אין סיכוי שאתה תעלה עליו, אתה יודע . . .אתה לא יכול לחזות, למשל שאם אתה תוסיף איזה ערך מאוד-מאוד-מאוד מיוחד ל-Request - פתאום ה-Backdoor יתעורר . . . זה לא משהו, זה לא סביר שאתה תעלה על זה ב-Pen-Test.אגב - מאוד יהיה קשה לעלות על זה גם בשיטות אחרות.לכן Supply Chain אלו בעיות מאוד קשות . . . כי תחשוב רגע, הזכרת למשל אוניות ומחסנים וכאלו - בעולם ה-Software זה יותר באמת “מישהו החביא לי איזושהי הפתעה, עוד לפני שאני, כמתכנת, קימפלתי ל-Production בכלל, מישהו החביא הפתעה עמוק בתוך ה-Complier” . . . סתם דוגמא - בתוך ה-IDE החביאו לי איזושהי הפתעה, החביאו לי בתוך ה-Docker Image . . . תחשוב - אם אני מושך איזה איזשהו Docker Image, והוא כבר בפנים החביא לי הפתעה . . . הקוד שלי סבבה, פצצה - עבר Code Review, עבר Pen-Test - על הסביבה הרגילה . . . אבל כשהוא רץ על ה-Docker Image הזה, אני בבעיה.לא חסרות סיבות שכאלו, שבהן אתה אומר שיכול להיות שאיפשהו לאורך הדרך מישהו שתל לי איזה משהו - ולכן, בהקשר של Supply Chain, מאוד חשוב לשים לב שבאמת, זה מאוד טריוויאלי - שכל השרשרת מאובטחת.שאת ה- Package-ים אתה לוקח ממקום תקין, שאת הסביבה אתה מעלה נקי . . . Docker Image? אין בעיה, אבל אל תביא Docker Image שמישהו אחר אפה, בוא תאפה אתה . . . תעשה את ה-Buildיש בפנים Binaries מיוחדים? תקמפל אתה . . . וכמובן שים לב מאיפה אתה מושך את הקוד . . .היום זה גם מאוד קל, כי היום להרבה מאוד דברים יש Digital Signature - פעם לא היה לנו Digital Signature כמעט על כל דבר, והיום יש.היום אתה יכול לוודא שהחבילה הגיעה מה-Trusted source שאתה מצפה לו.היום אתה יכול לאמת חתימות של כמעט כל דבר שיש.אפילו היום אתה יכול - הנה דוגמא למשהו שפעם לא היה - CDN, בסדר? נהוג למשוך כל מיני Static content מ-CDNהיום זה כל כך טריויאלי . . . פעם הייתה שם את הכל אצלך, את כל ה-JavaScript-ים והכלהיום יש יכולת להגיד, אני בתור מפתח המערכת שלי - כשאני מושך External backend, כשאני מושך למשל jQuery ממקור חיצוני, אני לספק את החתימה שלו כחלק מה-HTML - לא הייתי יכול לעשות את זה בעבר.בעבר הייתי צריך למשוך JavaScript ולכניס אותו “לקודש הקודשים” - ל-Domain שלי, בתוך ה-Domain שלי, להכניס משהו מבחוץ שאין לי מושג מאיפה הוא בא, אין לי מושג האם מישהו שינה אותו מאיפה שמשכתי אותו וכו'היום אני יכול ממש לספק Hash עם חתימה של מה שאני מצפה לקבל - ואם ה-Browser יקבל Package לא מתאים הוא ידחה אותו, הוא לא יטען אותו - שזה נהדר.יש הרבה מאוד שיפורים מהסוג השזה, שפעם לא היו לנו - וזה אגב אחד הטריקים שאני ממליץ להשתמש בהם.(רן) זה באמת מביא אותי לשאלה הבא - אולי לא יהיה לנו זמן לדבר על ה-Report שאתם מייצרים, אבל האם, אחרי שמצאתם אוסף של Vulnerabilities - רגישויות, פגיעויות - האם אתם גם הולכים הלאה ומספקים בסופו של דבר פתרונות, או מיטיגציות (Mitigations) לאותן בעיות?(ארז) יש הפרדה בין עולם ה-Pen-Testing לעולם הייעוץ - זאת אומרת שכשאתה עושה Penetration Testing, יש לך Mission - וה-Mission שלך זה לבוא ולמצוא כמה שיותר בעיות ולהנגיש אותן, זה חלק מהמשימה.מה זה אומר להנגיש אותן? - זה אומר שאני צריך לקחת בחשבון שמי שקורה את הדוח הוא לא Penetration Tester, ואני לא יכול לדבר בשפה שלי . . .אני צריך להסביר לו את הבעיות, אני צריך להסביר לו איפה הבעיות . . .אני צריך לשים לב לא ליפול לטעות הנפוצה - שהוא יחשוב שהבעיה שנתתי לו היא רק בדוגמא מסויימת, ויתקן רק אותה . . .ואחד הדברים שחשוב מאוד להנגיש במסמך זה את ה-Mitigations . . .אז לשאלתך - כן, נהוג לתת Mitigations במסמך, להגיד איך ניתן לטפל בזה - אמרתי לך, סתם לדוגמא, שה-Encryption שלך לא טוב - אגב יש לזה שם, משחק מילים: En-crap-tion . . . אם אתה עושה En-crap-tion, וה-Encryption שלך לא טוב, אז אחד מהדברים שאני ארשום לך במסמך זה שהשתמשת, למשל, בהצפנה סימטרית מסוג . . . . וה-Encruption mode שלך הוא ECB - זה לא טוב, תחליף בבקשה ל-CBC, ויכול להיות שאני אפילו אתן לך את ה-Flag המתאים בשפה שלך, כי אני, נגיד, יודע באיזו שפה אתה עובד וואני אתן לך גם ממש דוגמת קוד שעובדת.זה החלק של הדוח, זה החלק של ה-Pen-Test - מי שמקבל דוח, צריך שיהיה לו את כל מה שצריך בשביל לתקן את זה.יש לקוחות ויש מקרים שבהם באים ואומרים “תשמע - בואו תסייעו לי גם ממש ליישם את ההמלצות”אבל הנחת הייסוד היא שלא - אתה לא חייב להישען עלינו בשביל זהמי שעושה Pen-Test אמור לקבל את כל המידע ואמור לקחת מישהו שמבין מספיק, מפתח נורמלי, שידע מה לעשות עם הדברים - וכל מפתח נורמלי יידע איך לעשות את המיטיגציות (Mitigations) בהתאם להנחיות שהוא קיבל.(רן) אוקיי, הזמן שלנו כבר קצר ואני עדיין מאוד סקרן, אז אני אבחר לעצמי עוד שאלה אחת וננסה לענות עליה - בעצם, היום הרבה מאוד שירותים נשענים על שירותי-צד-שלישי - אם זה לצורך, נגיד, Monitoring אז Datadog וכאלה, אם זה לצורך תשתיות אז AWS או GCP או Azure . . . זאת אומרת, הרבה מאוד הישענות על שירותי-צד-שלישי, והשאלה האם זה גם משהו שאתה לוקח בחשבון כשאתה בא לעשות Pen-Testing? זאת אומרת - לא רק את הקוד שאני כתבתי, אלא גם את כל השירותים האחרים שבהם אני משתמש ואולי ה-Data שאני שולח אליהם, ואולי הפגיעויות שלהם, עצמם . . . לצורך העניין יש Vulnerability ב-PagerDuty - איך זה הולך להשפיע עלי?(ארז) שאלה מצויינת . . . מה שאתה מדבר עליו, יש לו שם כללי בעולם שלנו: זה נקרא TCB, שזה Trusted Computing Baseזה בעצם אומר אילו דברים מבחינתך זה הבסיס, שכהנחת יסוד אתה אומר “את זה אני לא בודק” . . .לדוגמא - כשאתה עכשיו עושה Pen-Test לאיזה Web Application שכתוב ב-Node.js, אתה לא תלך ותבדוק את המערכת הפעלה שלו . . . למה? כי אתה אומר ש”הנחת היסוד שלי היא שהמערכת הפעלה שלו היא תקינה” . . .כמובן שאתה יכול לעשות Pen-Test על לראות שאין Vulnerabilities במערכת הפעלה, אבל באנלוגיה, נגיד - אני עכשיו עושה Pen-Test על איזשהו Web App, שפתאום משתמש בשירות צד-שלישי . . . נגיד שהוא משתמש עכשיו בשירות שליחת SMS של Twilio או לא יודע מה, משהו של צד שלישיאני לא הולך לעשות עכשיו Pen-Test על Twilio . . . מבחינתי, Twilio הוא בהנחת יסוד שלנו, והוא צד שלישי שהוא Secure.קודם כל - אני לא יכול ללכת עד אינסוף ולבדוק את כל הלוויינים סביבי . . . זוכר? זה משהו עסקי . . . דבר שני - חוקית, אני לא יכולדבר שלישי - גם אם הייתי יכול, הם היו אומרים לי “לך מפה” . . .דבר רביעי - תשמע, זו אחריות שלהם . . .[כל זה לא משנה אם הטלויזיה מאזינה . . . ]מה שכן עושים זה מסתכלים על ה-Interface, זאת אומרת - אם אני עכשיו עובד עם צד-שלישי, אז כן אני אסתכל - וזה כן דברים שמסתכלים עליהם- כן אני אסתכל שאם למשל אני עובד מולו, אז אני עובד עם HTTPS, לדוגמא.כי אני רוצה לוודא שה-Data עובר לשם כשהוא Encrypted בצורה נכונה.כלל נוסף - אני עובד מולו אז אני רוצה לעשות Server Authentication.זה Concern שלי, אני רוצה כשכשאני הולך לצד שלישי, לעשות אות'נתיקציה (Authentication) שלו, אני רוצה לוודא שכשאני עובד עם שירות צד-שלישי, אני רוצה לוודא שבאמת אני עובד איתו ולא עם איזה Man-in-the-Middle . . . .למשל, אחד הדברים שעולים ב-Pen-Test זה שבזמן הפיתוח, כיבו את ה-Certificate Validation . . . למה? כי בפיתוח לא היה לי Certificate של צד-שלישי כלשהו וביטלתי, עשיתי . . . . דרסתי את המתודה שעושה Certificate Validation, ואמרתי “ניתן True - עזוב אותי באמא'שך . . . פונקצית-עזוב'תי-באמא'שך . . . ”וכשבאים ל-Production - “וואלה מעולה - זה עובד!”, כי זה עבד גם מקודם . . . .אלא הם דברים שב-Pen-Test, למשל, כן בודקים אותם - כי כשמכניסים Man-in-the-Middle, ורואים שכשאני מגיש Certificate שהוא לא חתום ע”י ה-CA שאותו Client אמור לוודא, אז באמת אני מבין שיש בעיה . . . בקיצור - לא בודקים את הצד-שלישי, כן בודקים את האינטגרציה מולו ואת ה-Interface-ים מולו - מה נשלח? איך מאמתים אותו? כו' . . .(רן) אני מניח שבהקשר הזה, יש גם עניין של זליגה של מידע פרטי - אולי אם שלחת SMS, או שאתה שולח רק את הפרטים שאתה רוצה ולא בטעות מידע של מישהו אחר . . . (ארז) נכון, וברשותך אני אקח דוגמא מעולם ה-Mobile Apps - בעולם ה-Mobile Apps אתה רואה שפתאום, Out-of-the-blue . . . כאילו, זה בדיוק מהכיוון ההפוך, כן? . . . אם מקודם אמרתי שאני יודע שיש תקשורת לשרת מסויים, פתאום אני מזהה תקשורת שהולכת לאיזשהו שרת כלשהו, שאין לי מושג מי הוא, מאיפה הוא, מהו . . . ומסתבר שה-Vendor, ברוב נחמדותו, הוסיף בפנים לוגיקה של Monitoring ושל טלמטריה . . . ולפעמים זה נעשה אפילו בצורה זדונית.אגב, אחד מה-Side-effects של Pen-Test זה פתאום, במקרה, לזהות תקשורת שבכלל לא ידענו שהיא קיימת, שמגיעה מתוך איזשהו SDK שלקחנו והכנסנו פנימה . . . אנחנו רואים את זה מלא, וזה אגב אחד הדברים ש”על הדרך” פתאום אנחנו יכולים להאיר עליהם . . .לפעמים, אגב, זה לא עניין של Security - לפעמים אנחנו, על הדרך, רואים משהו שעוזר לצד השני והוא אומר “וואלה, לא ידעתי בכלל שדברים כאלה קורים . . . .”(רן) אז לדוגמא, יכול להיות מקרה שבו אתה מתקין SDK בתוך ה-Mobile-App שלך ובלי ידיעתך הוא שולח כל מיני אנליטיקות על ה-User שלך, אולי אפילו PII, זאת אומרת Personally Identifiable Information על ה-User-ים שלך, בלי שבכלל ידעת ובלי, כמובן, שהסכמת.(ארז) נכון - ופתאום אתה מגלה שאתה לא עומד ברגולציה . . . שבעצם אותו צד שלישי, אותו Package תמים, שכל מה שהוא אמור לעשות זה לספק לך איזשהו חישוב של משהו מסוייםפתאום אתה מגלה שהוא, ברוב חוצפתו, לוקח את אותו מידע של ה-End-user ושולח לשרת שלו . . . עכשיו - גם אם זה לא בצורה זדונית, גם אם הם צריכים את זה בשביל לשפר את המוצר שלהם או לבנות איזשהו מודל Data-Science כזה או אחר - אני בבעיה, אני כ-Vendorכי פתאום הוא גורם לי לא לעמוד ברגולציה שאני אמור לעמוד בה - בגלל שהוא שולח את הנתונים של הלקוחות שלי אליו . . . זה מסבך אותנו וכמובן שהרבה פעמים זה גם גובל בבעיות Security - אבל זה חלק מהדברים שעלולים למצוא ב-Pen-Test על הדרך.(רן) כן, ברוראז כמו שאמרנו קודם - זמננו קצר ואנחנו צריכים לסיים.אז תודה, ארז! היה כיף והיה מעניין - ותודה על העדכון, אני מקווה שניפגש שוב ולא בעוד 10 שנים . . . .אז עולם ה-Pen-Testing מתחדש, אני מניח, כל יום, וזה מרתק - וזהו. תודה!(ארז) בכיף - שמחתי מאוד לבוא, שמחתי מאוד לדבר, וכמובן שאם יש עוד נושאים מעניינים אז אני בכיף אבוא וארחיב עליהם, תמיד כיף לדבר ולספר ככה את מה שבסופו של דבר עובד בצד הזה, כי אני גם רואה שברגע שגם עולם הפיתוח רואה ומבין את השיקולים של ה-Pen-Test, בסוף זה נותן יכולת טובה יותר לבצע את הפעילות הזאת.תודה ארז, ולהתראות! האזנה נעימה ותודה רבה לעופר פורר על התמלול!

2nd Ward Alderman Brian Hopkins joins Jon Hansen (filling-in for Steve Bertrand) on Chicago’s Afternoon News to address the second night of traffic gridlock, and unauthorized parties that occured in the downtown area and Lake Shore Drive due to impromptu Mexican Independence Day celebrations. Follow Your Favorite Chicago’s Afternoon News Personalities on Twitter:Follow @SteveBertrand Follow […]

Good Comes First: How Today's Leaders Create an Uncompromising Company Culture That Doesn't Suck by S. Chris Edmonds, Mark S. Babbitt Discover the practical, step-by-step guide to creating a workplace culture that's better for employees, customers, and stakeholders—and your company's bottom line. For decades, talented people have tolerated old-school leaders who put results before respect, toxic company cultures, and workplaces that suck. But those days are over, and if leaders want to attract and retain the best employees—while improving productivity, customer service, employee satisfaction, and profits—it's time for them to create work cultures where good comes first. The problem is that because the corporate world has too often been driven primarily by results, we seldom ask leaders to change their work cultures. Even if we did, most leaders don't know how. This book provides the actionable inspiration and practical direction needed to make that change happen. In Good Comes First, S. Chris Edmonds and Mark S. Babbitt go beyond theoretical advice, using their combined 50 years of experience to present proven strategies for creating purposeful, positive and productive work cultures. Cultures where good comes first for employees, customers, leaders, and stakeholders—and where improved business outcomes quickly follow. In these pages, readers will learn to: • Appreciate why a good comes first culture is a business imperative – especially for younger generations. • Distance yourself from the competition that maintains its undefined work culture (one that most likely sucks). • Identify what “good” means for your company in today's business climate – and in the future of work. • Define your uncompromising work culture as you build a foundation of respect AND results. • Formalize your team's servant purpose so that everyone understands how what your team does improves lives and communities. • Specify respectful behaviors, so your desired values are observable, tangible, and measurable. • Align your entire organization to your desired work culture – where good comes first every day. • Assess the quality of your current work culture by measuring and monitoring how well your leaders and your executive team demonstrate your servant purpose, valued behaviors, strategies, and goals. • Hold everyone accountable for both respect and results through modeling, celebrating, measuring, coaching, and mentoring leaders and team members. • Implement real, needed change – and quit “thinking” and “talking” about change (but never really get change started). • Become a change champion while creating a lasting legacy as a business leader. • Build a team of good people doing good work in a good company. What's more, Good Comes First shows you where potential barriers to success hide—and how to push through them—and illuminates the moments when you'll feel the most satisfaction and gain the most traction. After reading this book, you will see that when done right, change is not only possible—it's practical, powerful, and profitable. And you will realize that you are the right person, at the right time, to make that change happen.

בפרק מספר 409 אנחנו מתכבדים לארח את נועם מחברת פקאן - שלום נועם, ברוך הבא!(נועם) שלום, תודה רבה(רן) ברוך הבא לצפון הקר, אחרי שעשית את דרכך אלינו - למי שלא יודע, אנחנו בדרך כלל מקליטים מהבית של אורי בכרכור, בלילה, בשעה 2100+ בערב, זאת השעה שלנו להקליט פודקאסטים . . .(אורי) בדרך כלל האורחים שלנו מגיעים טרוטי-עיניים מנסיעה מהמרכז . . .(נועם) אבל אני חייב להגיד שמציאים פה קפה מצויין, אז ממליץ בחום לבוא.(רן) תודה . . . אז לכל מי שמאזין - בואו לאורי, לקפה [קופון לא יצורף בסוף הפרק].(אורי) ואם אתם יכולים להביא פקאן בדרך, אז גם טוב.(רן) כן, הבאנו פקאנים . . . אז פקאן זו חברה שעוסקת, כמובן, בגידול פקאנים . . . (אורי) והתחלנו לפצח פה [מוזמנים לדמיין אפקטים של פיצוח](רן) אז בוא, נועם - ספר לנו - עליך, על הרקע האישי שלך, ועל פקאן, על מה שאתם עושים.משם כבר נצלול אל הנושא המרכזי של הפרק, שעוסק - נעשה לכם פה ספויילר - בתחום של Machine Learning והעולם האמיתי.אז קודם עליך נועם - מאיפה באת?(נועם) אז התחלתי . . . הכל התחיל שם, איפשהו בתקופה של הצבא, כמה מפתיע - 8200, הייתי במה שנקרא “אתגרים”לפי מקורות זרים - ורק מקורות זרים - זה בעצם עולם הסייבר [לכאורה].ככה התחיל עולם הסייבר של 8200 - הייתה תקופה מדהימה, קבוצה קטנה כזאת, הרגיש ממש כזו סטארטאפ בתוך היחידה, היינו הולכים על אזרחי . . .ושם הכל התחיל מבחינתי, ממש שם התחילה הקריירה - הייתי ראש צוות פיתוח.ובעצם, משם התגלגלתי, אחרי שהשתחררתי, לתוך עולם הדאטה - במשך 7 שנים ייעצתי להמון חברות פה בארץ - אם זה חברות ענק כמו בנקים וגם לסטארטאפים, על איך לבנות Infrastructure, בעצם לייעל שאילתות.ונכנסתי ככה עמוק לתוך עולם הדאטה, וזה היה מרתק - באמת עולם שהוא, כמו שאתם יודעים, מאוד מגוון ועם המון Use Cases, ונדבר על זה כמובן בהמשך כי זה כמובן רלוונטי.בעצם משם - ותיכף אני מגיע לפקאן - בעצם עשיתי תואר שני ודוקטורט בתחום של מדעי המוח ומה שנקרא Computational Neuroscience - שזה בעצם מודלים, שמסבירים איך המוח ואיך רשתות ומשפחות של נוירונים מייצרים פעילות.(רן) זאת אומרת - התחלת מרקע סופר-טכני, Security ו-Databases וכאלה - והלכת לאקדמיה, והיום אתה, ככה, איפשהו באמצע, אני מנחש - גם מבין את הצד העסקי, כי עבדת עם הרבה לקוחות כאלה, מבין מה הם רוצים ומה האילוצים שלהם, וגם אתה מביא את הרקע התיאורטי והאקדמאי בסיפור הזה.(אורי) אגב, איפה לומדים או איפה עושים כאלה תארים - בארץ?(נועם) בטח - בארץ, באוניברסיטת תל אביבהתואר הזה היה באוניברסיטת תל אביב, יש שם חבר’ה מאוד חזקים בתחום של Computational Neuroscience, יש את בית ספר סגול, שממש מוביל את זה.וזה באמת על התפר - ואני נורא אוהב את זה, רן - זה על התפר הזה, וזה גם מה שכל כך דיבר אליזה התפר שבין, מצד אחד, עולם המחשבים - יש פה איזשהו חיבור בין מחשבים לבין עניין באמת תיאורטי, מחקרי, מוח, באיזשהו מקוםכשכמובן שהחיבור ביניהם נופל לתוך Machine Learning, וככה באמת דברים התגלגלו להם.(רן) אז היום אתה בפקאן - ספר לנו קצת על מה שאתה עושה שם ומה עושה החברה(נועם) אז אולי אני אספר איך הפקאן נולד לו . . . באמת, בעצם זה התחיל, אם טיפה נחזור לתואר השני - על היום הראשון של התואר השני אני פוגש איש יקר שקוראים לו זוהר - ואנחנו מתחברים, ניהיים חברים מאוד טוביםלמעשה, את כל הדוקטורט עשינו ביחד, את כל המאמרים שפרסמנו - פרסמנו ביחדובעצם עם זוהר, שהיה לנו את החיבור הזה, סיימנו את כל מה שהיינו צריכים ל-PhD ואמרנו “אוקיי - מה עכשיו? מה הצעד הבא?”ואני זוכר הליכה, ככה, שאנחנו עושים באוניברסיטה, וזוהר אומר שתמיד היה לו חלום לעשות AI - ואז אמרנו שחלומות חייבים להגשים.אנחנו שוכרים חדר קטן מול האוניברסיטה - ומתחילים לעשות מחקר.וככה מתגלגלים בעצם לתוך פקאן.מה זה פקאן? מה זה כל הסיפור?הרעיון - זה מה שאנחנו מבינים בתחילת הדרך - זה שלייצר מודלים של Machine Learning, מודלים פרדקטיביים (Predictive), זה מאתגר, זה לא דבר פשוט.וזה דורש, כמובן, Data Science ו-Data Scientists שמכירים מאוד טוב את המקצוע, ורק הם יכולים באמת לייצר את אותם מודלים נחשקים, שיעזרו אחר כך כדי בעצם לקחת את העסק שלנו, ולהביא את אותם ניבויים - כדי שנוכל לייעל את העסק, ולהביא באמת למקום שהוא טוב יותר.(אורי) אבל אנחנו מדברים לא רק על Data Scientist שמכיר את עולם ה-Data Science, ומביא ניסיון משם, אלא גם צריכים להכיר את ה-Domain, את עולם הבעיה.(נועם) מדהים, בדיוק - זאת נקודה כל כך משמעותית, וזה מה שהביא אותנו לפקאןבעצם, מה אנחנו עושים בפקאן? פקאן מיועדת לא ל-Data Scientists, זאת נקודה נורא חשובה - היא מיועדת ל Data Analystsהיא דווקא מאפשרת בדיוק לאותם אנשים, שמגיעים בדיוק מתוך . . . כמו שאמרת - אתה צריך להכיר את עולם התוכן, זה לא מספיק שאתה יודע Data Scienceאתה צריך להכיר את עולם התוכן שבו אתה פועל - ובאמת פקאן בדיוק מיועדת לאנליסטים, שמכירים מאוד טוב את עולם התוכן, אבל לא מכירים מספיק טוב סטטיסטיקה, לא יודעים . . . בעצם, אין להם את הכלים כדי לייצר מודלים פרדיטיביים (Predictive) - והיופי של פקאן זה שאין צורך לדעת בעצם Data Science, על מנת לייצר מודלים.זו בעצם פלטרפורמה ראשונה שבאמת מאפשרת לאנליסטים - ולא ל-Data Scientists - לייצר מודלים פרדיקטיביים של Machine Learning, וזה מה שכל כך מיוחד בפלטפורמה.(רן) בוא ניקח כמה דוגמאות, זאת אומרת - אנחנו יודעים, בעולם, שמודלים של Machine Learning יודעים לנהוג במכוניות - ככה-ככה, לא תמיד זה עובד - יודעים לראות תמונות ולהבין, לפעמים לצייר ציורים, יודעים לפרש Natural Language , יודעים הרבה מאוד דברים - אבל אלו עולמות שונים לגמרי, כל עולם ומלואו שונה לחלוטין מהשני.יש בתחומים העסקיים דברים כמו מידול של התנהגות לקוחות, גם בנושא של קמפיינים יש לא מעט . . . מכל הדברים הגדולים האלה, מה פקאן יודעים לעשות?(נועם) אז זו נקודה מצויינת, ואגב - כשיצאנו לעולם, ראינו שבאמת כל אחד, כשמדברים על AI וזה כל כך פופלארי וזו כזו Buzzword - לכל אחד יש משהו אחר בראש, ובאמת יש כל כך הרבה סוגי מודלים.אז בפקאן, אנחנו קודם כל מתמקדים, מבחינת הנתונים, ה-Data, במה שנקרא Tabular Data - דאטה שיושב בעצם בתוך מאגרי הנתונים.לא מדובר בתמונות אלא באמת במידע טבלאי, שאיתו בעצם אנחנו מייצרים ניבוייםעכשיו, מהו בעצם עולם התוכן שאנחנו לרוב מתעסקים בו בפקאן? אז עולם התוכן שמתעסקים בו בפקאן זה . . .קודם כל, יש מגוון רחב של שאלות שאפשר לענות עליהן, זו פלטפורמה גנריתאבל אם נראה איפה האיזורים שאנחנו מתמקדים בהם, אז מצד אחד אנחנו מדברים על העולמות של עבודה מול לקוחות, Customersלזהות, בעצם, מראש את אותם לקוחות שינטשו - מה שנקרא Churn Predictionאו לדוגמא לזהות מראש מי הם אותם לקוחות שיהיו לנו הכי טובים, כי אנחנו רוצים מראש כמובן לדעת את זה - אנחנו מדברים על ניבוי של מה שנקרה High Value Customersו-Lifetime Value -כל אותם מודלים שמתעסקים בלקוחות.אבל זו משפחה אחת, יש עוד משפחות שאפשר לעשות בפקאן, לדוגמא, סתם כדוגמא - אנחנו מדברים על עולם של Inventory Control, ניהול מלאי.כמובן שבשביל לדעת על המלאי, איך צריך לנהל אותו, צריך מה שנקרא Demand Forecasting, להבין איך המכירות שלנו יהיו.מה שיפה בפקאן זה שיש פה אוסף של שאלות שאפשר לשאול, מהמון סוגים, ומה שבנינו בעצם בפלטרפורמה זה משהו . . . אנחנו קוראים לזה Templates או Use Cases, שמנווטים את ה-User, בעצם לאפשר ולענות של השאלות האלה בצורה מאוד מאוד פשוטה.(רן) אפשר לעשות את זה בצורה כל כך גנרית? זאת אומרת - נגיד, מודל של Customer Live Value Prediction עבור לקוחות - אני מניח שהוא מאוד שונה בין חברת מוניות לבין חנות או מסעדה או כל ביזנס אחר.אפשר באמת לבנות מודל שהוא כזה גנרי, ולמכור את זה ללקוחות כל כך שונים?(נועם) שאלה מדהימה - וזה באמת . . . אגב, בתחילת הדרך, נורא היינו עסוקים בשאלה הזאת.אחד הדברים שהבנו זה קודם כל שזה לא מודל אחד, שאנחנו באים איתו מראש - כל היופי של הפלטפורמה זה שהפלטפורמה מתחברת [ברברס?] לנתונים, לומדת את הנתונים - ובעצם מאמנת את המודל בהתאם לנתונים שיש לך.בעצם, זה לא משנה . . . כמובן שאנחנו מתחילים תמיד עם, אתם יודעים - Go-to-Market שהוא כן עם סגמנטים מסויימים, בעיקר בצד של ה-Marketingחשוב שיהיה לנו את אותו מסר, ושהמסר יהיה מאוד ברור - אבל בסוף זה לא משנהסתם לדוגמא - אנחנו עובדים עם חברות Retail מאוד גדולות, CPG . . . זה לא משנהאו, לדוגמא, חברות בכלל מאיזורים של Gaming - ועדיין זה אותם מודלים.הכוונה היא לא שזה אותו מודל שנוצר, אלה שזה מודל שמתאמן על הדאטה - ובגלל זה הוא גנרי ויודע להתאים את עצמו.(רן) יש לכם איזשהו Tool-set טיפוסי, שאיתו אתם עובדים בשביל המודלים האלה? לצורך העניין, רשת ניורונים או רגרסיות מסוגים שונים או מסווגים מסוגים אחרים?(נועם) נורא חשוב כמובן, וזה גם קשור לשאלה הקודמת שלך - כדי שנוכל להתאים את עצמנו, אנחנו עובדים עם הרבה משפחות.זה לא שאנחנו עובדים עם סוג מודל אחד, אנחנו עובדים עם הרבה משפחות - אבל אני אגיד שהאתגר הכי גדול זה דווקא לא המידול עצמו, המידול הוא החלק, אני אגיד כמעט “הקל”, בסיפור.החלק הכי קשה זה כל ה Pre-processing של הדאטה - ושם באמת, אם אנחנו מסתכלים על סוגי הלקוחות והסוגי נתונים . . תיכף כמובן נכנס לזה, אני משער, קצת יותר לעומק - כי זה באמת אחד המקומות הכי קשים, וזה באמת איך לוקחים דאטה, שהוא כל כך מגוון . . .דיברנו על דאטה טבלאי, וכמו שאתם יודעים - אצל כל הלקוחות, בעצם, המבנה הוא שונה, הטבלאות שונותומה שאנחנו יודעים, וזה חלק שעבדנו עליו מאוד קשה, זה לדעת לפרמל (Formalize) את זה בצורה כזו שלא משנה איזה סוג דאטה יש - אתה תוכל בעצם לחבר [דאטה], ברגע שהוא טבלאי (Tabular), אתה תוכל להכניס אותו פנימה, ובעצם לייצר את המודלים.(אורי) אז היה פה, לפני כמה פרקים, אסף קליין מ-Outbrain, שדיבר על AutoML[פרק 401 AutoML at outbrain with Assaf Klein][והוא אומר] בעצם, “קח דאטה, מסווג או מתוייג ברמה מסויימת, ועכשיו תן למערכת לרוץ עליו”; המערכת תמצא את המודל המתימטי הנכון לדבר הזה, את ה-hyperparameter הנכונים, את ה. . . . אולי אפילו תנקה את הדאטה - ותקבל מודל.אז כעיקרון, אתה לא צריך עבודה, או הרבה עבודה, של Data Scientist - שזה כמובן נכון בתיאוריה . . . אבל אתה לא צריך הרבה עבודת Data Science כדי לבנות מודל, כי המכונות פשוט עושות הרבה ניסיונות ומוצאות משהו טוב . . .(נועם) אז קודם כל - זה היה פרק מרתק, וזה לגמרי נכון - אבל יש “אבל” ענק פה, וסופר-משמעותיאצל אסף, כבר הדאטה, בעצם, הגיע למבנה - ותיכף אני אדבר על זה, כי זה נורא משמעותי - מבנה שמכונות יכולות להבין אותו.התחלת . . . סתם, אני אתן דוגמא ואחרי זה נפרט ויהיה נחמד להיכנס קצת לעומק על ההבדלים ועל מה זה אומר - אבל כדי שמודלים . . . תיקח מידע מתוייג - אבל מאיפה יש ללקוחות שלנו, שהם אנליסטים, מיידע מתוייג? אין להם, הם אפילו לא יודעים מה זה אומר . . .בעצם, צריך להבין את השפה של האנליסט - אותם אנליסטים, שעובדים, לדוגמא, עם כלי BI, ושמביאים ל-Business היום תובנות - לא יודעים את עולם ה-AI, הם לא יודעים בכלל מה זה “מידע מתוייג”.צריך להתחיל איתם בכלל במושגים שלהם - בטבלאות, ואני אתן תיכף דוגמאותאפשר לדבר על טבלה של טרנזקציות - שזה משהו שהם מבינים, טבלה של לקוחות - אז זה הם מבינים.אבל “מידע מתוייג”? - וזה רק דוגמא אחת.אם נלך רגע לעוד דוגמאות, ואני חושב שהן אפילו יותר מורכבות - זה איך בעצם מייצרים פיצ’רים?כל העולם של Feature Engineering זה לא משהו שמכונה יכולה לייצר, כי בסוף צריך להבין את הדאטה.זה בדיוק האלמנט שנקרא “To make sense of Data”.אותם אנליסטים לא יודעים בכלל מה זה אומר Feature Engineering, הם לא מבינים . . .וזה כמובן, וזה נורא חשוב - יש גם אנליסטים שכן יודעים, אבל אם נסתכל על ה-Bulk הגדול, שבדרך כלל מתעסקים ועובדים בעולמות של BI - הם לרוב לא יודעים לעומק את העולם הזה, וזה מה שמייחד את ה-Data Scientistאיך לייצר את אותם פיצ’רים, שמייצרים . . . לוקחים את הדאטה הגולמי, ומייצרים ממנו מידע שאפשר להכניס לתוך מודלים.ומה שמאוד מיוחד בפקאן זה שאנחנו עושים את באופן אוטומטי.(רן) באופן אוטומטי מסתכלים על דאטה, שלא ראית לפני כן, של חברה שאתה לא מכיר, שאתה לא מבין מה ה-Business שלה - ואתה עושה מזה משהו הגיוני? . . . טוב, אז אולי ניכנס פנימה ונבין איך זה עובד.(נועם) מהמם.אז (א) - חשוב [להבין]: אין פה קסם - זה הכל Engineering שמחבר את הדבריםאבל כן אני אתחיל ואגיד, וזה באמת המקום שבו . . . אתם זוכרים את אותו חדר קטן שדיברנו עליו, מול האוניברסיטה? שם כל הרעיונות נוצרו, מבחינת הבסיס, באמת.כי מה קרה? קיבלנו דאטה של לקוחות, ובתוך התהליך קיבלנו עוד דאטה ועוד “דאטאות” שונים, ובאמת בכל פעם היינו מייצרים מודליםוראינו את אותם מקומות והבנו שבעצם כן - יש פה קו מנחה אחד שעובר בתוך כל המקומות האלה.וזה אותו מקום, שהבנו שכן אפשר לייצר את אותו Framework, שהוא מאוד משמעותי - ובעצם הוא מדבר לכל אחד שמבין דאטה, ודרכו אנחנו מגיעים למודל.עכשיו - למה אני מתכוון? כי זה נשמע עדיין מאוד אמורפי, אז קצת ניכנס לתכל’ס - בסוף, אם חושבים על זה, בעצם כדי להגיע למודלים פרידקטיביים (Predictive), יש את אותן קומפוננטות (Components) נורא חשובות שצריך להכיר אותן - אנחנו קוראים להן The Four W’s, וזה לא מכונית שנוסעת, זה לא אוטו שיודע לנסוע, אלא זהא. Who - עבור מי עושים את הפרדיקציה?ב. When - מתי עושים את הפרדיקטציה? - וזה נורא חשוב, תיכף אתם תבינו איך זה בונה את כל העולם תוכןג. ברגע שאנחנו יודעים עבור מי עושים את הפרדיקציה ומתי, נשאר לנו What - מה אנחנו רוצים בעצם?וזה אותו מקום אגב . . . מה שאנחנו רוצים לחזות, אותו מקום של מידע מטוייב.אז אנחנו לא מבקשים מה-user שלנו, בעצם, להביא מידע מתוייג - אנחנו נתייג אותו בשבילו.איך נעשה את זה? אנחנו מבינים את עולם התוכן, אנחנו מבינים שמדובר ב-Life-Time Value או ב-Churn, אנחנו רק צריכים עכשיו לדעת מה-user מהי, לדוגמא, טבלת ה-Transactions שלו, או מה היא הטבלה שאליה אנחנו רוצים לסכום.אז בעצם, ברגע שאנחנו נותנים את אותה מסגרת של Who, When, What - וכמובן ה-W האחרון, שזה מה שדיברנו עליו לפני כן - ד. זה With - בעזרת איזו אינפורמציה אנחנו רוצים שהמערכת תייצר את הניבוי?עכשיו, פה מגיע אותו חלק כל כך משמעותי, של “איך אנחנו יודעים To make sense of data?”קיבלנו טבלה - עכשיו, קחו טבלת . . . אפשר לדבר סתם לדוגמא על טבלה שאנחנו מקבלים - שיחות טלפוןרשומות, כשכל רשומה היא שיחת טלפון ל-Support, ורוצים להבין את המשמעותהיופי זה שאנחנו מבקשים מה-user, בעצם, להביא לנו עמודות של זמן, של תאריך - מהו אותו תאריך שבו האירוע קורהומשם אנחנו כבר מזהים את כל העמודות השונות, מה המשמעות שלהן, איזה סוג זה - ומייצרים את אותם פיצ’רים.אני אתן כמה דוגמאות קטנות כדי שתבינו: קחו, לדוגמא, אם אנחנו מדברים על אורך של שיחה, אז מה שמעניין זה, פר user מסויים, לא רק לראות שיחה מסויימת אלא מה קורה על פני הזמןבעצם, אנחנו בפקאן מסתכלים על אוסף של אותן רשומות, ומייצרים להן נגזרת - לא רק לוקחים נקודה מסויימת, אלא ממש מסתכלים על הנגזרת על פני הזמן, ורואים איך יש שינוי.אז אם לבנאדם בתהחלה הייתה שיחה קצרה, ואחר כך יותר ארוכה ויותר ארוכה ויותר ארוכה - מאוד יכול להיות שקורה פה משהו.זה בדיוק אותו מידע שחשוב למודל, ואנחנו יודעים לייצר את אותם פיצ’רים על מנת להגיע, בעצם, למשהו ש Make sense of data.(אורי) אז אם אני מנסה להבין - ה - Secret sauce הוא ב . . . אוקיי, יש לך מידע טבלאי, אני שואל אותך ארבע שאלות - אותן ארבע W’s שלך - וזה מספיק לי בשביל לקחת את המידע הטבלאי שלך - וכמובן הוא חייב לכסות את התשובות של השאלות - בשביל לייצר מזה מידע שאני יכול להכניס ל-AutoML כזה או אחר, ולקבל מודל פרדיקציה?(נועם) לחלוטין - אתה בעצם . . . רק חשוב להגיד: פקאן זה End-to-End Solutionאתה רק צריך לחבר את אותן טבלאות, כמו שבדיוק הסברת, והסברת מהמם, עם אותן Four W’sובעצם מה שאתה מקבל - לוחץ על כפתור, מה שנקרא Train the model בתוך פקאן - ומאותו רגע, בעצם, אתה מקבל מודל מוכן.כמובן שיש את כל ה-Processing של ה-Data, ואם תרצו אפשר להכנס באמת למה שקורה שם - אבל בעצם מעבדים את כל הנתונים, מבינים.עושים, כמובן, מה שנקרא Feature engineering או Feature selection, מידולומגיעים בעצם למודל מוכן - ועכשיו אתה בתוך פקאן, עם מודל מוכןומה שנורא יפה בפתרון, וזה אחד הדברים שנורא ריגשו אותי בפקאן, זה שכשסגרנו את ה-Loop - ואתה יכול ללחוץ על כפתור שאומר “עכשיו תתחיל להשתמש במודל הזה”.אתה לא צריך לעבור למערכת אחרת, אתה בתוך פקאןאתה במה שנקרא “use my model”, ועכשיו אתה יכול להגיד “אני רוצה להשתמש בו” - ולא צריך לעשות שום פעולה במקום אחר.בעצם, אתה רק אומר איזה תזמון אתה רוצה, ועכשיו אנחנו מושכים רק Data חדש, מייצרים את הניבויים - ושולחים אותם חזרה אליך כ-User.(אורי) בעצם, התחלנו את השיחה מ-Machine Learning בעולם האמיתי. . . .(רן) . . . אז בוא אני אתן לך שאלה של Machine Learning בעולם האמיתי . . . (נועם) יש!(רן) . . . כמעט כל מי שעושה איזושהי תיאוריה ב-Data Science או Machine Learning, מסתכל על Data-set מדהים, והוא מריץ כמה שורות ב-Pandas וב-scikit-learn ועוד איזה TensorFlow, והכל עובד נהדרהסיווגים יוצאים בתשעים-ומשהו אחוזי דיוק, והרגרסיות יוצאות יפות והכל סבבה.ואז, כשאתה לוקח את אותו הדבר ואתה רוצה להפעיל את זה על ה-Business שלך - נקרא לזה העולם האמיתי - פתאום כלום לא עובד . . . שום דבר לא מדויק, כל הרגרסיות עקומות, הפיצ’רים לא בכיוון . . . זאת אומרת, כשהמדע פוגש את השטח, את מגלה שיש שריפה בצמיגים.אז אני מניח שאתם, בגלל שאתם רואים הרבה מאוד לקוחות, בטח רואים את זה חדשות לבקרים - וחשבתי שאולי תוכל לחלוק איתנו כמה מהלמידות שלכם בתחום הזה, של איך לוקחים את התיאוריה והופכים אותה למשהו שהוא פרקטי וגם Actionable-י.(נועם) לגמרי . . . אולי נתחיל . . . זה עולם באמת עצום, וזה מרתק, כי זה באמת אותם מקומות, ואני זוכר את עצמי בדוקטורט, מתעסק עם עולם של מידול, ומידול של מוחאם אנחנו מדברים לדוגמא על EEG, ואיך מייצרים משם פרדיקציות . . . ובאמת, יחסית - עולם ורוד . . . זה באמת עולם שבו לדאטה יש מבנה שהוא הרבה יותר ברוראין כאלה פערים גדולים, ובטח כשאנחנו מדברים על אותם Data-sets שאתה באמת מוריד כדוגמא ורוצה לראות והופ! הכל נפלא.אז בואו באמת ניקח כמה דוגמאות, אם מתאים לכם, ונתחיל להסתכל על כמה דברים, ודברים שאנחנו ראינו אותם כמובן - והתמודדויות שצריך לדעת להתמודד איתן.אולי נתחיל, ויש פה כמה איזורים - נתחיל . . . דיברנו קודם על LTV, נכון? (רן) Lifetime Value . . .(נועם) סליחה, Life-Time Value, נכון - לחזות כמה אותו לקוח יהיה שווה - כמובן שאנחנו מדברים על חיזוי, אז יהיה שווה בעתיד.בעולם , אם ניקח, אתם יודעים . . . כמובן, בדרך כלל בדוגמאות האלה, אם אנחנו עושים מתוך רגרסיה איזושהי לדוגמא, כמעט תמיד ההתפלגות היא התפלגות כזאת גאוסיאנית - פעמון יפהוהמודלים - הם אוהבים פעמונים, טוב להם לשמוע את הצליל הזה, תמיד נעים להם מאוד . . אבל במציאות . . .(אורי) כמו פרות בשוויצריה . . .(נועם) בדיוק . . . אבל . . .(רן)בדיוק חשבתי על הגיבן מנוטרדאם, אבל בסדר, פעמון זה פעמון . . .[יותר בכיוון של High Hopes . . . ](נועם) אז אני אגיד - הגיבן מנוטרדאם זה באמת יותר איך שהדאטה נראה, והוא לא נראה כל כך ישר ויפה . . .(אורי) יש לו גיבנת . . .(נועם) יש לו גיבנת, ויש לו אחר כך גם זנב . . . לא חושב שהיה לו זנב, אבל במציאות יש זנב ארוך, שם בתוך ההתפלגות.ובאמת זה מה שרואים - בדרך כלל, כמו שאתם יודעים, במציאות, בהרבה מאוד מקרים דווקא יש מעט לקוחות שמביאים בעצם את רוב ההכנסותהם אותו הזנב - וההתפלגות נראית קטסטרופה, ועכשיו לך תתמודד עם הדבר הזה.מודלים נראים קטסטרופה במצב הזה, וההתמודדות שם היא מאוד קשה, היא לא . . . זו דוגמא קטנה להתמודדות ראשונה(רן) זאת אומרת - אנחנו מדברים על מצב שבו ה-Target שלך, מטרת היעד - אולי בספרות היא נראית כמו איזשהו פעמון גאוסיאני מאוד יפה, אבל במציאות זה נראה ברדק שלם, ואז המודל לא יכול . . . הוא כנראה לא יעבוד טוב במצב כזה.(נועם) נכון מאודבעצם, הרבה פעמים הסיבה היא שבהרבה מאוד מהמודלים יש הנחה, בתוכם - הנחה, שמניחה שבאמת ה-Target, יש בו התפלגות גאוסיניתומה לעשות שהנחות נועדו כדי שהן לא תתקיימנה, כמובן [Normal’s overrated].(רן) טוב, אתה יודע - המרצה לסטטיסטיקה יגיד “במספרים מספיק גדולים, זה תקף”, אבל זה המספרים שיש לי, אין לי מספרים מספיק גדולים . . .[והם גם כמעט אף פעם לא בלתי תלויים, או שווי התפלגות . . .](נועם) אגב, גם ב”מספיק גדולים” פה - זאת בעיה, כי זאת המציאות פהואנחנו מתעסקים עם מספרים מאוד גדולים - וזאת עדיין ההתפלגות, כי זאת פשוט המציאות[ד”ש לאסימוב?]אתם יודעים מה? אני מגיע מעולם של פסיכולוגיה, ובאמת בפסיכולוגיה, אנחנו כבני אדם - הרבה מאוד מההתפלגויות הן באמת גאוסיאניות, אבל דווקא בעסקים זה נראה מאוד מאוד שונה.ובאמת בדאטה עסקי, אנחנו לא רואים את אותה התפלגות גאוסיאנית[אקספוננציאלית? Log-Normal?]אני משער שיש פה . . . לא יודע אם אתם מרגישים את המתח של “רגע, מה עושים, איך מתמודדים עם זה?” . . .(רן) לא - אני רק שואל את עצמי מה ההתפלגות, נו? . . .(נועם) אז אולי אני אתן לכם רק . .. כמובן, יש פה כמה טיפים, אבל איך בכלל ניגשים לשאלה כזאת? אני חושב עכשיו על האנשים ששומעים [ומנסים לתמלל!] אותנו, ואומרים “רגע, יופי! הוא - יש לו מלא דאטה של לקוחות, קל לו, אבל אני בבית, איך אני יכול לעשות? מה אני יכול לעשות?”את תדעו לכם - זוכרים שהתחלנו בעצם, ככה בגאראז’ שלנו - תמיד מתחילים מדאטה, שבעצם הוא סימולציה, מייצרים סימולציות, זה מאוד חשובכי בעצם, דרך סימולציה, אפשר גם לייצר את החוק, והדרך הכי טובה להתחיל מחקר בעולמות של Machine Learning זה קודם כל לייצר קוד שמסמלץ (Simulates) את הנתונים, ומשם בעצם לומדים איך הכי נכון לייצר את אותם מודלים.[הקשר מעט אחר אבל קצת רפרנס ל In order to scale you have to do things that don’t scale ול- Do Things that don’t Scale]תמיד עבדנו, בעצם יצרנו סימולציה של מידע שיש לו זנב מאוד ארוך, עם חוק מאוד מסוייםכמובן בצורה של Rule-based, פשוט בשביל הסימולציה - אין צורך . . . פה זה לא מקום שצריך הרבה יצירתיות - דווקא מעט יצירתיות היא מאוד טובה פה - משהו פשוט.ורוצים לראות שהמודלים, גם עם “ההתפלגות הבעייתית”, יודעים לעלות על החוק, כאשר זו סמולציה פשוטה.קודם כל צריך לפצח את זה - אם לא תפצחו את זה, לא תצליחו לפצח גם מידע שהוא הרבה יותר מורכב בחוקיות שלו.(אורי) אז אתה אומר “אני מסתכל על מידע אמיתי; אני מזהה את החוק או את הבעיה; ומסמלץ את המידע הזה לצורך משחק עם המודל” - כשבעצם, כשאתה מייצר מידע סינטטי, אתה מסמלץ מידע שהוא סינטטי, אבל מכיל את הבעיה . . . מכיל בעיה אחת, וכנראה שבדאטה האמיתי מסתתרות עוד כמה בעיות.זא אומרת - אני קודם כל מייצר לי את המודל שמצליח לעלות על הבעיה שבעצם סימלצתי; אני אראה שהמודל עובד על זה, ואז אני אעבור לבעיה הבאה.(נועם) בדיוק - אי אפשר להתחיל מלפתור את כל הבעיות, זה פשוט בלתי אפשרי, זה לא . . . זה מאוד מאוד קשה.ובאמת, הדרך שלנו לפעול זה כל פעם לקחת בעיה, לראות איך הדרך הנכונה להתמודד איתה, ודרך אותן סימולציות באמת להבין איך נכון להתמודד עם זה, אני מתחיל את המחקר שם.כמו שאמרת - אתה משחק, אתה גם חוקר, מבין איך נכון בעצם לפעול - ועכשיו לוקח את זה לעולם האמיתי.(רן) לצורך העניין, בדוגמא שלנו, אתה אומר “סבבה, המודל עובד על התפלגות גאוסיאנית - אבל מה לעשות, ההתפלגות היא, Whatever - אקספוננציאלית או Weibull או משהו אחר כזה, לא כל כך יפה - אז בואו נסמלץ (Simulate) התפלגות אקספוננציאלית, ננסה להתאים את המודל עליה, ואחרי שעברתי את זה אני אעבור לדאטה האמיתי, ושם אני אעשה את התיקונים הנדרשים”. אבל . . .(אורי) או שאני אקח את הבעיה הבאה בדאטה האמיתי - ואני אסמלץ גם אותה ו . . .(רן) כן, אבל זה נשמע כאילו “שלב מיותר” - למה לעבור דרך סימולציה, אם כבר יש לי את הדאטה? זו שאלה אחת.ושאלה שנייה - אולי אתה פותר בעיה קלה מדי? זאת אומרת, אז עשיתי סימולציה, אבל הסימולציה פשוט לא מספיק נאמנה לדאטה האמיתי או, לא יודע, אולי יש לי איזשהו Bias בדאטה, אולי יש לי הרבה אנומליות - כאלה שמה לעשות? אני לא מסמלץ אותן, וכשאני מגיע לדאטה אז שוב אני בפני שוקת שבורה, וכל העבודה שעשיתי לפני - אי אפשר להשתמש בה.(נועם) שתי נקודות מאוד מאוד טובות וחשובות . . .אני אתחיל, רגע, מהראשונה - על הנקודה שאמרת שאולי יש פה מצב שבוא אתה פותר בעיה אחת, שהיא יחסית “פשוטה”נכון - אבל אנחנו לוקחים את זה . . . “אבל בעצם יש לך את הדאטה, למה אתה צריך את ה[בעיה ה]פשוטה?”כשאתה מתמודד עם כל הבעיות “במכה”, אין לך מושג האם התקדמת . . . אתה כל פעם נתקע, וזו הבעיה הכי גדולה, אגב, ב-Data scientists שמתמודדים עם דאטה כזה - הם לא יודעים האם הם מתקדמים.אתה כל פעם עשית משהו, אבל “רגע, זה לא עבד לך”,אז אתה מנסה משהו אחר, ו”רגע, זה לא עבד”.אבל זה לא עבד בגלל עשרים מחסומים בדרך - ואם אתה לוקח כל מחסום ומחסום בנפרד . . . ותראו - אני אומר לכם את זה אחרי שעברנו את המחסומים, ואחרי שאנחנו באמת כבר מייצרים מודלים ללקוחות על דאטה אמיתי ורואים ביצועים מאוד טובים - זה בדיוק דרך אותה שיטה של בכל פעם לקחת את המחסום לבד הצידה, עם דאטה הרבה יותר פשוטכי אם לא תעשו את זה עם מידע יותר פשוט, לא תדעו מה הדרך להתמודדומשם לעבור למחסום הבא.שוב, אני מקווה שהצלחתי להעביר - זה לא שזה נעשה בצורה אטומטיתאותם . . . הדרך של “כל פעם לעבור את המחסום”, זה אצלנו, כמובן, יש צוות של Data scientists, חבר’ה מאוד חזקים, שמסמלצים את הבעיה.הבעיות, בסופו של דבר, חוזרות על עצמן - אלו לא בעיות שלכל לקוח זו בעיה שונה, דברים חוזרים על עצמם.אבל הדרך להתמודד היא באמת לקחת מחסום כזה ולהבין איך מתמודדים איתו.(אורי) אז אפשר גם לסמלץ ואפשר גם לנקות, לא? כאילו - אתה יכול לנקות בעיות מהדאטה . . .(נועם) לגמרי . . . מה שדיברתי בסימלוץ זה תמיד כשאי אפשר לנקות, אבל לגמרי - אנחנו מנקים, וזה מאוד חשוב.וזה לגמרי, קודם כל . . . זה תהליך שלם, בתוך ה-Pipeline שלנו, זה כמובן לעשות Cleansing לדאטה, Wrangling של הדאטה . . . וזה תיכף, אפשר קצת לדבר גם . . . אתם יודעים, מדברים על “דאטה מלוכלך” - מה זה “דאטה מלוכלך” בכלל?אני מקווה שנספיק, כי אני לא יודע כמה זמן יש ויש המון נושאים וזה מרתק . . .אומרים “דאטה מלוכלך”, אבל כל אחד מתכוון לדברים שונים . . .אבל כמובן - אם אנחנו מדברים על Missing Values שזה מאוד חשוב, אם אנחנו מדברים על טעויות בתוך הדאטה . . .אלמנט מאוד מאוד חשוב זה גם Data Type - מה ה-Type שלי? הם אני תאריך או לא תאריך? ואיך אני מייצר את התאריך? ואיזה תאריכים . . . ורגע, אולי יש לי פתאום תאריך עתידי בדאטה, בטעות, שאתם יודעים - תמיד נכנסים תאריכים לא נכונים כאלה פה ושםאלו בדיוק אותם מקרים שמאוד משמעותי לנקות אותם, לפני שיוצאים לדרך, לגמרי.(אורי) אז הזכרת Data scientists שיושבים על הדאטה ועובדים עליו . . . כמה מה-Workload של מלקחת לקוח ועד שאתה יודע לתת לו מודל פרדיקציה (Prediction Model) . . . זה קשה להגיד את זה אבל . . . (רן) אתה מתכוון לשאול כמה מזה אוטומטי וכמה מזה . . . (אורי) . . . כמה מזה אוטומטי וכמה זה עבודה . . .?(נועם) יש לי תשובה מאוד פשוטה לזה, מאוד פשוטה . . . אני אגיד לכם למה - וזה אגב, בחווייה האישית, תחשבו בתור, אתם יודעים - מישהו שזה “הבייבי שלו”, ויוצא לדרך - אתה לא יודע לאן אתה הולךואני יכול להגיד לכם - רגע שבשבילי היה ללא ספק משמעותי מאוד בדרך זה כשעבדנו עם לקוח מאוד גדול, חברת Retail אמריקאית ענקית, אני כמובן לא יכול להגיד את השם . . עבדנו איתם והם אמרו “אנחנו רוצים, כמובן, פיילוט - רוצים לראות מה אתם יכולים לעשות”ובעצם לקחנו ככה, ביקשנו מהם את הדאטה והכנסנו אותו לתוך המערכת, ביחד איתם הכנסנו את זה לתוך המערכת - ותוך שבועיים, בעצם, הגענו למודל שהם במשך שנה עבדו עליו - זה הסדרי גודל.וזו הייתה הפעם הראשונה - אחרי זה הגענו לעוד לקוח, ובדיוק אותו סיפור: שנה שבה הצוות עובד - ואתם יודעים איך התהליכים, ואפשר אולי לדבר על התהליכים של מה זה לייצר מודל - זה גם קשור לדאטהזה גם קשור, כמובן, ללהבין ולחבר את זה לשאלה שהיא מוגדרת היטבלנקות את הדאטה, להריץ מודל . . .עכשיו - זה לא פעם אחת: אתה כל פעם עושה סייקלים (cycles), אתה בכל פעם רוצה לשפר ועושה סייקליםוזה היופי - זה מצא. בתוך פקאן, אתה מצליח, בתוך שבועיים - ותיכף אני אדבר על למה זה כל כך מהיר ואיפה באמת, כמו שדיברת, איזה Workload זה לוקח - אל מול שנה.וזה לא לקוח אחד - אנחנו מדברים על הרבה לקוחות שזה בדיוק מה שאנחנו שומעים.והיום, כששואלים אותנו מה ה-Value שלנו . . . פעם, היינו אומרים שה-Value הכי גדול של פקאן זה באמת לאפשר למישהו שלא מכיר לייצר מודלים - אבל זה הרבה יותר מזה.זה לייצר, בעצם, הרבה מודלים - זה לייצר ולענות על הרבה שאלות עסקיות והיום, כשאתה שואל את עצמך למה שלקוח גדול - ודיברנו על לקוחות באמת גדולים - למה שהם בכלל ידברו איתנו? מה - אין להם צוותים?[אז] יש להם, אבל הבעיה זה שאותם צוותים לא יכולים לענות על הרבה שאלות עסקיות, כי זה לוקח הרבה זמןבעצם, בעזרת פקאן, הם פשוט מחברים את הדאטה ומקבלים את אותו מודל פרדיקטיבי.עכשיו, למה אגב שבועיים? למה לא מיידית? למה עדיין יש פה איזשהו תהליך מסויים? כי באמת, וזה אחד הדברים המשמעותיים, היופי בתוך פקאן זה . . . דיברנו על ה Four W’s, ויש שם קונפיגורציות, יש שם כל מיני קונפיגורציות שאתה יכול לשחק איתןאם, לדוגמא, אנחנו מדברים על Lifetime Value, אז השאלה לכמה זמן אתה חוזה קדימה, ולכמה זמן מראש אתה רוצה לחזות קדימה . . . והיופי בתוך פקאן זה שאתה יכול לשנות את הקונפיגורציה - אתה עושה “Duplicate my Model”, משנה את הקונפיגורציה - והנה, יש לך מודל חדש.אז בעצם מה שאנחנו עושים זה שאנחנו מייצרים כל מיני וריאציות [נושא טעון בימים אלו…] על בסיס קונפיגורציות - אבל לא של Hyper Parameters, זה מאוד חשוב - קונפיגורציות עסקיות, ובעצם מקבלים תמונה מלאה.ועל זה דיברנו, על פער שבין אקדמיה לעסקי - בעסקי, זה לא שאתה בונה מודל אחד בשביל לענות על שאלה; אתה רוצה לקבל את כל . . . בעצם את כל הקשת השונה, ולראות 360 מעלות כדי להבין את הלקוח.ולהבין מה הם המודלים הכי טובים, שאיתם אתה יוצא לדרך.(רן) אז אנחנו ב-Scope של “איזה דברים עובדים נהדר באקדמיה, או איזה דברים עובדים נהדר על הנייר, אבל הרבה יותר מאתגרים בעולם האמיתי” - ובוא נכסה עוד נושא אחד כזה, כי אין לנו את כל הזמן שבעולם.אז דיברת על לקחת דאטה ולסמלץ אותו כדי לעבור, מה שנקרא “פרה-פרה”, כדי לעבור את המכשול הראשון לפני שאנחנו מגיעים למכשול השני . . .איזה עוד בעיות יש שככה נתקלים בהן בדרך כלל בעולם האמיתי, שאולי בעולם האקדמאי הן נראות כאילו הן כבר פתורות?(נועם) אז אחת הנקודות - ובטח אתם תזדהו עם הבעיה הזו, לכל מי שמתעסק עם העולמות של Data Science זו אחת הנקודות הכואבות, ויש לזה גם כמה שמות, זה בא בזויות שונות - מושג של Leakage . . . אחת הנקודות, כ-Data scientist, זה גם אלמנט מאוד קשה, זה באמת מצב . . ובאקדמיה הרבה פחות . . . לא כל כך מתעסקים בכלל עם Leakageזה כמובן תלוי איפה וזה כמובן נושא שמדובר, אבל אם לוקחים את אותם מודלים ומסתכלים, אז לרוב יש באמת . . .הרי כשמסתכלים במאמרים, לרוב אלו Data sets קבועים, מאוד מסויימים - זה לא שבאמת מסתכלים על מגוון רחבאבל ברגע שמגיעים למציאות, ותיכף אני אתן כמה דוגמאות, ודוגמאות באמת של איפה שהדבר הזה נופל ועד כמה הוא מורכב . . אבל Leakage . . . אולי אני אסביר שנייה מה זה בכלל, ואז ניכנס קצת ל . . .בעצם, דיברנו על Machine Learning, אנחנו מדברים על לחזות משהו קדימה בזמן - מה יקרה?אז הדבר הכי מסוכן זה שאיכשהו אנחנו מכניסים לתוך המודל מידע, שבתוכו חבוי מידע מתוך העתיד, שלא ידענו אפילו שהוא מתוך העתיד, ואיכשהו הוא “התחבא” לו שם, בלי ששמנו לבועכשיו ברור שלמודל מאוד “קל”, כי . . זה אמור להיות יחסית קל, כי זה חבוי לו בפנים . . .(רן) יש לו רמז מאוד מאוד ברור, כשאתה בונה אותו, אבל במציאות הרמז הזה כבר לא יהיה קיים, זאת אומרת - בדרך כלל אתה מאמן על מידע שהוא היסטורי, ששם יש לך אינפורמציה מלאה, ואתה “עוצם לרגע עין אחת” כדי לא להסתכל קדימה, אבל בטעות אתה קצת “פותח את האצבעות” וכן מסתכל קדימה, בלי שהתכוונת - וזה ה-Leakage הזה שעליו אתה מדבר.(נועם) בדיוק - ובעצם, כמו . . .מאוד יפה, אני אוהב את הדוגמא הזו עם החצי-עין עצומה וככה, לעצום . . .(רן) אל תשכח לתת זכויות יוצרים!(נועם) אז הנקודה היא באמת, שכשמגיעים לדאטה - ותזכרו, אנחנו מתחברים בעצם למקורות דאטה של הלקוחות שלנו, ממש מתחברים ל-Databases שלהם, למקורות מידע, ו . . . תחשבו רגע קצת על איך נראה מידע בתוך ה-Database - לרוב לוקחים דאטה וגם מעדכניםמעדכנים שם רשומות, ואם אנחנו מעדכנים פתאום רשומה, ומסתכלים עליה ו . . . ממש כמו שדיברת, אנחנו הרי מסתכלים על מידע היסטורי, אז אנחנו לקוחים רשומות ישנות ומשתמשים בהן כאילו הן נוצרו עכשיואבל בעצם הרשומה השתנתה - קרו לה כל מיני דברים . . . המון המון מידע בעצם התעדכן מאז - ואנחנו מניחים עכשיו, כשאנחנו ברגע הפרדיקציה, שזה המידע שיש לנו בידאבל כשנגיע באמת לרגע הפרדיקציה [במציאות] - המידע לא יראה ככה בכלל . . .וזה אותו פער - זה בעצם . . . בגלל זה ה-Leakage הזה: דלף מידע . . .(רן) בוא, רגע, נמציא דוגמא - נגיד, יש לי עמודה שקוראים לה “איכות הלקוח”לפני שנתיים, כשרק קיבלנו את הלקוח, לא ידענו עליו שום דבר, אז שמנו שם, נגיד, “C”.עם הזמן, הלקוח שילם תמיד בזמן, תמיד חזר והכל - וזה לאט-לאט עלה ל-”B” ועלה ל-”A”עכשיו - אתה בא לעשות איזשהו Prediction ואתה רואה בתוך העמודה הזאת שאיכות הלקוח היא “A” - זאת אומרת שזה לקוח ממש-ממש טובאבל במציאות, כש”יוולד” לך לקוח חדש, או לקוח שרק קיים במערכת - הציון שלו לא באמת יהיה “A”זאת אומרת - אם אתה עכשיו מנסה לעשות פרדיקציה מהמקום שבו היית שנתיים לפני כן, האיכות שלו הייתה “C”, היא לא הייתה “A” - אבל אתה לא יודע את זה כשאתה . . . (אורי) אגב, זה קורה לפעמים כשאתה מעלה מודל חדש, ואתה מנסה לבדוק אותו ב-A/B Testing מול מודל ישן - ככל שאתה מרחיב את הניסוי של ה . . . - לא יודע אם A או B, זה לא משנה - את המשקל של המודל “החדש” שלך, “הטוב יותר” שלך - הדאטה שלו מתחיל ללמד את המודל הישן . . . בעצם, פתאום אתה רואה שה-Lift שלך, ככל שאתה מייצר . . . ה-Lift יורד.(נועם) אני אגיד שזו ממש הייתה . . . צריך להגיד לצופים [הצופים בטקסט? כי היתר לרוב מאזינים . . .] - לא העברתי לך שום שטר, אבל זו לגמרי הייתה הרמה להנחתה, וזה באמת . . .זה בדיוק - מה שעכשיו הסברת - זה התחלה, בעצם, של איך שאנחנו מתמודדים עם הבעיה הזו.בעצם, תזכרו כמה קל לקחת מודל בתוך פקאן ולהתחיל להשתמש בו בתוך Production - זו לחיצת כפתוראתה זוכרים את ה-Usage model שדיברנו עליו? - בעצם, נורא קל . . . אין צורך עכשיו לקחת את כל המודל שלנו, לקחת צוות של Data Engineers ולהעלות אותו ל-Production - אתה פשוא לוחץ על כפתור.ובעצם, ממש כמו שדיברת - ברגע שאתה מעלה אותו ל-Production ,אתה ישר מזהה שיש פה בעיה, כי הרי ב-Production אתה כבר עובד עם מידע עדכני, אתה כבר עובד עם המידע החי.שם, זו הרי הפעם הראשונה שאתה תפגוש את ה-Leakageדיברת על ה”חצי-עין עצומה”? שם אתה תקבל אותו “בום לפרצוף” . . .(רן) תביא רטייה, לא תוכל פתוח את האצבעות . . . (נועם) בדיוק . . . ובגלל זה, מה שיפה בפקאן זה שאנחנו מאוד בקלות מזהים את אותם Leakage-ים, רואים את זה, כי אנחנו מגיעים ל-Production נורא בקלות, נורא מהר, מזהים את אותם Leakage-ים ויכולים להתמודד איתם.מבינים בדיוק מה לעשות ובעצם להתקדם קדימה.(רן) אז אתה אומר שבעצם אין פתרון קסם למציאת Leakage - אם הוא שם אז יכול להיות שהוא שם ואתה בחיים לא תזהה אותו, אבל כשאתה פורש את המודל הזה ב-Production, ופתאום אתה רואה ירידה דראסטית בביצועים, אז החשד הראשון הוא שכנראה היה Leakage בתוך הדאטה . . .(נועם) לגמרי . . . יש לנו, אגב, גם עוד כמה טכניקות על לזהות Leakage עוד בבנייה - בדרך כלל, לדוגמא - פיצ’רים שהם כל כך . . . אתם יודעים, אצלנו יש עניין של Feature Importance, ובעצם מזהים Feature שהוא כל כך חשובובדרך כלל כשמדובר ב-Leakage אז הפיצ’רים האלה קופצים נורא-נורא גבוה - כמובן יש התראה על העניין הזה, שיש פה חשש ל-Leakageאבל בנוסף לזה, יש פה כמה מנגנונים בדרך - וכמובן שהאחרון, וההכי בטיחותי, זה באמת המנגנון האחרון שבו אתה מוריד ל-Production, רואה מיד מה קורה, ואם יש בעיה אתה כמובן יכול לתקן.(רן) בסדר, מעולה - אז תראה, אני חושב שיש לנו עוד נושאים לשיחה לאיזה שבועיים, אבל אמרנו שזה יהיה הנושא האחרון והזמן שלנו כבר עבר.כמה דברים, ככה לפני שנסיים - איפה אתם נמצאים בישראל? את מי אתם מחפשים לגייס?(נועם) מדהים . . .אז אנחנו בישראל - האמת שהיום בתקופת הקורונה, “ישראל” זה כבר “איפה בישראל? כל אחד בביתו” . . . כמובן, יש לנו גם משרדים בבורסה [רמת גן], אבל מי שרוצה, אצלנו אנחנו מאוד בתפיסה “ההיברידית”, שמי שרוצה לעבוד מהבית עובד מהבית ומי שרוצה להגיע למשרד כמובן מוזמן.ובאמת אנחנו ממש עכשיו בצמיחה נורא מהירה בחברה - אבל נורא נזהרים על האנשים: אנחנו לא גדלים . . . הקצב גידול של האנשים שלנו הוא . . . אנחנו באמת רוצים את הכי טוביםמגייסים אצלנו כמובן משרות של Data Engineers, אז אם אנחנו מדברים על Frontend ו-Backend, ללא ספק.ו-Data scientists, כמה מפתיע . . . אבל באמת, אנשים מאוד חזקים בעולמות האלה.אפילו יש לנו משרת ניהול ל-Data Scienceוכמובן עולמות גם של Product ו-Data Analysts.אולי עוד משהו אחרון לסיום, אם יש לנו עוד שנייה אחרונה, אנחנו ככה בפרסומות . . .אז פרסומת לתחרות מאוד מגניבה שאנחנו עושים , בעולמות של Pythonאז לכל התותחי Python ששומעים אותנו - הכנסו פשוט ב-LinkedIn ל-Pecan.ai, אתם תראו שם פרטים על התחרות בעולמות של Pythonסופר מעניין, ממליץ בחום - וכמובן: פרס . . (רן) Python גנרי או משהו, ככה, יותר מפוקס על Machine Learning?(נועם) לא - לא, Machine Learningהיה לנו חשוב, הפעם . . אנחנו עושים גם Machine Learning, עושים תחרויות Machine Learningהפעם היה לנו חשוב שזה יהיה Python רחב - יהיה שם באמת . . .אני לא יכול לספר מה יש בתחרות עדיין, אבל זה הולך להיות אתגר סופר-מעניין(רן) מתי זה קורה? אם מישהו שומע את זה בעתיד [Leakage . . .], מה התאריכים?(נועם) אז אנחנו מדברים על אמצע מאי - פשוט תיכנסו, אתם תראו שם את כל הפרטים.מאמצע מאי התחרות יוצאת לדרך - ובעצם אתם מוזמנים . . .(אורי) זה מידע מהעתיד . . . (רן) כן, לגמרי . . .(אורי) אולי יש לנו Leakage? . . . (רן) ולא עצמנו עין[תמיד יש את Childhood's End](רן) טוב, נועם - תודה רבה, שיהיה לכם בהצלחה בפקאן, נשמע כמו מקום עם מוצר בהחלט מאתגר ומעניין(נועם) תודה רבה לכם, תודה שהזמנתם אותי לכאן, ממש שמחתי(אורי, רן) תודה ולהתראותהקובץ נמצא כאן, האזנה נעימה ותודה רבה לעופר פורר על התמלול

In this week's headlines: Employers pursue formal strategies to workforce technology; PlanSource announces new release; and more. 

Are you a racist? Are you?Think about it. Does any form of racism exist in your life, anywhere? Have you experienced this disease, this hatred at work, in your personal or professional lives, have you? And, has racism of any kind been experienced by your children, or young children you know especially in school, in education, any kind, anywhere? Sadly, for America, for we the people, and for we the people of faith, the vast majority of whom are people of good will, fair minded and believe that all men and women are created equal, we are forced to deal with racism as never before. The concept, the disease now permeates our educational systems, tragically so. BLACK LIVES MATTER has now taken over our constitutional requirement that ALL LIVES MATTER. And the spokespersons for this new, radical Reverse Racism now begin to dominate so much of our culture, our government and most especially, our EDUCATIONAL SYSTEMS. Many are aggressive, assertive, angry and make no effort for reconciliation, peace and harmony between the races. They are intent to capture the hearts and minds of the young, and consequently, in due course, change society that way. The young will be the ambassadors of the new culture, the new dogma, the new dictates of angry, Marxist blacks and WOKE WHITES who are determined to rid our society of its WHITENESS and all the evils inherent therein. If you are white, be ready for the attack, especially in the world of education.Marxists like Stalin and Lenin, and dictators like Hitler knew how critical it was to control education. Let me, said Hitler, train the minds of the young and they will be Nazis forever. Give me, said the Russian Marxists, a child at the age of four and that child will be communist – Marxist forever. And that is the goal of the revolutionaries, the radicals, the so called progressives (what a joke) for American education, for our young. The ultimate goal of so many of these radicals is to turn the young and in time, all of America to socialism and Marxism. It is naïve to think about what is happening in America in any other way. You and I, my fellow Americans, conservatives and Christians need to know, and stand up but more importantly:         DO SOMETHING ABOUT THIS NEW REVERSE RACISM!The once great state of Illinois has taken the lead among all of the states in indoctrinating public school students in what is termed:         ULTRA–WOKENESS.This new and advanced, extreme form of WOKE is fully grounded in Neo–Marxist:         CRITICAL RACE THEORY, which is spreading nationwide and faster by the day, so says Stanley Kurtz, a strong patriot working and writing for WATCH ILLINOIS. The aim of these new radical educators is to DECONSTRUCT the existing educational systems, priorities, beliefs and values and to reconstruct all things educational on a brand new model, a Neo–Marxist model to be sure. Much of our history, our American history will be rewritten or eliminated. For example, the 1619 PROJECT which claims that America was built on the backs of slave labor now replaces much of real and factual American history and is spreading nationwide. But this and much more is happening in the once great state of Illinois where, writer Kurtz states that in Illinois:         “That is where woke has gone for broke, and America may soon pay the price.”These new educational theories, fostered in large measure by BLACK LIVES MATTER, itself founded in much of Marxism, is forcing third graders to “deconstruct their racial identities” and rank themselves by:         POWER AND PRIVILEGE.In short, this now new ULTRA–WOKENESS goes farther and deeper into systemic racism, fosters this new CRITICAL RACE THEORY and in addition to SYSTEMIC RACISM, focuses in school on the concept of:         MARGINALIZATIONwhere minorities, and especially Blacks, live on the edges of society and never are able to achieve integration or any part of the American Dream. They completely ignore the fact that some of the wealthiest and most influential people in our society are Black, especially in the world of athletics, entertainment and now ever growing at the core of American business itself. But they are determined, these educators radical, ultra–woke and even Marxist to:         GO FOR BROKEespecially in the world of education. Writer Stanley Kurtz of WATCH ILLINOIS states in a most learned article that the state of Illinois is about to mandate that all its licensed teachers adopt:         PROGRESSIVE POLITICAL ORTHODOXY and impart this new ideology to all of its students. And more and perhaps an even greater problem. The state of Illinois has laid the ground work for this assault on our beloved CONSTITUTION by enacting a civics law that forces teachers to discuss current political controversies in class and more, compels them to organize adventures in:ACTION CIVICS. That is, student protests, lobbying for gun control, demanding climate change, working for The Green New Deal and the end of fossil fuels and much more. These new educational requirements are, says Kurtz, transparent attempts to import leftist political activism and indoctrination into Illinois schools. When fully implemented, teachers in the Illinois public school system will be forced into the role of de facto leftist community organizers. If not, they will be subject to negative performance reviews, student, peer or parent complaints or even the possibility of the revocation of the license to teach!The state of Illinois, its Governor and educational leaders are determined to be THE LEADER in the new educational ULTRA–WOKEISM and to spread the Neo–Marxist cultural race theory, more so than any other state and they are well on the way. Kurtz says that these new Illinois educational standards, including the existing Illinois civic laws:“Formalize the conversion of K-12 schools into political indoctrination camps.”By the way, that includes advancing the extreme new rights for transgenders. If you have a daughter in school, or you know of a young girl loved by friend or family in school, you and she better be prepared for biological boys even men sharing bathrooms and locker rooms with her. What, I ask, my fellow Americans and fellow Christians is happening to our beloved country, WHAT? Know the truth and it alone will make you free. There is criticism by Christians that this kind of commentary does not belong on Christian radio stations. How wrong that is. This is precisely where it belongs. It is WE THE CHRISTIANS who must take the lead in standing up, condemning this immoral, even satanic ultra–wokeness, especially in education and as it affects the hearts and minds of our young. This new Marxist secularism is the avowed and hateful enemy of Christianity and all things religious. Any person of faith whether Christian, Jew, Muslim or other must stand up or watch religion be eviscerated by these radical, hateful WOKERS. I grieve for the state of New York and the Buffalo public schools and I grieve every bit as much for the once great state of Illinois and its great cities, especially the special Chicago as they change every day under the influence of this satanic, Marxist new education. Stop it, my fellow Americans, please stop it. Take over the school Boards, impeach the Governors. Support charter schools. Or private schools. Or most especially Christian schools but at the same time, fight to regain the independence, the objectivity and the constitutionality of our once great public schools. If we lose the public schools, we lose America forever!

Formalize o seu trabalho e tenha acesso a linha de crédito para fazer seu empreendimento crescer, entre outras vantagens que só quem é MEI pode! #voltojá #tripulantes #MEI #Microenpreendedor #empresa #negócios #sebrae #empreendimento #finanças #dicas #empreendedorismo #orçamento #trabalho #work #dinheiro #economia

A well-executed data literacy program is essential to make data-driven operations ‘business as usual', argues Synchrony Financial VP of Data Analytics Edgar Abreu in this week's podcast. Data literacy is the cornerstone of a data-driven culture and facilitates effective communication between both technical and non-technical stakeholders at all levels of a business. That is why Edgar Abreu VP of Data Analytics at retail credit card company Synchrony Financial created the Data Intelligence Academy in his organization as he explains in this week's episode of the Business of Data Podcast. “In order to make data and analytics ‘business as usual' everyone need to not only be on board with it but also speak the same language,” explains Abreu. “So there needs to be a certain level of data literacy in the organization.” While most enterprise businesses now understand that being data-driven is the way forward many still struggle to instil a truly data-driven culture. Abreu thinks that this may be driven by a lack of corporate focus on the development of data literacy programs and notes a recent study by market research firm Gartner which found that 80% of businesses are only now rolling out their data literacy programs in 2020. For Abreu, the key is to develop data literacy at all levels of an organization, including for senior leadership, and to start early to help promote a data-driven culture. “Start a data literacy program early,” Abreu advises. “It will make the whole data and analytics journey much more successful, impactful, and more efficient.” Key Takeaways Start your data literacy program early. Implementing a data literacy program early will enhance your whole data and analytics journey Formalize the process. Make sure you have a dedicated resource and funding to develop your data literacy curriculum Close the communication gap. By increasing your data literacy organization-wide you will drive your data-driven culture forward

Click here to subscribe to the transcripts

Peggy and Dale Calder, founder and CEO, RevTwo, talk about how the first generation of AI (artificial intelligence) was quite difficult, but has evolved as AI has been operationalized. They also discuss: Why he started the company now and how it can solve problems as they occur. How to pull knowledge out of people's heads and formalize it. The profound impact AI will have on manufacturing and society as a whole. revtwo.com (08.25.20 - #683) IoT, Internet of Things, Peggy Smedley, artificial intelligence, machine learning, big data, digital transformation, cybersecurity, blockchain, 5G cloud, sustainability, future of work, podcast

Peggy and Dale Calder, founder and CEO, RevTwo, talk about how the first generation of AI (artificial intelligence) was quite difficult, but has evolved as AI has been operationalized. They also discuss: Why he started the company now and how it can solve problems as they occur. How to pull knowledge out of people's heads and formalize it. The profound impact AI will have on manufacturing and society as a whole. revtwo.com (08.25.20 - #683) IoT, Internet of Things, Peggy Smedley, artificial intelligence, machine learning, big data, digital transformation, cybersecurity, blockchain, 5G cloud, sustainability, future of work, podcast

Jessica Schleider, PhD, is an assistant professor of clinical psychology at Stony Book University and a graduate of the Clinical Psychology Program at Harvard University. When in graduate school, she learned about open science – not from her courses but from the Twitter-spere and later from The Black Goat Podcast. What she learned was compelling and unsettling and kept her up at night as she thought about the state of scientific research in general and her research in particular. Wanting to sleep better, she “made an inner commitment to myself that if I got the chance to build a lab, open science would be part of it from the start… Especially if someone was pursuing a relatively new area of research, I didn’t feel like there was any other way to go about it…The curtain had been pulled up, so I couldn’t trust my own work anymore unless these things were more clearly and rigorously incorporated.” In today’s episode, Dr. Schleider and I discus open science principles, how open science differs from run-of-the-mill research, and why it can feel daunting and intimidating to embrace open-science principles. Dr. Schleider is also a strong advocate for diversity, equity, and inclusivity in academia. We discuss the ways academia has traditionally favored those from privileged backgrounds. We also discuss specific steps she has used to ensure that her lab is a safe place for people from underrepresented groups, that opportunities in her lab are clear and transparent, and that a protocol has been set in place should there be any discriminatory behavior or remarks that originate in the lab over which she presides. In this episode, you’ll learn… How Dr. Schleider stumbled upon open science and the replicability revolution Why she decided to implement open science practices That Dr. Schleider thought she had been doing pre-registration because she had been registering clinical trials How open science pre-registration differs from traditional registrations Where Dr. Schleider registers her studies Why open science can be frustrating to implement Why open science requires a mindset change The stages of registered reports Tips from the episode On where to learn about open science… Improve Your Statistical Inferences Coursea course (see link below) The Black Goat Podcast (see link below) On the differences between regular registration and open science preregistration… Open science preregistration aims to make sure researchers don’t fall into biases, outcome switch, or p-hack. In open science, when you deviate from the plan, you’re transparent about it. Traditional preregistrations don’t require an analytic plan or explain how the data will be analyzed. On open science procedures she uses… Always file a preregistration Detail how effect size is computed Streamline process for double-checking data set preparation and analysis Document code Make all of your work accessible to the public On leveling the playing field in research and academia… Reconsider the GRE Make admissions more transparent Make education less expensive Formalize opportunities to get involved in research (so that those opportunities are not reserved for those who know to seek and ask for those opportunities) Links from the episode: Daniel Lakens’ Improve Your Statistical Inferences course The Black Goat Podcast Dr. Schelider’s lab Dr. Schelider’s lab manual As-predicted template Template for pre-registration for beginners (from her lab) Jamovi – easy to use R package Documents to guide those who are considering applying to her lab or grad school in general: How to apply to her lab Guide to applying to grad school in clinical psychology Find Dr. Schelider on Twitter Research Matters Podcast is hosted by Jason Luoma, who can be found on Twitter @jasonluoma or Facebook at: facebook.com/jasonluomaphd. You download the podcast through iTunes, Stitcher, or Spotify. 

What’s the name of your favorite hotel? Okay, now let’s assume you’re booking a trip, and that hotel has no rooms available. What’s your second favorite? So, now you have your “shortlist” of your preferred hotels. Now think about all the hotel brands that didn’t come to your mind. They won’t get your business, and for them, that’s a problem.Now suppose you need to rent a car. What’s your favorite rental car company? Let’s assume they have no cars available. What’s the name of the next company you would call?Again, think of all those other companies that didn’t come to mind. They won’t get your business, and for them, that’s a problem.You can play out these scenarios with any product or service – whether it’s a hotel, toothpaste, an attorney, or where you do your business banking. In nearly every case, a very short list of brands will come to mind that you prefer over others. Conversely, you could easily think of quite a few brands you would avoid or never consider.My point is that the very people you want as customers also have a shortlist of companies they prefer over others when they need the products and services you offer. Are you on that list?The cold and brutal fact is that making a sale, winning a customer, or forming a relationship comes down to how people perceive your brand!I’m going to share the eight steps you can take to elevate your brand and make that shortlist so that when people do need what you sell, your brand has a better chance of being one of the first to come to mind.1. Start by measuring the health of your culture through an internal culture assessment. 2. Do a brand assessment among your employees, customers, and channel partners to gain insights into your brand’s strengths, weaknesses, and opportunities from their perspectives. 3. Start spying on your competitors. Here’s a tough question: If you were on the other side of your desk, would you do business with your company?4. Answer this challenging question: If you were going to build a company that competes against you, how would you do it? How would it look? 5. Invest heavily in your people through training. Not just technical, but training on leadership, communication, problem-solving, conflict-resolution, sales, marketing, branding, crisis communication, and any other training that better prepares them. When you do this, your company to be a force to reckon with. 6. Become a visionary. Keep your fingers on the pulse on the trends in your business and industry and think in terms of your next big idea, even if you’re working on something right now that you believe will disrupt your industry or change the game. It’s a fact that you are only as good as your last idea, so think several steps ahead. 7. Start courting top-tier people to be a part of your team and vision. It’s tough finding great people who will share your passion and determination to succeed. Network, have your people network, and be visible at trades shows and industry events. Focus on building awareness and build your company to be a natural habitat for top performers. 8. Formalize and perfect your exit interview process. When done correctly, it is the best way to get candid feedback on the health of your culture. The healthier it is, the greater the chances of your success.That’s enough for now. If you do these eight things, elevating your brand into greatness is guaranteed. Of course, if you’d like some help getting started, let’s talk. Building great brands is what we do!

In this week's conversation, we hear from Sarah Benken, serial entrepreneur and founder of KNOW; a collective of women executives, business owners, and change agents.  There is so much wisdom and honesty in Sarah's story as she reminds us to use our businesses as a vehicle for our own humanity. You'll hear her share about the tenacity, empathy, & intentionality of creating meaningful, synergistic relationships in business.  We dissect the concept of networking; finding a more purposeful, less self serving way to see these opportunities as well as discuss best practices to create your own professional advisory council.  There is much to be learned from women about authentic connection that elevates, and Sarah's business model exudes this.  To learn more about the KNOW Tribe and book, visit https://theknowtribe.com/. Sarah mentioned this summer's SUMMIT event that is sure to be extraordinary. You can learn more here: https://www.knowtribesummit.com/. And at Sarah's invitation, if you are interested in spearheading KNOW's presence in your local market, you can reach out here: https://theknowtribe.com/start-a-tribe/. 

Truth You Can Act On: Set the foundation. If you don’t set the foundation for engaging with your organization early–like in your onboarding process–people will fill those gaps on their own. Don’t assume you’re in alignment with your team members. Be intentional about communicating goals and objectives so there’s no ambiguity or room for miscommunication. Write it down. If you don’t write down the objectives and key results for you and your team, you won’t have the alignment and clarity that will allow you to communicate effectively and work toward the goal. Embrace video technology as much as possible. When working remotely, recreate the in-person experience as much as you can. Formalize the informal. Take the natural, informal aspects of the in-person work experience – going to lunch, grabbing coffee, friendly banter– and do them on purpose. They won’t happen naturally in a remote environment, so you have to force them if you want to maintain the relational aspect of your work environment. Full Notes  https://gutplusscience.com/chris-byers/ Nikki’s Book Recommendation: The Hard Thing About Hard Things by Ben Horowitz

CNN obtains part of White House Russia adviser's opening statement; Judge weighing whether former White House officials have to testify; Top White House adviser testifies in impeachment inquiry; Hearing on whether McGahn has to testify in impeachment probe; Judge questions White House executive privilege claims; Kupperman testimony won't be resolved by until at least December 10; White House Russia adviser backs up Taylor testimony, differs on details; Sources: White House Russia adviser worried about leak of Ukraine call; Some Senate Republicans confer with Trump at White House; Sources: Little to no guidance from White House to GOP; New blaze erupts as crews battle wildfires near Los Angeles; Behind the scenes of White House calls with foreign leadersTo learn more about how CNN protects listener privacy, visit cnn.com/privacy

The House of Representatives just voted a resolution formalizing the Trump Impeachment Inquiry. Today guest host Max Pringle talks to Mitch Jeserich about the latest news on the impeachment inquiry: the key points of the resolution and what this means for the next few weeks. The post Live Update from Capitol Hill: The House of Representatives Voted to Formalize Impeachment appeared first on KPFA.

Democrats Formalize Impeachment, But Whistleblower Identity EXPOSES This As A Political Hit Job. The House has formally approved the Impeachment Inquiry with the vote going straight down party lines. Democrats in favor, Republicans opposed, with two Democrats defecting and also opposing the inquiry.But all of this happens in the backdrop of a new story exposing the identity of the "whistleblower" as Eric Ciaramella.It turns out Ciaramella is a hold over from the Obama era and has close to ties to top intelligence officials as well as Democrats. More shockingly however, is that he was working with Alexandra Chalupa in some capacity. This is the woman accused of colluding with Ukraine to dig up dirt on Trump as outlined in the Politico story.Assuming this report is true it stands to reason that with ties to the origins of Russiagate and now sparking Ukrainegate that this is nothing more than a political hit job designed to smear Trump and help democrats in 2020.Democrats are betting on impeachment being a driving factor in their elections. Instead of focusing on what they can do for Americans they seem to be focused on ensuring people hate the President so much that they vote against him instead of for them.Many people say this is Nancy Pelosi and the Democrats trying to reverse the results of 2016 and that is technically true. But the reality is that this is all an attempt to make the president look so bad they win by default.Support the show (http://timcast.com/donate)

White House Russia adviser testifies, backs up Quid pro quo claim; Trump, GOP claim White House adviser's testimony is a win despite his allegation of a quid pro quo; White House Press Secretary: "I don't want to get into" strategy; White House does have rapid response team; White House ramps up Senate outreach ahead of likely impeachment trial; GOP frustrated with White House handling of impeachment; Judge questions whether executive privilege can be used to block former White House council from testifying; Representative Katie Hill leaves Congress with blistering speech

House Speaker Nancy Pelosi says the House will vote this week on a resolution outlining the process for the next steps in the inquiry into President Trump. This episode: White House correspondent Tamara Keith, congressional correspondent Susan Davis, and national political correspondent Mara Liasson. Email the show at nprpolitics@npr.org. Find and support your local public radio station at npr.org/stations.

Source on WH strategy: "The days of playing nice are done"; Sources: WH officials scrambled immediately after Ukraine call; Sources: At least one official alerted White House's National Security lawyers about Trump-Ukraine call; Source: WH reached out to lawyers for impeachment counsel, including former Rep Trey Gowdy; Source: Gordon Sondland called Trump before texting diplomat there was no quid pro quo & asking not to discuss over text; Schiff: State Dept withholding more relevant texts, emails from Gordon Sonland's personal device; GOP Sen Graham says he'll invite Giuliani to come testify before Senate Judiciary Committee; Top House lawyer: Trump could be impeached for lying to American public; House lawyer takes fight over Mueller docs to federal court; NYT: WH Official called Trump-Ukraine call "crazy" & "frightening"; Washington Post poll: 58% of Americans support decision to start impeachment probe; Washington Post poll: Support for impeachment investigation surges among independents; New Quinnipiac poll: 45% say Trump should be impeached and removed from office; Right now: Hill briefing on Syria after Trump withdraws troops; Trump defends decision to remove U.S. troops from Syria; White House letter to Pelosi says Trump won't cooperate with "illegitimate" impeachment process;

Five simple steps to creating more effective routines with your kids at home or school These steps can be done with individual kids at home, whole classrooms of students at school, or anything in-between. The process is initiated anytime someone notices that there’s an ongoing struggle with a procedure that happens regularly. It could be getting ready in the morning, lining up for recess, engaging in meaningful partner work, or any other routine that happens in your context on a regular basis. When I started as a classroom teacher, I worried that kids might not take my concerns seriously when I initiated the process, but I quickly discovered that anything that bothered me bothered at least a few kids, and my students tended to be very empathetic whenever someone—including me—presented an issue. Part of what makes this process so successful is that everyone has a chance to feel that their concerns are acknowledged and gets to participate in developing an effective solution. To recap, here are the steps: Bring together stakeholders. Evaluate your current routine--what works or doesn’t work about it? (What do you want MORE or LESS of?) Determine the desired steps of new routine. Negotiate a plan. Formalize the plan. (Written or photo checklist? Act it out?) Try it out for a while. Re-evaluate as often as needed and repeat steps 1-5. Listen to the full episode for further explanation of each step, including an example of how my family recently used this process to improve our three-year-old’s bedtime routine. Join the conversation below by sharing your wins with the process as well as any struggles you’ve had with the process that you want support to troubleshoot.

Ken’s conversation with Mark Frison, president of Assiniboine Community College in Brandon Manitoba, continues this week as they explore ways that higher ed leaders can empower and inspire their people to take ownership and take initiative, to propel innovation on campus.  (If you missed the first part of this interview, about encouraging PSE participation on the prairies, see https://youtu.be/-vksdjuMt2k).   Mark suggests 3 concrete ways to nurture a culture of innovation on campus:   1)  Make Initiative an Explicit Value   ACC has adopted organizational values that encourage all staff and faculty to “Be Passionate. Take Initiative. Deliver Results.” Specifically, the college values urge people to “challenge the status quo and take calculated risks without fear of failure.” Mark believes it is critical to state explicitly to the campus community that risk is inevitable when you innovate.   2)  Invest in Talent through PD   ACC’s talent management action plan, instituted in 2011, has worked to increase its investment in professional development from 1.25% of payroll to almost 3%.  Given the fiscal environment, colleges need to maximize the capabilities and training of all staff.   Ken observes that on most higher ed campuses, there is a disconnect between senior administrators who embrace innovation and seek transformative change, and front-line staff who are anxious about making mistakes, and focused on meeting the short-term objectives of their immediate supervisors.  The further down the organizational hierarchy you go, Ken argues, “the more doing nothing is the safest course of action,” and he wonders how best to transmit the entrepreneurial mindset throughout the organization.  But Mark also observes that front-line staff and faculty are actually the ones most likely to have innovative ideas about serving the student, and thinks the more immediate issue is how to translate ideas UP through the organization.    3) Formalize the Idea Generation Process   That's why ACC implemented a system of written “decision notes” for middle managers, encouraging them to describe new ideas in detail, and make their business case. Training middle managers to write these briefing notes has been “incredibly helpful at dislodging these ideas,” getting ideas onto the table and either moving them forward, or setting them aside.   Mark and Ken agree that there is a “double whammy” of risk aversion in a public-sector, academic institution.  Committees tend to preserve the status quo, and often aren’t even empowered to make decisions. Ultimately, Mark emphasizes, “you do need individuals to feel that they can take risks.”  In many colleges, Ken argues, there is a “learned helplessness” that discourages a sense of personal ownership of decisions or processes. Mark recalls a board member once asking him, “if you owned this thing, what would we be doing differently?” Thinking about your institution with a sense of ownership, and a willingness to take informed risk, engages everyone’s ideas and passions, and encourages an entrepreneurial campus culture.   Mark Frison was appointed President of Assiniboine Community College in August 2010, after serving 5 years as president of Great Plains College and Cypress Hills College in Swift Current, Saskatchewan.  He holds a Masters of Industrial Relations from Queen’s University, and undergraduate degrees in Psychology and Business from Cape Breton University (UCCB at the time).  He has served as Executive Director of the Association of Saskatchewan Regional Colleges, and on the board of Colleges & Institutes Canada.   Every week, 10K explores a world of higher ed innovation and bright ideas. So you don’t miss a thing, please be sure to subscribe!  http://eduvation.ca/subscribe/   Special thanks to Shaun Cameron for coordinating the onsite recording at ACC. If you would like to host an onsite episode of Ten with Ken, please see http://eduvation.ca/twk/site-visits/for more information.    

Ken’s conversation with Mark Frison, president of Assiniboine Community College in Brandon Manitoba, continues this week as they explore ways that higher ed leaders can empower and inspire their people to take ownership and take initiative, to propel innovation on campus.  (If you missed the first part of this interview, about encouraging PSE participation on the prairies, see https://youtu.be/-vksdjuMt2k).   Mark suggests 3 concrete ways to nurture a culture of innovation on campus:   1)  Make Initiative an Explicit Value   ACC has adopted organizational values that encourage all staff and faculty to “Be Passionate. Take Initiative. Deliver Results.” Specifically, the college values urge people to “challenge the status quo and take calculated risks without fear of failure.” Mark believes it is critical to state explicitly to the campus community that risk is inevitable when you innovate.   2)  Invest in Talent through PD   ACC’s talent management action plan, instituted in 2011, has worked to increase its investment in professional development from 1.25% of payroll to almost 3%.  Given the fiscal environment, colleges need to maximize the capabilities and training of all staff.   Ken observes that on most higher ed campuses, there is a disconnect between senior administrators who embrace innovation and seek transformative change, and front-line staff who are anxious about making mistakes, and focused on meeting the short-term objectives of their immediate supervisors.  The further down the organizational hierarchy you go, Ken argues, “the more doing nothing is the safest course of action,” and he wonders how best to transmit the entrepreneurial mindset throughout the organization.  But Mark also observes that front-line staff and faculty are actually the ones most likely to have innovative ideas about serving the student, and thinks the more immediate issue is how to translate ideas UP through the organization.    3) Formalize the Idea Generation Process   That's why ACC implemented a system of written “decision notes” for middle managers, encouraging them to describe new ideas in detail, and make their business case. Training middle managers to write these briefing notes has been “incredibly helpful at dislodging these ideas,” getting ideas onto the table and either moving them forward, or setting them aside.   Mark and Ken agree that there is a “double whammy” of risk aversion in a public-sector, academic institution.  Committees tend to preserve the status quo, and often aren’t even empowered to make decisions. Ultimately, Mark emphasizes, “you do need individuals to feel that they can take risks.”  In many colleges, Ken argues, there is a “learned helplessness” that discourages a sense of personal ownership of decisions or processes. Mark recalls a board member once asking him, “if you owned this thing, what would we be doing differently?” Thinking about your institution with a sense of ownership, and a willingness to take informed risk, engages everyone’s ideas and passions, and encourages an entrepreneurial campus culture.   Mark Frison was appointed President of Assiniboine Community College in August 2010, after serving 5 years as president of Great Plains College and Cypress Hills College in Swift Current, Saskatchewan.  He holds a Masters of Industrial Relations from Queen’s University, and undergraduate degrees in Psychology and Business from Cape Breton University (UCCB at the time).  He has served as Executive Director of the Association of Saskatchewan Regional Colleges, and on the board of Colleges & Institutes Canada.   Every week, 10K explores a world of higher ed innovation and bright ideas. So you don’t miss a thing, please be sure to subscribe!  http://eduvation.ca/subscribe/   Special thanks to Shaun Cameron for coordinating the onsite recording at ACC. If you would like to host an onsite episode of Ten with Ken, please see http://eduvation.ca/twk/site-visits/for more information.

How to Organize and Formalize your Church's Counseling Ministry Randy Patten 2015 ACBC Conference Advanced Weekend 3

Listen to a discussion between Michal and I about how to formalize your learning and the advantages of paying for it. Also, Google classroom PD is a valid way of doing it.

Today’s question: Today’s question is from Barkley. A couple of friends and I do freelance work and are thinking of getting an office space. If we aren’t a business yet, should we go ahead and rent the space for a few months before signing a year lease? Jake’s answer: Commercial real estate is a huge pain - it’s nothing like the residential realty market. First, you have to find a real estate agent because it’s difficult to find commercial property without one. Then we had to meet with the list agents, which added another layer. For pricing, you have to figure it out per square foot of the space. Then the negotiations start. With commercial real estate, there are many things you can negotiate including the rate per square foot, the terms of the lease, etc. Having a Business Name on the Lease Most commercial properties do require a business name on the lease. If you sign it personally, you’re essentially setting yourself up as a sole proprietor. One thing I would not do is put your name on the lease initially and then try to put a business name on it later. If one of the people you are sharing the space with decides to skip out on rent and your name is on the lease, then you are stuck with it. To ensure everyone else is as liable for the rent as you are, you can setup an LLC where you and your friends are the owners. I don’t like this idea because you are owning a business with people that you aren’t in it for the long-term with. In this situation, I would setup a business for myself (an LLC) and be the only owner of the company. At this point, you can then sign the lease with a secondary contract with your friends for a sub-lease agreement. Then your business essentially acts as the landlord for those renters. The takeaway here is that you shouldn’t rely on the kindness of others as you build your business. Formalize all agreements and make sure everything is documented so that you protect yourself, your family, and your business. Ask Your Own Question Got questions about startups and/or startup culture? We’ve got answers. Head over to LaunchChat.io and record your own question to have it featured on the show. Stay in Touch Ask your own question Follow Jake Twitter Check out Jake’s articles Medium Jake’s personal site Check out Launchpeer Follow Launchpeer on Twitter

Dr. Tasha Eurich is an organizational psychologist, researcher, and New York Times best-selling author. Over her 15-plus-year career, she’s helped thousands of leaders around the world become more self-aware and successful. With a PhD in Industrial-Organizational Psychology, Dr. Eurich is the principal of The Eurich Group, a boutique executive development firm that helps companies—from start-ups to the Fortune 100—succeed by improving the effectiveness of their leaders and teams. Having worked with clients like T-Mobile, KPMG, Walmart, Vail Resorts, and HCA Healthcare, her primary areas of expertise are executive coaching, leadership development programs, and executive team development. Dr. Eurich’s first book, Bankable Leadership, debuted on the New York Times bestseller list in 2013. Her latest book, Insight, delves into the connection between self-awareness and success, where she shares the surprising findings from her multi-year research program on the topic What is self awareness? “It is seeing ourselves clearly.”  Specifically- understanding who we are, how others see us and how we fit into the world around us. One of the biggest myths of self awareness is that we are self aware. They found that 95% of people feel that they are self award but in reality only 10-15% of people actually are self aware. 2 core sets of knowledge of self awareness Internal self aware: I know who I am, what I want, what I value Requires a commitment to look inside of ourselves that is not always comfortable or easy Tend to make choices that make them happy External self awareness:  knowing how other people see us What if I ask others and no one sees me as I do. Sometimes I ask others’ opinions without thinking about what I really want. May need to work on it if someone gave you experience that blindsided you. For example, spouse leaves, getting fired from job How often do you ask for feedback? How did I do on the presentation? Why is self awareness important? If we, as leaders, improve self awareness: it makes us better performers and more promotable. will have more engaged employees stronger marriages   better communicator avoid unethical behavior less likely to lie cheat and steal. lead more profitable companies   What can an employee do in a company? Give an HR rep a call to find what assessments are available, for example 360 evaluations. Starting with a boss, ask for critical feedback. The most successful leaders ask for critical feedback often. Formalize this with your boss to keep the feedback ongoing. Meet regularly Alarm clock events Earth quake events – turns around a serious event New roles and new rules Starting a new job – ripe moments for self awareness Everyday insight – comment from someone that gives a new perspective. What you will learn in this episode: What is self-awareness Myths about self-awareness How many people are actually self-aware Examples of self-aware CEOs What are Self awareness unicorns All about the Impact Yourself  Daily App Contact: TashaEurich.com

Where will Scrum@Scale take the Agile industry?  Co-creator of Scrum Jeff Sutherland sits down with @AgileToolkit to explore Scrum@Scale at Agile2018. Connect with Jeff Sutherland on Twitter. Learn more about Scrum@Scale.   @AgileToolkit is sponsored by LitheSpeed.   Transcript:   Bob Payne:  The Agile Toolkit. [background music] Bob:  I'm your host, Bob Payne. I'm here with Jeff Sutherland, one of the co‑creators of Scrum. Now you're working on Scrum at Scale. We're very excited about that at LitheSpeed. Just wanted to hear a little bit about Scrum at Scale and where you think that's going to take the industry. Jeff Sutherland:  It actually starts a long time ago. I was pulled out of medical school in 1983. For 15 years I was a research scientist, working with tools for Bell Labs. Learned how to write software for super‑computing, modeling the human cell. Really, all the basics of Scrum were formulated in that environment. When I was pulled out of the medical school by a big banking company they said, "Over at the medical school you guys have all the knowledge, but at the bank we have all the money." [laughter] Bob:  It's not an attractive feature of the banks. Jeff:  They made me an offer that my wife couldn't refuse... [crosstalk] Jeff:  ...the bank. [laughter] Bob:  Why do you rob banks? Because that's where the money is. [laughs] Jeff:  Of course, the first thing I realize I'm working on their new technologies such as the vice president for advanced technologies. I noticed their projects are all late. They have hundreds and hundreds of programmers and we're running 150 banks all over North America. Our customers are actually CIOs of banks. I walked into the CEO's office one day and I said, "Have you noticed that all your projects are late?" He said, "Yeah, the customers are calling me screaming every morning. Bob:  The system's perfectly designed... [laughs] [crosstalk] Jeff:  I said, "I'm just a medical school professor, a mathematician, a computer scientist, but I've looked at their Gantt charts on the wall. You have whole walls of Gantt charts and these tasks, names, and dates. I calculated the probability of being late using this Gantt chart and it's 0.9999999. You're virtually certain to be late on every project. It's a completely inappropriate method to manage projects with lots of change like software.. Bob:  Or uncertainty. Jeff:  He said, "Well, what should I do?" I said, "Well, you authorized me to keep this grant." When I came to medical school I had this grant from the Kellogg Foundation. A leadership grant where I had to with 50 national leaders travel around the world a third of my time for three years. To my surprise the CEO said he was going to support it. He said he thought he was going to get his money back, basically. I said, "You know, I've been running around the world and a subgroup of our leaders are actually business school professors. I've been talking to them about the bank, and they say we need to create a completely new operating model within the bank, a little company within a company, an entrepreneurial startup." I said, "That's what we ought to do." I said, "Here's the way these operate. I need everybody sales marketing, support, installation. I'm going to split them into small teams, four or five people. We're going to have product marketing come in on Monday morning and prioritize everything they're doing by value. Friday afternoon everything is going to be done and if it's software it's live. I need you to give me the whole operation. You and senior management can be my board of directors. I will report to you the financials once a month. The rest of the time you have to stay out of my company because I don't want you messing it up." He said, "We'll that's not going to be as much fun as looking at new technology." [laughter] Jeff:  I said, "It needs to be fixed." He said, "OK, you've got it." You've got that headache. He gave me the worst business unit in the bank. We split them into small team. I said, "We're going to throw away the Gantt chart." I said, "We're going to train you how to land a project just like I train fighter pilots to land an aircraft. I'm going to give you a burn down chart instead of the Gantt chart. This is back in 1983. All of this was the first prototype. It wasn't a prototype of Scrum. It was a prototype of Scrum at Scale. That's were it began. How do you run a whole organization with Scrum? How do you create an agile environment that is actually protected? I was protecting the environment from the Waterfall company. How do you prioritize everything for the organization and then execute those priorities as small as sprints? The teams, how are they responsible for actually delivering at the end of every sprint, which is one of the fundamentals of Scrum. I experimented with that through several companies until I finally got to Easel Corporation in 1993 where we gave it the name Scrum from... Bob:  From the paper. Jeff:  That was the first team that was called a Scrum team. Then in 1995 I pulled Ken Schwaber in. Ken Schwaber was leading a CEO of a project management software company selling waterfall methodologies. [laughs] I said, "Ken, come on in and look at Scrum. It actually works. That stuff you're selling doesn't work." He came in. He spent two weeks with the Scrum team and at the end of it he says, "You're really right. This is really more or less the way I run my company." He said, "If I used the Waterfall methodology to run my company I'd be bankrupt." [crosstalk] Bob:  ...respond to the marketplace. Jeff:  I said, "Well, why don't you sell Scrum instead of selling all this Waterfall stuff?" He thought about it and he said, "Yeah, why don't we do that." Then we decided, OK, I want to make opensource so that it can be widely deployed. We need to write the first paper on what it is. Formalize it, which we presented at OOPSLA'95. Then Ken started selling Scrum out into the market. I was head of engineering inside companies implementing this. One of the very first companies we go together into was a company called Individual, an Internet startup that had just gone public. We had 60 million dollars to spend. We were hiring people like crazy. We had multiple Scrum teams. What do we do? We implement Scrum at Scale. Bob:  Scrum at Scale. [laughter] Jeff:  These guys went from they were delivering every six months, the first quarter we implemented what we call today Scrum at Scale, they were doing multiple releases of their flagship product and delivered two new products in three months. Bob:  That's great. Jeff:  Scrum at Scale is designed to incrementally deliver quickly with a whole organization involved in making that happen. That's the challenge of Scrum at Scale. Bob:  One of the largest early project that Sanjiv Augustine and I did we brought in for stabilization recovery from a classic Waterfall fiasco. [laughter] At the time we were using XP or Extreme Programming, but interactive and incremental. We'd executed it on a small team. We were like, "There's no reason these ideas shouldn't be simply scalable up to a larger team." We had about 300 people on that program and we just said, "Look, we're going to integrate and demo the system," which took them two months to build before their first testing phase, "every two weeks." Of course, they didn't do it for the first four iterations, but after that every two weeks we got a demoable system up, we had some cross‑organizational planning, and a daily stand up that then the team member would step out, and we had it in a big long hallway. We would do the Scrum and then the Scrum of Scrums on a daily basis because things were changing so fast. Jeff:  Absolutely, yeah. The other interesting thing in those first two prototypes with Scrum at Scale is that today DevOps is a big buzz word, but that was fully implemented in both of those prototypes. In fact, in the Internet company they were having trouble with deployment. I said, "I want the deployment server and the developers cube and you guys will deploy multiple times a week. That's the way it's going to be. There isn't going to be operations blocking deployment." It was funny because the operations team, of course, screamed, but I was the head of engineering. I said, "You guys are too slow. We're not using you anymore." A week or two later they came back by and they said, "We've implemented Scrum in operations and we want to become part of your Scrum at Scale. We'll meet in your Scrum of Scrums daily meeting. [laughter] Jeff:  Can we have out server back if we do that?" [laughter] Bob:  You said, "Maybe. We'll see." Jeff:  "Only if the developers can deploy multiple times a week with the server in your server farm, if not we're taking the server back to the development area." Bob:  Multiple times a day, yeah. [laughter] Bob:  That's funny. Other than the deployment what sort of engineering practiced were you guys using for test automation and that sort of thing in those early days. Jeff:  Actually in the first Scrum a team testing product was part of the Scrum because it was a small token environment so we had a fully integrated piece of code running all the time. From the very first sprint we deployed internally. The tooling was such that our consultants could actually use it in the field to get feedback. Jeff McKenna was working with us today as one of the Scrum trainers, wanted to start a testing company. We were particularly interested in component architectures. Move way beyond the unit testing levels. How do you test for a component? Which, today has turned into micro‑services, right? [laughs] . How do you set up a test environment that tests the micro‑services and then make sure it's ready for deploy? All of this stuff has been around for a long time. Bob:  It has. The pattern have been there for a while. Now you've pulled it together. You're doing trainings and certification around that. Jeff:  In recent years we've been pulled in Toyota, GE, Maersk, the world's biggest shipping company, 3M we're the global trainers for 3M. We've been pulled into these big companies. I've had to coach the coaches that have gone in there. We need to formalize the method of scaling that works in really large. We work with SAP who's implementing this. It has 2,000 Scrum teams. These people with really large implementations have told us what we need to do to make it work, not only for one or two teams but for thousands. That's the beauty of Scrum at Scale. It will work really well for one or two teams because it has no extra overhead. It's the minimal viable bureaucracy. Bob:  The Scrum framework... [crosstalk] Jeff:  It scales up to thousands of teams. It works just as well as for thousands with a minimal addition of any bureaucratic overhead. High performance for an organization. 3M had the biggest stock price jump in history last November. If you read "The Wall Street Journal" it's because of several technology divisions, some of which we'd implement Scrum at Scale, because it is an organizational implementation to increase the value of the organization, not just make a project better. [laughs] Bob:  There was a heated article to really springboard off of. Jeff:  About a year and a half ago the Scrum Alliance came to us and said, "We are interested in participating in a scaling framework where we have ownership and our trainers and our membership within the Scrum Alliance can actually participate in the evolution of that framework. We can't do that with the other frameworks. Can we do it with you?" It took about a year of negotiation to decide how we're going to set this up. We have a joint venture now called Scrum at Scale LLC. It's half owned by the Scrum Alliance. It's half owned by Scrum Inc., my company. Its goal is to train the trainers and do the whole certification process for Scrum at Scale. Within the first few months, we have 42 trainers. They're training all over the world. We're off and running. Bob:  We're excited to be on that ride with you. [laughter] Bob:  Louise, Q. Is it in the class? The joke was that he was your bodyguard or something because he was very pumped up. [laughter] Jeff:  Yes. It was some guys from South America or something that said "Oh, Q, he must be his bodyguard," or something. [laughter] Jeff:  Q looks like... Bob:  He works out a lot. Jeff:  He wears sunglasses all the time, dark glasses. He looks like a martial artist. [laughter] Bob:  He's like Bono meets Steven Seagal. [laughter] Jeff:  That's pretty funny. Bob:  That's very exciting. How do you see the growth rate? You said 42 trainers in the first few months. Jeff:  We just did two train‑the‑trainer sessions last month, one in Denver and one in Boston. We'll be doing one in October in London, probably another one in January in London. We're going to be doing them in Europe. We'll be doing another one in Boston. Walking up here, there's a guy from Austin really twisting my arm trying to get us to come down to Austin and do it. Bob:  From the Scrum gathering or near the Scrum gathering in Austin? Jeff:  Yes. There's a lot of pent‑up demand for a better alternative for a scaling framework. It's growing really fast and I think it will continue to grow. Our challenge, mainly, is to... we'll have plenty of trainers, how do we help them fill their courses all over the world? That's a major objective to Scrum at Scale. To really get those trainers successful wherever they are. Bob:  What's been interesting in your trip to San Diego? Anything on the personal front or just business? Jeff:  I have the opportunity where we're doing some training up in Sunnyvale. My wife was with me. I said, "Why don't we just come down the West coast? We'll do a little road trip, rent a sports car. Stop at all the nice locations. [laughs] [crosstalk] Jeff:  That's what we did coming down here to San Diego. We're about to do that to go back up again. I have a Scrum at Scale training in Sunnyvale on Monday, Tuesday. That's been fun. Bob:  It's humid here which is an odd experience in San Diego. Jeff:  Yes. [laughs] Bob:  Thank you very much, Jeff. I really appreciate the time. I look forward to doing the train‑the‑trainer course with you coming up. Jeff:  Thank you very much for inviting me. Bob:  Thank you. The Agile Toolkit Podcast is brought to you by LitheSpeed. Thanks for tuning in. I hope you enjoyed today's show. If you'd like to give feedback or be on the show, you can ping me on Twitter. I am @agiletoolkit. You can also reach me at bob.payne@lithespeed.com. For more free resources, transcripts of the show and information about our services, head over to lithespeed.com. Thanks for listening. [music]

What do you really prioritize? Formalize those things into core principles so that they can serve as a cornerstone for your decision making process, and ensure that your activity aligns with the person you want to be.

Tanya Rapacz is the co-founder of The Partnership Resource, a unique business in the industry that does facilitation and mediation for advisory firm partners. Given her own experience working as a financial advisor—as well as her experience with a partnership merger that didn’t work out—Tanya understood the challenges that can arise from partnerships even before she was trained in dispute resolution mediation. In this episode, she talks in depth about what it takes for a partnership to work. Listen in to hear details about Tanya’s process for working with financial advisor partners to facilitate healthy communication and conflict resolution, the surprising truth about what kinds of people make the best business partners, and key areas that should be worked out early on for a partnership to be successful. For show notes and more visit: https://www.kitces.com/77

The Tai Lopez Show is now available on Soundcloud. Check it out here: Soundcloud.com/TaiLopezShow “There’s no single thing that will do as much to increase your ability to earn as much as educating yourself” - Tai Lopez (click to tweet) Standing out from the crowd is essential to earning more. If you blend in, you simply will not be noticed by the movers and shakers in any industry, so you won’t be able to climb the ladder to true influence and earning potential. Today, I’m teaching you how to raise your VRIN score to stand out, and be more valuable in your industry, to earn more. VRIN stands for Valuable, Rare, Inimitable, and Non-Substitutable. A college degree used to be a very efficient way to raise your VRIN score, before they were so common. But now, in the modern age, we need to find new ways to raise VRIN scores, and I’m teaching you exactly how on this episode. “Have a combination of learning straight from the source and learning from people. Structure AND experiential learning” - Tai Lopez (click to tweet) Points to Keep In Mind Stand out by learning more than other people You can often get visitor passes to college classes There’s no single thing that will do as much to increase your ability to earn as much as educating yourself You must learn things that are valuable to the world if you want to earn more Understand where you stand as far as your employment status, and your full understanding of what you really want out of your life, and your motivations If you’re unsure of what you should be doing, you’re never going to do a very good job of it VRIN: Valuable, Rare, Inimitable, Non Substitutable College degrees used to raise VRIN, because not too many people had them. Less so now The new version of using college to raise your VRIN score is a combination of formal and self learning Have a combination of learning straight from the source and learning from people. Structure AND experiential learning Don’t underestimate the value of an elite team Formalize your training program Don’t just train once and expect the subject to be retained, review over and over again Learn more about your ad choices. Visit megaphone.fm/adchoices

What are some early exercises and tactics for starting a new design? Formalize your inspiration and vision. Make some notes on what is exciting you about this game. Visually sketch out a scene in your head or write it out as lines of dialogue. Other techniques include: mockup a possible cover for an eventual book; sketch a character sheet; make art-direction notes Try analog mind-mapping: sketching, making lists, arranging reference material on a table, post-it notes and notecards, or any other method that attaches your hands to your brain without using a keyboard. Write an example of play from the perspective of “here’s what play should sound like.” Fill it back in with notes on mechanics and structure to get play to sound like that. Analyze the “inputs” and “outputs” for a specific moment of play. What do the players need to already have? What does play revolve around? What needs to come out of the scene in order for play to progress? Note which inputs and outputs connect into reward cycles. Design Games is made possible by our supporters at Patreon, where you can back NDP and Will right now. Every dollar helps. What do you think? Weigh in on the show, your own work, and what you want us to talk about next, by searching for our G+ Community. Music is “Dances and Dames” by Kevin MacLeod (incompetech.com) Licensed under Creative Commons: By Attribution 3.0 http://creativecommons.org/licenses/by/3.0/

In this episode, I answer a common listener question: Do I need to formalize my yarn-related business? There are legal, tax, and mindset reasons for formalizing your business. But first, let me mention that I'm neither a lawyer nor an accountant. You may want to consult one if plan to formalize your business. So, why might you choose to formalize my yarn-related business? You may find it easier to get a business bank account, buy products wholesale, and protect your personal assets in the event of legal action. You may find that you are more accountable to your business once you formalize it. Your customers and family may respond more positively to the formality of an established business entity. Here are some resources mentioned in the episode: Find your local Small Business Administration office (U.S. only) here. Find your local Small Business Development Center (U.S. only) here. The Internal Revenue Service Small Business and Self-Employed Tax Center You can listen to the episode for more details about the advantages of formalizing your business and common business entity types for yarn-related businesses in the United States. If you enjoyed this episode The Creative Yarn Entrepreneur Show is no longer broadcasting. Episodes are available as a service to the yarn community. This episode originally aired in November, 2015. Be aware that content may be outdated. If you'd like to chat with other yarn-related business owners, join the Creative Yarn Entrepreneurs Facebook group. Support Marie's work by buying one of her books, Make Money Teaching Crochet: Launch Your Business, Increase Your Side Income, Reach More Students (Amazon | Gumroad) or Design It, Promote It, Sell It: Online Marketing for Your Crochet and Knit Patterns (Amazon | Gumroad).

In this final (for now) episode in the mini-series, expert “indies” from Toronto and Newfoundland join host Tina Barton to discuss how to turn prospects into clients, formalize agreements, and establish prices and terms that satisfy both sides.

Adam and Wynn were joined by Nathan Smith, creator of 960.gs to talk about his new project Formalize and the latest news on The Changelog.

Adam and Wynn were joined by Nathan Smith, creator of 960.gs to talk about his new project Formalize and the latest news on The Changelog.