Podcasts about Flan

L'histoire derrière Le Roi et l'Oiseau est INCROYABLE. Un film français, qui voulait être le tout premier film d'animation français, mais qui a connu des problèmes de développement et des changements majeurs, au point où son créateur a pris une décision radicale qui a changé les choses pendant des dizaines d'années ! On a donc un résultat très intéressant à regarder... Mais est-ce que c'est un bon film ? Et surtout, c'est du FLAN ou c'est pas du FLAN ? 5:45 Salut mon spot'12:04 Le contexte56:27 Le débat1:38:48 Les critiques1:53:28 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

C'est le retour du CROSSOVER avec Il était un + ! Il y a 3 ans nous faisions un FLAN sur Lilo et Stitch, le film d'animation de 2002 qui a bercé beaucoup d'enfances. Aujourd'hui, avec Charleen, Cédric et nagla, nous retournons au ciné pour voir la version "film live" avec des actrices et acteurs en chair et en os. Est-ce mieux ou moins bien qu'avant ? Est-ce que cette adaptation est une bonne idée ? Quelles sont les différences les plus marquantes ? Et surtout, c'est du FLAN ou c'est pas du FLAN ? Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Vous avez choisi sur Patreon un film qui fait pleurer tout le monde (sauf nagla) : le tombeau des lucioles. Avec de la guerre, des bombes et des enfants qui meurent. Bref, c'est l'épisode de la dépression, mais on est là pour souffrir ensemble, alors sortez la boite de mouchoirs ! Et au final, malgré nos larmes, c'est du FLAN ou pas du FLAN ? 04:08 Salut mon spot'07:57 L'actu vite démoulée10:37 Le contexte36:07 Le débat01:34:28 Les critiques01:53:31 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Corn on the cob, chocolate car seats, Con Air, and cool braids. What do all these things have in common? You might think 'not much', but Greg and Joz are here to walk you through each and every one of them, and still have time to rank Hollywood's hottest heartthrobs. Stay for the whole show to learn some new slang from an ever-frazzled Joz!

Phil Lord et Chris Miller sont des sommités de l'animation moderne, on a déjà pas mal parlé d'eux dans Les Mitchell contre les machines ou dans les Spider-Man Into the Spiderverse. Mais le premier film qui a montré leurs capacités, c'est Tempête de boulettes géantes ! Un film peu connu comparé à son ambition, qui a mis du temps à se concevoir... Et qui a des qualités. Et des défauts ? Est-ce qu'il est si bien que ça ? En tout cas, il va vous donner FAIM !... Ou pas ? Mais, finalement, c'est du FLAN ou c'est pas du FLAN ? 4:18 Salut mon spot'6:13 L'actu vite démoulée (en fait non mais en fait si un peu)7:55 Le contexte42:10 Le débat1:25:59 Les critiques1:38:46 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Vous avez choisi sur Patreon, c'est donc VOTRE FAUTE. On parle d'un film de djeuns ! Avec du SKATE et du ROLLER et des FILLES et des PARTIELS WAAAW l'université trop bien ! Dingo et Max est de retour, et si on a déjà parlé du 1, pour lequel on pense beaucoup de bien, cette histoire de "Sportifs de l'extrême" sent pas très très bon. Mais, finalement, c'est du FLAN ou c'est pas du FLAN ? 4:12 Salut mon spot'7:20 L'actu vite démoulée16:28 Le contexte33:36 Le débat1:29:10 Les critiques1:40:28 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Aujourd'hui, c'est CROSSOVER TIME ! Emilie et Charleen de Il était un + !(https://open.spotify.com/show/0QZpidTHSQkIwpF6rHOkdU) nous rejoignent pour parler du nouveau Blanche-Neige ! Ou Blanche Neige. En tout cas y'a pas "les sept nains", ça c'est sûr. Après le FLANCHE-NEIGE, qui était l'épisode 100 de FLAN, ce nouveau film en live action a pris un chemin... Compliqué. BEAUCOUP de polémiques ont émaillé son développement, et on le ressent maintenant que le film est en salles. On revient sur son histoire compliquée, sur ses polémiques, sur ses problèmes mais aussi sur ses qualités, d'un épisode où toutes les sensibilités sont exprimées ! Est-ce que ce live action est aussi oubliable que la communication de Disney semble vouloir qu'il devienne ? Et surtout, c'est du FLAN ou c'est pas du FLAN ? Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Podcast spécial aujourd'hui, où Pauline et Charleen plongent dans le premier film 100% animation des Looney Toons sorti au cinéma : Porky et Daffy sauvent le monde ! Un film d'animation complètement barré, sorti dans l'indifférence générale, et pourtant… Dans cet épisode on se pose des questions : pourquoi ce ghosting de la Warner ? Le bubble tea est-il si tendance ? Mais surtout, c'est du FLAN ou c'est pas du FLAN ? Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

I read from flame cell to flan with Johnny Lange.  Check out his stuff!  https://linktr.ee/johnnylangefilms     The word of the episode is "flame photometer".     Use my special link https://zen.ai/thedictionary to save 30% off your first month of any Zencastr paid plan.    Create your podcast today! #madeonzencastr     Theme music from Tom Maslowski https://zestysol.com/     Merchandising! https://www.teepublic.com/user/spejampar     "The Dictionary - Letter A" on YouTube   "The Dictionary - Letter B" on YouTube   "The Dictionary - Letter C" on YouTube   "The Dictionary - Letter D" on YouTube   "The Dictionary - Letter E" on YouTube   "The Dictionary - Letter F" on YouTube     Featured in a Top 10 Dictionary Podcasts list! https://blog.feedspot.com/dictionary_podcasts/     Backwards Talking on YouTube: https://www.youtube.com/playlist?list=PLmIujMwEDbgZUexyR90jaTEEVmAYcCzuq     https://linktr.ee/spejampar dictionarypod@gmail.com https://www.facebook.com/thedictionarypod/ https://www.threads.net/@dictionarypod https://twitter.com/dictionarypod https://www.instagram.com/dictionarypod/ https://www.patreon.com/spejampar https://www.tiktok.com/@spejampar 917-727-5757

New month and new set of back to back episodes with Mo and Alex on this GTWM Year 14!  It's a really interesting set of episode that goes from huge ups and huge downs.  Let's touch base with the boys on this rollercoaster ride of a weekend!Caller #1 is Denise who is 34yrs old from Manila.  Denise recently started seeing the CEO of one of the countries biggest companies.  She gave him a BJ on their first meeting and now she regrets some of the financial gifts he has offered her.Caller #2 is CJ who is 36yrs old from Manila.  CJ has a 16 year old son who has recently become rebellious.  Is it a product of his age or perhaps her unrealistic expectations. We will see you on another episode of GTWM tomorrow. Thanks for the download and please support the podcast by donating as little as $0.99 cents via Spotify!

Vous connaissez Makoto Shinkai ? Mais siii vous connaissez ! C'est Your Name, ou encore Suzume ! Un créateur Japonais qui propose des films incroyables, et souvent comparé (par des gens qui ne savent pas comment comparer hein) à Hayao Miyazaki RIEN QUE ÇA. Hé ben ce gars là, dans sa jeunesse, il a fait des jeux vidéo, et Curien notre expert du jour nous en parle (c'est lui qui fait le contexte, rien que ça, ça fait un épisode spécial !). Mais bon les jeux vidéo on s'en fout, parce que notre pote Makoto il a surtout fait The Voices of a Distant Star, l'un de ses premiers films. Alors oui ça ne dure qu'une vingtaine de minutes. Mais il a TOUT fait tout seul. Les images, la musique, la voix (avec sa copine), les effets, l'histoire. Et ça en fait une œuvre bigrement intéressante. Vous aussi, tentez des "bigrement" en 2025. Mais surtout, c'est du FLAN ou c'est pas du FLAN ? 4:39 Salut mon spot'6:04 L'actu vite démoulée18:57 Le contexte34:46 Le débat1:01:38 Les critiques1:10:42 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Salut à tous, voici la fournée de Février ! Et il y a pas que de l'amour là-dedans...Au Menu ce mois ci :L' ApéroRogue Heroes S2 - SérieTerminator Zéro - Animé NetflixLe DossierLa B.O Oubliée - Blood Machines de Carpenter BrutKrispee Street - Netflix GamesLa NécroNosferatu 2024 de Robert Eggers - Film CinémaGolden Lap - Jeu PCLe Nanar/La merveille - Yor le chasseur du FuturN'hésitez pas à nous retrouver sur nos réseaux ici !En vous la souhaitant bien bonne !La Team MiniBar Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Tous les matins, l'œil malicieux de Sébastien Krebs se pose sur un sujet tabou ou gênant. Le rendez-vous pour débattre autour de la machine à café.

Netflix accueille un nouveau film d'animation qui a déjà droit à sa nomination aux Oscars, WOW ils trainent pas. Véritable phénomène en Grande Bretagne, Wallace et Gromit est également très populaire dans le monde, notamment grâce au précédent long métrage de la série, avec des lapins qui chantent comme le Bossu de Notre-Dame là, dont on a déjà parlé dans FLAN. Est-ce que ce nouvel épisode prouve une fois de plus que Aardman sont les maîtres de la stop motion ? Est-ce que cette longue pause sur la série leur a fait perdre leur humour sooo British ? Est-ce qu'ils méritent l'Oscar ?Et surtout, c'est du FLAN ou c'est pas du FLAN ? 3:27 Salut mon spot'6:38 L'actu vite démoulée13:04 Le contexte32:45 Le débat1:11:30 Les critiques1:21:41 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

Tout le monde avait la possibilité de voter et vous l'avez demandé en MASSE, Flow, le film du petit chat, est le sujet de ce nouveau FLAN ! Alors là attention parce qu'on est sur un film remplit de choupitude et vidé de dialoguitude. Ça parle pas, et parfois, ça fait du bien... Ou pas ? Est-ce qu'un film sans aucune parole peut nous embarquer dans son histoire, ou est-ce qu'on va finir sous l'eau à ne rien comprendre ou ne rien en tirer ? Et que penser de ce projet qui a coûté si peu cher, qui a mis si longtemps à se créer et qui est nommé aux Oscars de l'animation ? Et surtout, c'est du FLAN ou c'est pas du FLAN ? 3:49 Salut mon spot'6:53 L'actu vite démoulée12:55 Le contexte38:56 Le débat1:40:45 Les critiques1:56:32 Le futur Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

  Ingrédients : 600g de purée de carottes 6 œufs 300g de crème liquide 10g d'huile d'olive Sel, poivre   Préparation : Préchauffer le four à 180°. Battre les œufs dans un saladier puis ajouter la crème. Verser la purée sur les œufs et la crème. Saler, poivrer puis mélanger. Verser la pâte dans un moule à gratin légèrement huilé et enfourner 30 minutes.   Recette d'Audrey • La suite sur https://www.radiomelodie.com/podcasts/12794-flan-de-carottes.html

This week, we taste the sweeter side of Mexican cuisine with chef Fany Gerson. Traveling from Mexico City to Veracruz to Oaxaca, we explore regional confections like chili-flavored paletas and guava and cheese doughnuts. Plus, we take a seat at the Noir Bar with writer and television host Eddie Muller, who infuses classic cocktails with a cinematic twist; Martha Barnette and Grant Barrett of “A Way With Words” unpack the history hidden in your spice cabinet; and we prepare a very crispy Korean Fried Chicken. (Originally aired June 2, 2023.)Get the recipe for Korean Fried Chicken here.Listen to Milk Street Radio on: Apple Podcasts | Spotify

Le Roi Lion est de retour ! Sauf que non parce qu'il est pas encore roi. Il est tout ptit, et il est en "live action". "Mais vous avez pété un câble chez FLAN ? Vous faites un épisode sur un film live ?", bah comme le film est quasi intégralement en 3D, oui on peut en faire un FLAN sans problème... Préquelle du Roi Lion, le film a la bonne idée de proposer une histoire originale, raisons de plus pour en discuter ! Mais ressortir une nouvelle histoire du Roi Lion, c'est une bonne idée ? Et la 3D ça donne quoi ? Et cette idée de créer un passé à Scar pour justifier ce qu'il devient, ça fonctionne ?Et surtout, c'est du FLAN ou c'est pas du FLAN ? 4:05 Salut mon spot'7:50 L'actu vite démoulée14:38 Le contexte32:00 Le débat1:46:38 Les critiques2:01:00 Le futur Pour soutenir les victimes des incendies à Hollywood, les petites mains du cinéma d'animation qui n'ont pas de villa mais qui ont de gros problèmes : https://www.cartoonbrew.com/animators/how-to-help-animation-industry-workers-who-have-been-displaced-by-the-l-a-wildfires-244890.html Pensez à nous soutenir avec des commentaires ou des étoiles sur les applis, voire même avec un peu de sous sur Patreon ! MERCI aux gens qui nous soutiennent où que ce soit ! TOUS les podcasts Élabète en UN SEUL podcast, c'est possible en cherchant "Élabète" dans votre appli préférée ! Ou sur http://elabete.lepodcast.fr

1- Ianareo no epistily velona 2- Flan vita ami39;ny korizety 3- Telo Zay Iray 4- Vololomalala Ihosy & Merline Toliara ( mpihaino mampihaino AWR) 5- Famantarana, Asa , Fahagagana

I cannot thank everyone enough for their support over the last 5+ years of APAAN, and we've hit another major benchmark with episode #250!!! I'm really pleased to have on Creighton University WBB HC and longtime friend Jim Flanery on the pod this week. Flan has one of the most experienced and cohesive rosters in the nation this year, and we discuss a variety of topics, including his development as a coach, the evolution of the program, how he develops his motion offense, scheduling a tough slate every year and much more! We had a great time chatting, and I hope you've enjoyed all the pods, but this one was pretty special; enjoy!!!

What will it take for a toucan's gran to make a flan?Written especially for this podcast by Alice.  If you enjoyed this story, please do leave us a review.  And, if you'd like to suggest an animal for a future Animal Tales story, you can do so by emailing podcast@animaltales.uk. We would love to hear from you.  Animal Tales Books!Collections of Animal Tales stories are available to buy exclusively at Amazon. Simply search for Animal Tales Short Stories or follow this link: https://www.amazon.co.uk/dp/B0CLJQZ9C9?binding=paperback&ref=dbs_dp_sirpi Become a PREMIUM SubscriberYou can now enjoy Animal Tales by becoming a Premium Subscriber. This gets you:All episodes in our catalogue advert freeBonus Premium-only episodes (one per week) which will never be used on the main podcastWe guarantee to use one of your animal suggestions in a storyYou can sign up through Apple Podcasts or through Supercast and there are both monthly and yearly plans available.   Discover a brand new story every Monday, Wednesday and Friday – just for you!  You can find more Animal Tales at https://www.spreaker.com/show/animal-tales-the-kids-story-podcast A Note About The AdvertsIn order to allow us to make these stories we offer a premium subscription and run adverts. The adverts are not chosen by us, but played automatically depending on the platform you listen through (Apple Podacsts, Spotify, etc) and the country you live in. The adverts may even be different if you listen to the story twice.  We have had a handful of instances where an advert has played that is not suitable for a family audience, despite the podcast clearly being labelled for children. If you're concerned about an advert you hear, please contact the platform you are listening to directly. Spotify, in particular, has proven problematic in the past, for both inappropriate adverts and the volume at which the adverts play. If you find this happening, please let Spotify know via their Facebook customer care page.  As creators, we want your child's experience to be a pleasurable one. Running adverts is necessary to allow us to operate, but please do consider the premium subscription service as an alternative – it's advert free.

Aujourd'hui, j'accueille Florence Servan-Schreiber, pour un épisode qui je l'espère, va vous faire kiffer !Avec ses livres “3 kifs par jour” ou “Power patate” et plein d'autres activités dont on va parler ensemble dans cet épisode, Florence a fait du bonheur son terrain d'expérimentation.A l'occasion de la Semaine de la Santé Mentale, nous allons voir de ce qui se cache derrière ces moments de bonheur. Parce que parfois, avant d'en arriver aux kiffs, il y a aussi des tempêtes à traverser. Nous allons découvrir son parcours entre son exil forcé en Californie à 19 ans, sa découverte de la psychologie transpersonnelle et son parcours en entreprise. Un parcours atypique qui n'a qu'un seul moteur : l'envie de défricher, de découvrir le nouveau - même en psychologie - et de le transmettre.Bienvenue dans un épisode à la fois lumineux, inspirant et intimiste.Aujourd'hui, avec Florence, nous allons parler de l'art de se faire un prénom, de ridologie (et ce n'est peut-être pas ce que vous pensez!) et de cultiver la fantaisie au quotidien.Quelques notes sur l'épisode :Le site de Florence : www.florenceservanschreiber.comLivre : “Mange Prie Aime” de Elizabeth GilbertRituel : méditer dès le réveil au litRETRANSCRIPTION DE L'EPISODE AVEC FLORENCE SERVAN-SCHREIBER00:02:14 Bonjour Florence, merci de me recevoir chez vous à Paris. Bonjour tout le monde. Merci d'être là dans La Petite Voix. J'ai souhaité vous rencontrer pour une occasion particulière, puisque c'est la semaine de la santé mentale, et il me sembla que vous étiez la parfaite interlocutrice pour en parler. Je vous explique un peu ma démarche. En fait, pour moi, vous avez deux casquettes qui sont intéressantes par rapport à ce sujet-là. C'est que d'un côté, vous avez une formation en psychologie transpersonnelle, en PNL, en psychologie positive, donc quelque chose pour moi. D'académique, mais en même temps, et c'est ce que j'aime chez vous, et c'est pour ça que je vous suis, c'est que vous avez une approche très décomplexante par rapport à ça. Plutôt fun, puisque vous êtes la mère des trois kiffes par jour, du power patate.00:02:56 Et donc, vous savez, nous amener ces sujets-là de santé mentale de manière assez fun. Donc voilà, voilà pourquoi je suis contente de vous recevoir aujourd'hui. Du coup, je suis obligée de commencer par cette question-là. Florence, c'était quoi votre dernier kiff ? Mon dernier kiff, quelque chose pour lequel je me souviens, j'ai ressenti beaucoup de choses, c'est la sortie d'une série qui s'appelle La Maison sur Apple TV+, qui a été produite par mon mari. Il y a des kiffes transitifs, c'est-à-dire que quelqu'un peut vivre quelque chose, et ça nous fait de l'effet, ça m'a fait beaucoup d'effet pour lui, pour tous ces gens qui ont travaillé là-dessus. J'aime la création, j'aime cet homme aussi, je vois la difficulté qu'il a traversée. J'éprouve beaucoup de gratitude parce que la série, le produit est magnifique, donc ça m'épathe.00:03:42 Ah, c'est beau. On va parler de vous, Florence, et de votre parcours. J'ai lu qu'à seulement 19 ans, vous avez eu envie de partir. Il y a deux choses intéressantes. Non seulement vous êtes partie en Californie, mais pour y faire des études de psychologie. Pourquoi ces deux choix-là ? Vous voulez la vérité ? S'il vous plaît, on est là entre nous. J'ai été exilée par mes parents. J'étais une adolescente bien trop turbulente et tourmentée, il n'en pouvait plus. Donc ils ont décidé de m'expédier en Californie. Je suis partie pour faire des études de cinéma, parce que ça, ça m'intéressait, ça avait l'air vivant, c'était un métier debout, c'était de l'image de la création. Et arrivée en Californie, je suis tombée sur et dans tout le mouvement du développement personnel, de la connaissance de soi, de ce vocabulaire qu'ont les Californiens pour décrire ce qui se passe à l'intérieur d'eux, décrire ce qui se passe autour d'eux.00:04:38 Et c'était en fait l'univers qui m'attendait. C'est-à-dire que c'est ça dont j'avais besoin probablement à titre personnel. J'ai trouvé ça fantastique, et étant une adolescente tourmentée, parce que c'est ce que j'étais, de me dire : 'Ah, mais en fait, ça peut s'arranger.' Et si seulement j'avais su ça plus tôt. Voilà, et c'est comme ça que j'ai changé complètement la direction de mes études, et que depuis, je me consacre à ça. Donc le départ était un peu forcé, mais finalement, c'était un cadeau que vos parents vous ont fait. Le départ était accidentel. Si on regarde, beaucoup de nos départs sont accidentels. Enfin, on tombe sur des gens, on croise des choses. Je suis persuadée que nous avons toutes et tous un radar, qui est notre radar, et qui va fonctionner où que l'on nous mette.00:05:26 Je suis obligée de revenir sur ce moment où vous me dites que vous étiez une adolescente tourmentée. Qu'est-ce qui tourmentait l'adolescente que vous étiez ? Absolument tout. La définition de moi-même, la séparation de mes parents, les exigences familiales, la difficulté à savoir ce que je voulais faire dans la vie, comment on se fait des petits copains, tout, je ne sais pas. L'adolescence ? La vie, les études, mon Dieu, les études. Vraiment, je n'aimais pas l'école. Passer son bac, ce n'est pas facile. C'est un moment vraiment de mue qui est plein de problèmes. Et vous soulignez aussi un point, vous le survolez, mais j'imagine que ça faisait partie des sujets. Vous venez d'une illustre famille. Et avec un nom très beau, mais peut-être parfois difficile à porter quand on est cette adolescente et qu'il faut prendre la relève de votre père, de vos oncles, de vos tantes.00:06:18 Vous savez, c'est comme si vous dites à un poisson « Mais comment tu fais pour nager dans l'eau ? » Le poisson, il vit dans l'eau. Mais si vous voulez savoir, en effet, dans une famille comme la mienne, l'enjeu est plutôt de maintenir son prénom. Donc, ça a des avantages et ça a des inconvénients. Bien sûr. Au collège, c'est horrible. C'est horrible quand tout le monde connaît votre nom parce qu'il y a tout le monde se moque de vous pour des raisons complètement extérieures à vous-même. Et puis ensuite, si je prends, comme j'ai depuis écrit des livres, c'est vrai que dans ma famille, c'est pas tant « Est-ce que tu vas écrire un livre ? » mais c'est « Sur quoi vas-tu écrire un livre ? ». C'est ça.00:06:57 Mais chez les cordonniers, ce sera les réparations de chaussures. Donc, il y a des avantages et des inconvénients, mais absolument comme dans toutes les familles, sauf que ça se voit un petit peu de l'extérieur. Il faut se faire un prénom, en fait, puisque le nom est déjà bien installé. Il ne faut rien, mais c'est le job possible. Donc, c'est ce que vous avez commencé à faire à 19 ans en Californie. Soudain, le fonctionnement de l'être humain, j'ai trouvé ça incroyable. J'ai trouvé passionnant de voir comment un enfant devient un adolescent, devient un adulte, comment on meurt. Parce que j'ai fait des études de psychologie transpersonnelle. Donc, on alliait de la spiritualité, avec la psychologie clinique. Donc, on traitait absolument de tous les sujets, de deuil, de la mort.00:07:45 Ce n'était vraiment pas très classique. Je ne me destinais pas non plus à être thérapeute, mais je suis intéressée, je reste profondément, profondément intéressée par nos mécanismes. Combien de temps ont duré ces études en Californie ? Ça dure quatre ans ? Non, vraiment, la chance a voulu que, en effet, je rencontre tout ça. Et puis, c'est un moment, c'est un endroit du monde qui m'inspire profondément. Nous y avons vécu en famille lorsque j'avais sept ans. Et je crois qu'il y a quelque chose. Donc, j'éprouve là-bas une liberté que je ne ressens pas ici. Et donc, quand je l'ai retrouvé en partant faire ces études, par ailleurs, il y avait aussi cet univers totalement contemporain de la psychologie. Et c'est ça qui m'a plu.00:08:30 J'ai une bêtise si je dis que c'est tout le mouvement Palo Alto qui vient de Californie ? Alors, Palo Alto, c'était plutôt dans les années 60. Mais en effet, vous parliez de Palo Alto, de PNL tout à l'heure. Je me suis formée à la PNL à Palo Alto en étant l'esclave d'une femme qui s'appelait Ginny Laborde et qui était formatrice en PNL, qui elle-même avait été formée par Grinder, John Grinder, qui était le fondateur, l'inventeur et Bandler, qui étaient les deux fondateurs de la PNL. Donc, oui, c'est géographiquement à Palo Alto. Mais l'école de Palo Alto, c'est quelque chose de très précis que j'ai plutôt appris à l'université. C'est vraiment comme un creuset là-bas. Et il y a encore, j'en reviens, j'y étais cet été, il y a encore cet esprit très particulier.00:09:19 C'est comme si on s'occupait de son âme, en fait. Donc, il y a quand même effectivement cette dimension très spirituelle à laquelle on est peu habitué en psychologie classique, j'ai envie de dire. Spirituelle et pragmatique. Joli mariage. Les Américains sont très pragmatiques. C'est pour ça qu'ils parlent beaucoup plus facilement de leurs mécaniques intérieures et de leurs émotions que nous ne savons le faire dans notre culture qui est très tenue, et j'appartiens à cette culture très tenue. Donc, quand je vais là-bas, ça me permet d'ouvrir des petits portillons qui font que l'air est plus chaud et que ça passe mieux. Il y a comme une partie de vous qui vit là-bas. C'est ce que j'entends, la manière dont vous l'abordez. Il y a absolument une partie de moi qui se définit là-bas.00:10:02 Tout à fait. De toute façon, je suis plein de gens à l'intérieur de moi. Mais la flow californienne, clairement, est très, très présente chez moi. Et là, malgré tout, je reviens à vos études. Au terme des quatre années d'études, vous avez votre diplôme en psychologie transpersonnelle. La PNL, c'est à la même époque, je crois ? Oui, parce que pendant mes études, je travaille pour Ginny Laborde. Donc, si on résume l'affaire, quand même, peu de ce dont je me sers dans ma vie professionnelle a été appris à l'école. C'est sur le terrain, c'est dans cette expérience avec Ginny Laborde que j'ai vraiment fait l'expérience de la PNL. Que j'ai fait l'expérience de la formation, que j'ai découvert ce plaisir énorme que j'ai à transmettre les choses et à manier des pédagogies.00:10:46 Personne ne m'a appris ça à l'école ou à l'université. Première question, pourquoi vous faites le choix de rentrer en France au bout des quatre années ? Parce que j'avais un petit copain à Paris. Ah, c'est une excellente raison. Donc, vous rentrez et là, vous ne faites pas le choix de vous lancer comme thérapeute. Pas du tout. Quand je rentre à Paris, la PNL n'existe quasiment pas et donc je commence par créer des premiers séminaires de PNL pour un institut de formation et puis, en fait, être thérapeute, pour moi, n'est pas du tout une valeur ajoutée que je peux apporter. Pour plein de raisons, je mémorise très, très mal les choses. Donc, l'idée de ne pas me souvenir du nom du chat ou de la sœur ou de la mère d'un patient, ça me terrifie avant même d'avoir commencé.00:11:34 Et l'autre chose, c'est que je sais maintenant que j'ai un trouble de l'attention assez manifeste et ça demande beaucoup d'attention et ça demande beaucoup de présence physique. C'est-à-dire que pour moi, il y a deux métiers qui sont vraiment géographiques. C'est tenir une boutique et être thérapeute. On est dans le même endroit et ça ne m'est pas accessible parce que j'ai trop la bougeotte. D'ailleurs, je trouve que ça vous définit bien cette notion de bougeotte parce que quand j'ai voulu préparer notre entretien, j'ai l'impression qu'il n'y a pas d'étiquette. On ne peut pas vous mettre d'étiquette. Donc, on le voit dans votre parcours. Vous faites ces études-là en psychologie, mais finalement, assez vite, vous allez être très présente dans le monde de l'entreprise. Alors, comme vous l'expliquez à travers de la transmission, de la PNL, etc.00:12:19 Mais vous êtes aussi beaucoup dans ce monde-là de l'entreprise. Je fais vraiment mes premières armes professionnelles en travaillant avec les auteurs d'un livre. Tout ça, c'était dans les années 80. Les années 80, c'était La Gagne, c'était Bernard Tapie, etc. Donc, c'est à ce moment-là que je suis rentrée en France. Je travaillais sur, je faisais de la formation à la qualité de service, c'est-à-dire que c'est vraiment le moment où Darty a développé son service après-vente. Enfin, toutes les marques commençaient à parler de ça. Et donc, nous faisions pareil, mes associés rentraient également des États-Unis. Donc, nous étions empreints de cette culture du client dont on s'occupe. Et c'était assez nouveau dans la fin des années 80. Et donc, j'ai fait ça et j'ai fait ça pendant une petite dizaine d'années.00:13:00 Donc, je connais très, très, très bien le monde de l'entreprise. Vous étiez heureuse dans ce monde de l'entreprise, justement. Oui, parce que j'enseignais un sujet qui était nouveau. Ce que je retrouve, cette image de la Californie, en fait, me va très bien parce que c'est le Far West. Et je n'aime que le Far West, c'est-à-dire que je n'aime que les idées qui ne sont pas encore complètement intégrées, parce que je les débusque, parce qu'elles m'intéressent, parce qu'elles me plaisent. Et comme je suis assez joyeux, les bons tuyaux, si j'ai découvert quelque chose, je vais vous dire. Mais est-ce que tu sais que et toute mon histoire, franchement, si je regarde maintenant, parce que maintenant, je peux regarder derrière, j'ai passé suffisamment de temps à vivre pour voir que c'est vraiment le moteur de tout ce que je fais.00:13:48 C'est... Et trois petits points... À ce moment-là, je vais vous raconter la dernière chose que j'ai apprise. Donc, je passe mon temps à aller apprendre des choses pour pouvoir vous dire, est-ce que tu sais que ? Et puis, et c'est comme ça que je partage ça. C'est ça, parce que du coup, il y a la notion d'innovation. Effectivement, que je m'étais noté à essayer de défricher, en fait, des nouveaux terrains. Mais derrière ça, vous avez ce besoin de transmettre, en fait. Une fois que j'ai découvert quelque chose, c'est en effet le premier réflexe qui me vient. Je ne sais pas si vous avez vu que dans un moment, dans ma vie professionnelle, j'ai été ridologue. Alors, ridologue, c'est non pas spécialiste des rides, mais spécialiste des rideaux.00:14:28 J'ai dû apprendre à faire des rideaux parce que je m'installais et que j'avais des fenêtres sans rideaux et qu'on n'arrivait pas à dormir. Donc, je suis allée apprendre à faire des rideaux. C'était dans un moment professionnel de burn-out total. C'est juste après cette période de qualité de service. Vous l'avez terminé sur un burn-out ? Je l'ai terminé sur un burn-out, un baby blues et un deuxième enfant. Ça commence à faire beaucoup, pour la même personne. C'était concomitant. C'était l'enfant de ma fille, qui est mon deuxième enfant. Je me suis rendu compte qu'elle était une fille, je ne savais pas quelle valeur féminine j'allais pouvoir lui transmettre. Donc, votre aîné était un garçon. Oui, c'était OK. La question, la question ne s'est pas posée. J'étais alors là, la naissance d'Arthur a rebattu énormément de cartes.00:15:18 J'en ai même fait un livre qui s'appelle Avant, je n'étais que moi parce qu'il n'y a pas plus grand séisme dans la définition de qui on est, de comment on fait. Il n'y a rien de plus grand que ça. Donc ça, c'est Arthur. Arthur a ouvert la voie. C'est comme le pisteur avec ses explosifs. Il fait exploser le truc. L'aventure se déclenche, mais je continue comme ça à travailler. Et puis, quand enceinte de Pénélope, quand même, mine de rien, la maternité d'Arthur a ébréché énormément de choses chez moi. Et c'est au moment où je suis enceinte de Pénélope que je commence à paniquer. Jusqu'à là, j'ai essayé de tenir le truc à peu près. Et surtout, vraiment avec cette histoire, il y a vraiment cette sorte de féminité, d'identité féminine qui était importante à ce moment-là.00:16:03 Pour moi, je travaillais avec des mecs dans cet univers de l'entreprise extrêmement masculin. Mes parents m'ont élevée de façon féministe. En me disant les garçons et les filles, c'est pareil. Et puis, quand même, avec mon Arthur et puis bientôt ma Pénélope. Non, les garçons et les filles, c'est pas pareil. Et je ne savais pas dire en quoi ce n'était pas pareil, mais je voyais bien que ce n'était pas pareil. Et j'avais besoin de comprendre. Enfin, je ne savais pas. Bref, de toute façon, je ne comprenais rien. J'étais au plus mal et j'étais au fond du seau. On appelle ça des burn-out, mais à cette époque-là, ça s'appelait encore une dépression. C'est ça. D'accord, une gentille dépression et que je soigne et donc que je soigne par des médicaments, par des thérapies, enfin par tout ce type de thérapie.00:16:42 Vous avez une psychothérapie très classique. Et à partir de là, c'est là qu'arrivent les rideaux. Puisque j'ai besoin de rideaux, j'apprends à faire des rideaux et je suis totalement emballée par ce que je viens d'apprendre, mais totalement. Et en fait, j'ai plein d'idées que je ne vois pas dans le commerce. En fait, des têtes de rideaux, des formes de rideaux, des compositions de rideaux. Assez rapidement, je deviens rideologue, c'est-à-dire que j'organise des ateliers chez moi où les gens viennent fabriquer leur paire de rideaux. Donc, on arrive le samedi matin, j'ai des rouleaux de tissu et j'avais une batterie comme ça de machine à coudre et on repartait le dimanche soir avec sa paire de rideaux. Et en fait, ce qu'on venait faire là, c'était ce truc, cette phrase que j'adore, que j'adore, que j'adore, qui est c'est moi qui l'ai fait.00:17:32 Et donc, sous couvert de faire un rideau, il y avait quelque chose, c'était un travail manuel, collectif, sympathique. On faisait ça ensemble. Et surtout, ça provoque de la fierté, ça provoque de la surprise. Ça, c'était en fait un atelier de développement personnel. Oui, voilà, j'allais y venir. Qui passait par un loisir créatif. C'est ça, la réideologie. Vous êtes sorti de cette dépression et de ce burn-out à l'époque. OK. Sauf que vous n'avez pas cru. Plus que ça, puisque vous êtes reparti en entreprise. Ah non, ça a duré. C'est quand même une affaire qui a duré six ans. Ah pardon, OK. Non, non, c'était une vraie, une vraie phase dans ma vie. Mais ce qui s'est passé pendant ce temps-là, c'est que tout ça m'a amené à 1999 où est arrivé Internet.00:18:21 Et pour quelqu'un comme moi, c'est irrésistible, évidemment. Et d'abord avoir d'ailleurs travaillé avec ces rideaux, de réfléchir en deux dimensions, etc., j'avais quand même besoin au bout de toutes ces années de retrouver un métier un peu plus intellectuel parce que j'avais complètement basculé dans un travail manuel. Et quand aujourd'hui je me dis j'avais une quête de ma féminité, ce n'était pas ma féminité que je cherchais tant que ma frivolité. Et j'avais besoin d'exprimer ma fantaisie dans mes histoires de qualité de service. Alors, c'est quand même moi qui arrivais, mais je me déguisais encore. J'avais des tailleurs. J'étais habillée comme on était habillé dans les années 80 pour aller dans les entreprises. J'avais besoin de libérer tout ça. Je vis dans un monde intérieur qui est extrêmement coloré et j'ai appris à le libérer.00:19:16 Chaque décennie m'a permis de libérer un peu plus encore ce monde intérieur. C'est beau, mais par contre, vous le dites, l'appel irrésistible de ce phénomène qui était génial à vivre à la fin des années 90, c'est Internet. C'était surtout ce qu'on peut faire avec Internet. Je suis néophile. Les nouveautés me plaisent. Je suis née dans les années 60. C'était une décennie de nouveautés absolues. La décennie où on a marché sur la Lune, on a été réveillé enfant. J'ai vu ce moment-là, donc je pense que c'est un fusée aussi. Donc, quand Internet est arrivé, je n'ai pas pu résister. Et puis, surtout, c'était un moment où on pouvait se déclarer absolument n'importe quoi. Et ça, c'est ma spécialité. Donc, quand on m'a demandé, parce que tout le monde voulait créer des sites Internet et personne n'a été formé puisque personne n'y avait travaillé.00:20:07 Donc, on m'a dit, on m'a demandé : est-ce que tu peux être rédactrice en chef d'un site Internet ? J'ai dit absolument. Je n'avais pas la moindre idée de ce que j'était en train de faire, mais les gens avec lesquels je travaillais non plus. Alors, c'est un site qui est né et puis qui est mort assez rapidement parce que c'était pas du tout au niveau. Mais c'était ce moment-là, c'était ce moment d'effervescence. C'était cette espèce de ruée vers l'aube. On prenait son seau et puis on partait, on faisait son trou. Et vraiment, voilà, il n'y avait pas de loi. Il n'y avait pas encore de spécialistes. Il y avait du culot, il y avait de la créativité. Il y avait des rencontres, il y avait de l'argent qui coulait à flot parce que tout le monde voulait prendre un bout de ça.00:20:47 Donc, si on croisait quelqu'un qui disait oui, moi, je veux bien essayer. Et vous étiez quoi ? Consultante ? Oui, on venait pour le contenu parce que ce que je sais faire, c'est raconter des histoires ou concevoir des expériences. Comme je n'étais pas technique, je ne savais pas développer. Ça, ce n'est pas la partie qui m'intéressait, donc c'est évidemment la partie visible, les maquettes. Quel aspect ça a ? Donc, j'ai totalement inventé de nouveau un peu de ça. Il y a quand même chez moi quelque chose de l'ordre de l'autodidacte. Comme je vous ai dit, je n'ai pas appris grand chose à l'école. Donc, ce que j'apprends, je suis en immersion permanente. J'ai trouvé le terme cet été en Californie. C'est du full body experience.00:21:30 C'est-à-dire que tout ce que je fais, tout ce que je cuisine, tout ce que je découvre, ce n'est pas tant ce que je lis, c'est ce que je fais, ce que je vis, là où je vais, etc. va me donner une information dont je vais me servir. Il y a vraiment cette notion d'action qui vous habite complètement. Et on l'entend dans votre parcours. Mais cette aventure du digital, elle va durer un petit moment, si je ne dis pas de bêtises. Mais oui, ça dure une bonne dizaine d'années. Puis, il se passe ce qui se passe à peu près toujours dans mes expériences professionnelles. C'est que un jour, les spécialistes arrivent. Et quand les spécialistes arrivent, il se passe deux choses. Mon système devient totalement obsolète parce que ça ne m'intéresse pas de me mettre à niveau.00:22:13 Je ne me mets pas à niveau d'un jeune diplômé d'HEC qui sort avec une spécialité en digital. Jamais de la vie. Mais non, oui, vous n'êtes pas du tout sur le même terrain. Oui, ils arrivent comme un troupeau galopant. Et Internet aussi a beaucoup évolué. Donc, il y a maintenant des codes et dans ces cas-là, ce n'est plus ma place. Je flaire quelque chose. Je n'ai pas flairé Internet. Tout le monde s'en est rendu compte. C'est comme si je flairais l'odeur du pain qui cuit avant qu'il soit complètement cuit. C'est ça. Et c'est ça qui me réveille. Et ça vous a porté pendant dix ans. Vous avez notamment été rédactrice en chef pour Psychologie Magazine. Alors, j'étais chargée des innovations, très exactement. Des innovations du digital de Psychologie Magazine.00:22:56 Il y avait une rédactrice en chef, il y avait une équipe en place. Mais moi, j'étais chargée de créer d'autres sites Internet et de réfléchir à comment utiliser l'interactivité, même à l'intérieur de ces sites, pour la connaissance de soi. Donc, dix années. On entend ce qui va faire que vous allez tourner cette page-là. Je l'ai tournée. Il faut savoir que les pages se tournent violemment. J'ai pris vraiment en pleine face le fait que je n'étais plus du tout au niveau, que les organisations étaient différentes, que ça ne m'intéressait pas, que je ne les intéressais pas. Enfin, c'était. Tout un mélange. La psychologie a été vendue à un grand groupe. Et j'ai dit à ce grand groupe : ce n'est pas la peine de me licencier immédiatement, parce que je ne veux pas faire d'Internet chez vous.00:23:36 Et là, je me suis posé la question du développement durable en me disant : peut-être je peux maintenant réfléchir à des choses plus collectives. Me voilà repartie en Californie pour apprendre le développement durable, puisqu'il y a des universités à San Francisco qui sont entièrement consacrées à ça. Pardon, je me permets de vous interrompre pour remettre dans le contexte. On est au début des années 2010, si je n'ai pas de bêtises. Non, c'est en 2005. Ah oui, donc on parlait très peu de ces sujets-là. Là encore, vous aviez senti le pain chaud. On commençait à parler du RSE, du RSE. On parlait un peu de l'obligation qu'auraient les entreprises à l'avenir. C'est ça, mais à l'époque, ça nous paraissait encore très lointain.00:24:15 Ah oui, non seulement c'était lointain, mais en tout cas, l'entreprise pour laquelle je travaillais n'en avait absolument rien à faire. C'est ça qui était génial. Donc, bref, je pars, je vais apprendre ça et je leur dis : Laissez-moi réfléchir à la responsabilité sociale et environnementale d'un groupe de presse, parce que c'est intéressant quand même. Et puis, alors là, ça a été le fiasco total pour plein de raisons. D'abord, aller travailler dans une très grosse boîte, c'était la première fois de ma vie et la seule. Ça, ça n'est pas mon équation ni mon biotope du tout. Ce n'était pas un endroit pour moi. Et puis surtout, ça ne les intéressait pas. Et en plus de ça, ça nous a mené jusqu'en 2008, où il y a eu une crise économique très importante.00:24:54 Et les premiers budgets, les premiers budgets qui sautent dans ces cas-là sont des budgets de publicité. Les groupes de presse vivent de la publicité. Donc, ils ont perdu 75% de leurs recettes en un trimestre. Donc, le développement durable, c'est peu de dire que ce n'était pas du tout leur délire. Au fond du tiroir, oui, bien sûr. Et donc, mon emploi me quitte. Donc, de nouveau, recrise, parce que me voilà au chômage. Et puis, à chaque fois, l'inconvénient de mon système de fonctionnement, c'est que pour m'emballer pour quelque chose, il faut d'abord que je rencontre quelque chose. Et oui, c'est ça. Et donc, il n'y a rien à se mettre sur le plan. Qu'est-ce qu'il y a là-dedans ? Il y a des plages de recherche et de désespoir. De dépression encore ?00:25:32 On se dit, je ne sais pas si c'est de la dépression, mais c'est énormément d'angoisse. C'est comme quand on attend de tomber amoureux. On ne sait pas, on ne peut pas savoir. Donc, on se dit, mais c'est quand ? C'est dans 35 ans ou c'est dans deux semaines ? Ou est-ce que c'est au coin de la rue ? On ne sait pas. Donc, ça me met comme ça dans des moments de recherche. Mais alors que je m'ennuyais ferme dans ce job précédent, où franchement, je faisais très peu de choses utiles, je m'étais inscrite au cours de psychologie positive. Donc, le premier cours qui était proposé en ligne par Tom Benchard, par l'intermédiaire de l'Université de Pennsylvanie. Donc, je faisais ça entre deux. Je faisais ça à mon bureau, ça ne se voyait pas.00:26:11 Et puis, tout à coup, n'étant plus tenue d'aller au bureau, j'ai eu plus de temps pour pouvoir m'y consacrer. Et je m'y suis engouffrée. C'était passionnant. C'était vivant. J'étais le sujet. C'était le sujet d'études, puisque les devoirs que nous avons à faire en psychologie positive, comme il ne s'agit pas d'une pathologie, de traiter quoi que ce soit comme pathologie, c'est simplement la vie à laquelle on s'adresse. Donc, nous étions nos propres cobayes. Et c'était les devoirs qui étaient exigés de nous. Je ne sais plus combien on était, 500, je crois, dans ce cours, dans le monde entier. Et c'est comme ça que j'ai rencontré tout ça. Et c'est à la suite de ça, toujours au chômage d'ailleurs, que j'ai eu envie de raconter.00:26:52 J'ai trouvé ça tellement chouette que j'ai eu envie de raconter ce que j'avais appris et ce que ça m'avait permis d'appliquer ou de comprendre. Et c'est comme ça que j'ai écrit 'Trois kiffes par jour'. Donc, là, en fait, quand vous l'écrivez, évidemment, vous n'imaginez pas la résonance que ça va avoir et la bascule que vous allez faire. D'autant que pendant ce temps-là, Hachette m'avait offert un bilan de compétences. Alors, j'ai passé des heures et des heures et des heures avec une dame. Et à la fin de tous les jours, de tous les bilans, d'avoir fait des listes, d'interroger des gens, etc. Elle me dit « Écoutez, Flan, ça va être un peu plus long avec vous. Il va falloir revenir ». Et donc, j'ai dit « Non, mais ça suffit maintenant ».00:27:35 Mais elle m'avait quand même dit, je l'ai retrouvé il n'y a pas très longtemps, ce bilan de compétences. Et elle avait dit quelque chose d'extraordinairement juste. Elle avait dit qu'il fallait que je trouve un sujet différent de ce que j'avais vécu jusqu'à présent pour le présenter à l'extérieur, et inventer les outils qui permettaient de le transmettre. Et quand j'ai lu cette phrase, je me suis dit « Ça ne veut rien dire. » J'avais l'impression de lire l'horoscope. C'était tellement abstrait. C'est quand même exactement ce que j'ai fait. Mais sauf que la réalité, rétrospectivement, c'est ça que je devais faire, et c'est ça que j'avais à faire, et c'est ça, en fait, que j'ai fait. Et que vous faites encore aujourd'hui.00:28:11 Donc, c'est là que vous avez écrit ce livre, 'Les trois kiffs par jour', qui a tout de suite été hyper intéressant. Alors, 'Trois kiffs par jour' paraît. J'arrive à la fin de mes deux ans de chômage. Et pendant ce temps-là, quand même, j'avais fait un peu de télévision. J'ai animé une première chronique dans une émission de cuisine. Parce que c'est un autre sujet qui m'intéresse. Aussi, très initié à tout ça par mon cousin David, serveur Schreiber, qui était psychiatre et donc atteint d'une tumeur au cerveau. Il a dû complètement réformer son mode de vie et son alimentation. Donc, nous avons tous modifié notre alimentation pour que David, tout simplement, puisse venir à la maison. David, pardon, je fais une parole.00:28:50 (En parenthèse, c'est lui qui a écrit « Guérir », donc, livre hyper connu, où justement, il nous a initiés aussi, à travers ce livre, à la méditation, etc. Je crois, le MDR aussi, si je ne dis pas de bêtises. Le MDR, la cohérence cardiaque. C'est ça. Et la psychologie positive. C'est là que j'ai lu, pour la première fois de ma vie, le terme « psychologie positive ». Je voulais faire juste cette parenthèse pour le resituer. Et donc, vous, évidemment, là, vous avez dit. Alors, comme j'étais vraiment, voilà, il fallait, comme je vous dis, je suis quelqu'un qui cherche, enfin, qui cherche.) Donc, il y a ce sujet-là de l'alimentation, à la fois santé et sexy, parce que c'est toujours pareil.00:29:27 Si on vous dit « il ne faut pas manger, il ne faut pas manger, il ne faut pas manger », c'est différent de dire « voilà, des recettes géniales ». J'avais, comme ça, tenu une chronique à la télévision, sur Cuisine TV. Par la suite, j'ai eu ma propre émission, qui s'appelait « Des recettes qui font du bien ». Et on a fait quatre saisons. Ça, c'était comme d'aller à la récré, quoi. J'avais un décor. On m'avait demandé ce que je voulais, comme cuisine. J'avais vraiment décrit mon décor idéal. Ils avaient créé le décor idéal. Du coup, l'intérieur de ma tête était devant moi. C'était génial. Et donc, en effet, on cuisinait. Alors, on me maquillait, on me coiffait. Enfin, j'ai adoré.00:30:03 Et donc, vraiment, j'arrive à la fin de cette période de chômage et de temps en temps, comme ça, des tournages d'émissions. Mais ce n'est pas de ça dont je vais vivre. Donc, je m'apprête à retourner à Pôle emploi. Sauf que « Trois kiffes par jour » commence à se vendre. Et « Trois kiffes par jour » commence à se vendre très vite. Et surtout, il y a eu comme ça, parce que ça s'appelait « Trois kiffes par jour », je crois, il y a eu une traction dans les médias. Et donc, je me suis retrouvée au Grand Journal de Canal+. Oui, c'était le grand rendez-vous de début de soirée. J'ai jamais eu aussi peur de ma vie. J'étais tellement stressée. J'étais très intimidée parce que c'est une émission que moi, je regardais avec ferveur.00:30:43 Donc, j'avais l'impression d'être dans la cour des grands. J'ai eu exactement 3 minutes 30 à l'antenne. Mais ça a été 3 minutes 30 formidables parce que d'abord, le sujet est passé. On a commencé, c'était Mouloud Achour qui était en face de moi et qui commence à faire des gestes comme s'il était en train de fumer un joint en disant » Moi aussi, je fume trois cigarettes par jour. Et il y avait à côté de moi Leïla Bekhti, qui est une actrice formidable. Et c'est elle qui l'a repris en lui disant « Mais non, c'est pas du tout ça. Je vais te dire un truc. J'ai eu mon frère au téléphone tout à l'heure et j'adore mon frère. Eh bien, c'est un cliché. Et quand je parle à mon frère, je ressens des choses formidables.00:31:20 » Elle l'a illustré parfaitement, c'est ça. Elle l'a expliqué avec ses mots. Et à partir de là, parce que c'est un peu organisé comme ça en France, les médias se suivent les uns les autres, le fait d'être passée à cette émission m'a ouvert les portes de tout un tas d'autres choses. Eh bien oui. Il y a eu comme ça du buzz autour du livre. Mais il faut reconnaître, c'était il y a presque 15 ans maintenant, le livre se vend toujours. Et le livre se vend toujours toutes les semaines. Donc, ce n'est pas que le buzz d'il y a 15 ans. C'était vraiment, c'est vraiment quelque chose. Je crois que le contenu du livre fait aussi partie de ces contenus qui sont accessibles, identifiables. On s'y reconnaît.00:31:56 Ces transitions de vie, parce que c'est quand même un livre qui raconte plein de transitions de vie, se présentent à n'importe quel moment dans la vie des uns, des autres, se représentent dans ma mienne. Une fois que « Trois kiffs par jour » est sorti, je commence à me demander de donner des conférences. Et ça, c'est un métier que j'avais complètement mis sous le tapis pendant 20 ans puisque c'était mon premier métier. En formation de PNL ? Oui, formation de PNL et à la qualité de service surtout. C'est ce que je faisais. Et j'ai retrouvé ce métier qui est ma vocation. C'est quand même celui-là. En résumant tout, c'est de venir raconter, de venir raconter, de venir raconter sous toutes les formes.00:32:37 Donc, depuis « Trois kiffs par jour », ça a été sous la forme, évidemment, de conférences. Ça, c'est vraiment ma vie professionnelle dans la journée. Je vais dans des entreprises et je donne des conférences. J'organise des choses dans des théâtres pour le grand public. Donc, quand j'ai une nouvelle conférence, j'en fais presque un spectacle. J'ai également créé un vrai spectacle qui s'est appelé « La fabrique à kiff ». Alors ça, vous étiez en scène. En scène, absolument. Ce n'était pas ça votre rêve d'enfant, d'ailleurs. Je n'ai pas lu ça. C'était l'un de mes rêves d'enfant. C'est Julie Androuz ? Oui, Julie Androuz, tout à fait. Pour la resituer, c'est Marie Poppins ou comment elle s'appelle ? C'est Maria dans « La mélodie du bonheur ». Maria dans « La mélodie du bonheur ».00:33:16 Donc là, quand vous faites « La fabrique à kiff », vous êtes sur scène auprès de deux amis, c'est ça ? Alors, deux femmes que j'ai rencontrées à cette occasion qui sont devenues des amies, qui étaient thérapeutes. Et on incarnait nos propres rôles. C'est-à-dire que j'étais Florence Servan-Schreiber, prof de bonheur, et elle était thérapeute. Et donc, on a écrit un spectacle hilarant. Évidemment, on s'est fait aider par des gens qui nous ont mis en scène, qui nous ont aidés dans l'écriture. C'était aussi de pénétrer un autre univers qui est celui du théâtre. On a tourné pendant trois ans avec ce spectacle incroyable où, le lundi soir, on allait jouer comme ça dans toute la France. Et puis, le reste de la semaine, on faisait notre métier comme d'habitude.00:33:56 Dites-moi si je me trompe, mais j'ai l'impression que depuis « Les trois kiffes par jour », vous avez tiré ce fil-là de vulgariser le bonheur, de le rendre accessible simplement. Il n'y a pas ce côté un peu prise de tête qu'on peut parfois ressentir dans le développement perso. Ce que vous nous offrez, c'est la psychologie positive que vous nous rendez accessible à travers des outils simples. Là, on a pas mal parlé de cet exercice des « trois kiffes par jour », mais vous parlez aussi d'écriture, de cohérence cardiaque, etc. Est-ce que c'est ça, aujourd'hui, votre activité ? Mon activité, c'est de faire des choses, de ne parler que de sujets sérieux sans me prendre au sérieux. Oui, c'est ça. Donc, tout ce dont je vous parle est fondé, vient de quelque part.00:34:40 Ce dont je me rends compte aujourd'hui, c'est que les trois kiffes par jour est un autre fondement qui me permet d'appuyer des choses que je viens raconter. C'est mon expérience. C'est-à-dire qu'à mon âge, on ne peut plus faire l'économie de son expérience. Je ne peux pas raconter mon parcours comme une étudiante qui travaille depuis 10 ans ou depuis 20 ans. J'ai la totalité d'une vie derrière moi. Donc, c'est aussi la base de tous ces apprentissages. Donc, il y a vraiment cette notion de transmission qui va prendre plein de formes, que ce soit à travers vos livres, à travers les conférences que vous donnez, ce que vous faites sur scène. Je crois que vous avez aussi sur Internet des programmes. Il y a une académie en ligne.00:35:18 Donc, ça va être par l'écriture, par la parole, par du digital. Je viens vous raconter ce que je sais. Et en effet, l'écriture, par exemple, est un des sujets sur lesquels j'ai également travaillé. J'ai publié un livre qui s'appelle Écrire pour s'épanouir et kiffer. Après avoir été chercher toutes les recherches qui ont été faites sur le pouvoir de l'économie et de l'écriture sur notre psychisme et vie psychologique. Donc, à la fois les traumatismes en thérapie, mais aussi l'épanouissement, la créativité, la façon dont on peut vraiment se développer grâce à ça. Là, je vous écoute et je me dis vraiment, c'est super de parler avec vous pour cette semaine de la santé mentale parce que souvent, on résume la santé mentale au trauma. Et puis là, en fait, vous, vous reliez ça beaucoup à une clé d'épanouissement.00:36:08 En fait, on n'est pas obligé de parler du noir tout le temps et des choses négatives. On est obligé de parler du noir au contraire, on va cultiver avec vous, on cultive le positif. Le trauma sera là, quoi qu'il arrive. Alors il, il prend toute la place, il fait tout ce qu'il veut, c'est lui qui règne. Donc, si on veut le contrebalancer, en fait, il faut en prendre la décision, c'est-à-dire qu'on apprend énormément de choses sur le trauma. Ce que je sais, c'est qu'on peut aussi apprendre énormément de choses sur l'épanouissement. Et mon job à moi, c'est ça, puisque le trauma. Alors je ne sais pas si vous savez ça, mais je suis par ailleurs présidente de l'école qu'avait créée David qui s'appelle l'Institut français de l'EMDR.00:36:49 Et donc, nous formons chaque année des centaines de thérapeutes à l'EMDR. Et l'EMDR, c'est vraiment pour le traumatisme. Donc, je suis dans mon fort intérieur, dans la partie de moi qui aime aider, celle qui est au service. J'ai les deux extrémités de l'éventail, c'est-à-dire que le traumatisme est couvert par des gens. Moi, je ne pourrais pas vous enseigner ça parce que vraiment, ce sont des gens qui sont complètement confinés, qui font ça. Et de l'autre côté, je viens nous rappeler que malgré et en plus de notre main, il y a des choses que nous pouvons faire avec légèreté. Pour moi, une journée est une composition de moments. Ce n'est pas une journée. Il y a différents instants, il peut y avoir différentes couleurs, différents goûts, différentes saveurs dans la journée.00:37:32 Avant de passer aux questions rituelles, j'aimerais savoir ce que vous aimeriez dire à cette Florence qui a 19 ans, qui n'est pas hyper bien dans sa peau, si je comprends bien, qui est sur le point de s'envoler pour la Californie. La femme que vous êtes aujourd'hui. La seule chose que j'ai à lui dire, c'est ça va aller. Et quoi qu'il arrive, ça va aller. Et c'est vrai. Et c'est aller dans énormément de directions, vers le haut, vers le bas, vers la droite, vers la gauche. Mais ça va aller. Nos ressources sont incroyables et nous avons chacune et chacun notre façon de faire. Et ce dont on se rend compte vraiment, décennie après décennie, parce que là, maintenant, j'en ai plein dans les pattes des décennies, c'est qu'en tout cas, chez moi, chacune va être traitée d'une certaine façon et permet à l'autre de se consolider et de construire dessus et qu'on n'arrête jamais cette construction.00:38:27 Heureusement. C'est fatigant, mais c'est fantastique. C'est tout ça à la fois, c'est vrai. Allez, mais quelques questions rituelles pour terminer. J'aimerais savoir, vous, Florence, si vous êtes à l'écoute de votre petite voix au quotidien. Nous sommes sept. Ça fait du monde. À l'intérieur. À l'intérieur de moi. Donc, je suis sans arrêt en dialogue avec quelque chose qui est à l'intérieur de moi. Si vous faites référence à l'intuition, au fait d'avoir pris de mauvaises décisions, bien sûr, je prends de mauvaises décisions, malgré le fait que je n'écoute pas toujours. Il y a des choses que je me dis et puis il y a des choses que je ne me dis pas, très franchement, que je découvre en marchant. Mais oui, j'ai beaucoup, beaucoup de dialogue intérieur et je suis très, très sensible à cette partie-là.00:39:09 Et j'ai, j'ai, j'aimerais qu'elle prenne encore plus de place. J'aimerais qu'elle mène la danse, en fait. Ça me ferait des vacances. Je pense qu'on en est tous là, mais que le mental prend de la place. C'est ça. Est-ce qu'il y a un livre qui a particulièrement éclairé votre chemin de vie ? Quand j'ai lu Manche Première d'Elisabeth Gilbert, ça a ouvert quelque chose de très important pour la suite, qui était, elle écrivait ce livre à la première personne et c'est au moment où je m'attaquais à Trois Kifs par Jour, c'est quelqu'un qui m'a dit « Ah, mais tu as lu Manche Première et non ? » Donc, je l'ai acheté et j'ai découvert qu'en parlant à la première personne, je m'identifiais complètement à elle et ça m'a autorisée à écrire Trois Kifs par Jour comme ça.00:39:49 Et ça a complètement libéré quelque chose dans mon écriture depuis parce que c'est là que mon écriture, ce n'était pas le premier livre, mais c'est vraiment à partir de là que j'écris quasiment tous les jours. Je ne parle même plus au singulier, je parle au pluriel, c'est-à-dire c'est nous. Je considère que tout ce qui m'arrive, tout ce qui vous arrive, m'arrive aussi. Donc, ça nous arrive. Donc, ce livre-là a ouvert ça pour moi. Est-ce que vous avez un rituel bien-être quotidien ? Le matin au réveil, la première chose que nous faisons, Alex, Marie et moi, c'est que nous méditons. OK. Au lit, alors couché, pas du tout dans les positions zen, etc. Oui. Mais nous méditons au lit. OK, d'accord. Bon, et Florence, est-ce que vous êtes heureuse ?00:40:32 À cet instant précis, oui, mais je ne sais répondre que dans l'instant. Je suis vraiment comme les dorades, c'est-à-dire que je suis vraiment que je vois là où je suis. Je peux vous le dire là maintenant. Rien ne me dit que dans un quart d'heure, je ne serais pas effondrée par un blocage. Je ne sais pas, quelque chose qui se présente là. Je suis incapable de vous dire oui, je suis heureuse. Mais là, tout de suite, maintenant ? Là, tout de suite, oui. Chouette. Vous savez quoi, Florence ? Ça a été un vrai kiff pour moi, cet entretien. Donc, je vous remercie beaucoup. Je repars avec un grand sourire. Et moi aussi. Merci beaucoup.______________________________________Semaine de la Santé Mentale • Psychologie positive • 3 kifs par jour • PNL (Programmation Neuro-Linguistique) • épanouissement personnel • psychologie transpersonnelle______________________________________Vous aimerez cet épisode si vous aimez : Métamorphose, éveille ta conscience ! (Anne Ghesquière) • Le podcast de Pauline Laigneau • Comment tu fais (Laury Thilleman) • Psychologie Positive Et Hypersensibilité (Laurie Zed) • podcast Emotions................................................La petite voix est un podcast du label Lacmé Production.

On this episode's celebration of board games, we acted like One and promptly disagreed over Discworld Ankh Morpork, plus we talk Rome in a Day, Resist! Confident and a little more on Journeys in Middle Earth. Join our Discord or follow us on Instagram to keep track of what we're up to.

We are, evidently, huge proponents of minivans.  You heard it here first...20 years ago.  Bronies were involved.FacebookInstagram

1- Ianareo no epistily velona 2- Flan vita ami39;ny korizety 3- Telo Zay Iray 4- Fomba fiasan39;ny AWR + Tmg Rasamoelisoa Perlette Honorine (Ambohimanjakandidy Ambatondrazaka )- 5- Farantsa kely roa natao fanatitra

In this podcast Nic and Elise discuss the role Human Resources and the part Elise plays in helping to create a culture of safety, mental and emotional health, and Egan's focus on people development. You will hear the passion she has for serving others and how executing key strategies looks a lot like building relationships across the enterprise. This is key.She shares wisdom from her 8+ years in the construction industry, crediting her inspiration for the industry to her tradesman husband stating, “The humble pride of the trades, the craftsmanship and the ability to create and build, inspires me. The passion I see when he's pointing out projects he's been part of… now I get to see that passion everyday across all trades at Egan.” In addition to teasing Nic about his Chanel bag (he uses it for his audio equipment), Elise shares how her favorite part of working at Egan is the people – how its friendly, caring, and supportive approach starts at the top and makes the work everyone does together both meaningful and enjoyable.---

Woodsy and Paul kick off the 9am hour continuing on with our special co-host of the day, Tim Flannery! Listen in as Flan talks about the difficulties of coaching 3rd base in the big leagues, why he was known as "The Bunt Doctor" and we do a little Q&A with Flan to wrap up the show by having him answer some questions submitted by the listeners!

Joel and Steve (eventually) create a space in which they can hold space to honor each other's space - for the good of the Universe. Be sure to Like/Follow/Subscribe to and Review Joel and Steve wherever you listen to podcasts!  Follow on Instagram @TryingToBeBetterPodcast, email them at ttbbpodcast@gmail.com for a free, Limited Edition TTBBPodcast sticker!  (Please allow 6-8 weeks for delivery.)  #TootYourHooter  #ConvincedAboutGoose

Isabelle, Thierry, Pietro et moi sommes partis à vélo dans Paris. Notre destination : l'exposition Brancusi au Centre Pompidou. Cette balade à vélo fut l'occasion d'une belle traversée de Paris à l'aller. Mais qu'en est-il du retour ? Et de l'exposition ? Avons-nous fait une halte gourmande ? Découvrons la suite de nos enregistrements sur le vif. www.onethinginafrenchday.com

And so we come once again to a bit of downtime, as we wind up the first half of Season 3. It's just another minisode on the eve of the solstice, to let you know where things stand and what we've been up to, plus some of our plans when we return in six weeks, give or take. We're getting our schedule of recordings together and making plans for getting through some books we want to read, and thinking ahead to our Changeling 30th Anniversary celebration next year... but mostly we're looking forward to a bit of rest and relaxation. Thanks for your continued support, and keep an eye out for our return! In the meantime, stay up to date with our summery goings-on at: Discord: https://discord.me/ctp Email: podcast@changelingthepodcast.com Facebook: https://www.facebook.com/profile.php?id=100082973960699 Mastodon: https://dice.camp/@ChangelingPod Patreon: https://www.patreon.com/changelingthepodcast YouTube: https://www.youtube.com/@ChangelingThePodcast your hosts Josh Hillerup (any pronoun) will be spending the break perfecting that flan recipe. Flan for everyone! Flan for ever. Pooka G (any pronoun/they) is typing this from the other side of the planet, due to Secret Piskey Tendencies. Vacation is what you take when you can't take what you've been taking any longer. —The Cowardly Lion in The Wizard of Oz

I began with Executive Chef Kyle Timpson, who started out with aspirations to be a pastry chef. Sometime after graduating Atlantic Cape Community College, he found that challenging himself within a larger spectrum was appealing, and cultivated a space where he could continue to grow in the industry. Today, Executive Chef Timpson joined us to talk about the delicious steakhouse and beverage menus at SIN in Philadelphia, and what to look forward to in the coming weeks. (https://www.sinphiladelphia.com)I next spoke with Army Veteran, Cookbook Author, three-time Food Network winner and Executive Chef Kevin Cooper aka "Chef Steek." Chef Steek sat down with me to discuss how he began in the culinary world, what influenced his progression within the industry, and what it was like to not only appear on the Food Network, but also win and be able to open the Chicken Guy in King of Prussia. Chef Steek and I also dug into the menu items available at the Chicken Guy, along with some of the milkshakes too--have I mentioned how much of a sweet tooth I have? Well, you'll hear from both of us on what to bite (and sip) at his spot in the KOP Mall. (https://chickenguy.com)My final guest, Executive Chef Alex Tellez, joined Food Farms and Chefs to discuss Sor Ynes and all the delicious offerings on their menu; from scratch made tortillas to mezcal flights--Sor Ynes focuses on traditional Mexican ingredients and techniques to prepare their fresh and piquant menu. I know that I have my eye out on their "Shrimp Al Ajillo" with a mezcal tasting flight, and I'll save some room for dessert! Just keep your eyes peeled on their socials, as they're getting ready to change up the menu soon! Now that's a tasty treat to look forward to! (https://sorynez.com)

C'est un dessert de grand-mère qui fait son retour en grâce et revient sur la carte des plus grands chefs étoilés. On vous parle aujourd'hui du flan pâtissier avec Stéphane Glacier, artisan pâtissier à Bois-Colombes, Meilleur ouvrier de France.

C'est un dessert de grand-mère qui fait son retour en grâce et revient sur la carte des plus grands chefs étoilés. On vous parle aujourd'hui du flan pâtissier avec Stéphane Glacier, artisan pâtissier à Bois-Colombes, Meilleur ouvrier de France.

We read the papers so you don't have to. Today: Culture War-drobe. Common Sense minister Esther McVey sparks row over rainbow laywards. Freak in the (Excel) sheets. Should you have a spreadsheet for your love life? Plus – Past their sell-by date? The Telegraph investigates the OAPs taking over the food market with their artisanal treats. Rob Hutton is joined by journalist and host of the Good Bad Billionaire podcast Zing Tsjeng and comedy writer Jason Hazeley. Support Paper Cuts and get mugs, t-shirts and extended ad-free editions: back.papercutsshow.com Follow Paper Cuts: • Twitter: https://twitter.com/papercutsshow • Instagram: https://www.instagram.com/papercutsshow • TikTok: https://www.tiktok.com/@papercutsshow • Threads: https://www.threads.net/@papercutsshow Illustrations by Modern Toss https://moderntoss.com  Written and presented by Rob Hutton. Audio production: Simon Williams. Production. Liam Tait. Assistant Production: Adam Wright. Design: James Parrett. Music: Simon Williams. Socials: Kieron Leslie. Managing Editor: Jacob Jarvis. Exec Producer: Martin Bojtos. Group Editor: Andrew Harrison. PAPER CUTS is a Podmasters Production Learn more about your ad choices. Visit podcastchoices.com/adchoices

Bhi ana mhargadh do phortáin aige iascairí na dúichí seo sa tSín,ach tá bob buailte ag cogadh na h-Úcráine air an ngnó. Portáin na Rúise á sheoladh chun na Síne anois,agus an praghas titithe go tubaisteach.

This week we talk about optimizing the three wishes you get from a genie. Consumption: Mr. Pold - The A-Team St. Jimmy - Reptile, Five Nights at Freddy's, Black Swan D'Viddy - Indiana Jones and the Temple of Doom, Travelers season 2, James May: Our Man in India, A Fistfull of Charms Music Provided By: Greg Gibbs / Most Guitars Are Made of Trees Josh Woodward / Release So Cow / Girl Racer

Laurent Mariotte s'entoure de bons vivants pour une émission autour de la cuisine du quotidien : qu'ils soient chefs, artistes ou intellectuels, ils ont en commun cette passion du bien manger et la partagent pendant 1h30 avec les auditeurs d'Europe 1. Promenades gourmandes à travers les marchés et chez les producteurs, recettes simples et conseils proches des préoccupations des auditeurs... Le rendez-vous incontournable des gourmands !

Ju Chamalo, auteur de “Mes flans pâtissiers” et “Mes flans pâtissiers 2” aux éditions de la Martinière, est l'invité de Laurent Mariotte à La table des bons vivants. Il nous donne toutes ses astuces pour réussir le flan à la maison.

The Rev’d Ethan Magness, Rector

Correo Contacto: setsitime@gmail.com Grupo de Facebook: https://www.facebook.com/groups/11146... Tiktok: https://www.tiktok.com/@setsitime Facebook: https://www.facebook.com/SetsiTimePodcast/

The Phaaaantom of the opera is here, but not that Phantom because of legal reasons. It's a different creature that stalks Brian De Palma's, Phantom of the Paradise (1974). Join us as we tackle the plight of a disfigured man filled with revenge (but enough about Paul). Along the way Paul admits he'd sell out in a heartbeat, Colin wonders just what he'd sell his soul for, and we both talk about our love of a nifty split screen. 

DeVonn Francis is a chef, recipe developer, and events producer based in Brooklyn. His culinary events studio, Yardy World, has developed a cult following around vibrant, lush experiences rooted in Caribbean cuisine with some of the best vibes and playlists around, and now they're joining the CPG boom. It's a joy to have DeVonn in the studio to talk about his distinctive POV, starring in the second season of High on the Hog, his dream dinner party lineup, and more. Also on the show the return of three things, where Aliza and Matt go over some of the books, restaurants, and citrus fruits they are most excited about. This includes: Flan at Nenes Taqueria, al bap at AriAri, crispy shallots and fish roe from Ignacia Valdes pop-ups, Priya's Kitchen Adventures, PSA: The pomelos are hitting in NYC right now, Pizza Night: Deliciously Doable Recipes for Pizza and Salad.Do you enjoy This Is TASTE? Drop us a review on Apple, or star us on Spotify. We'd love to hear from you. MORE FROM DEVONN:Welcome to the DeVonn Francis Dinner Party Multiverse [TASTE]The 2021 Feel Good Food Plan [Bon Appetit]Yardy World [official]

At the end of November, friends of SP Newton Gallery hosted an exhibition of paintings and cartoons by American artist Stephen Tunney. Many of those in attendance likely had no idea that these disorienting, vivid, and fantastical images were made by the same Stephen Tunney behind the indie rock solo project Dogbowl. When Stephen plugged his guitar in to perform some of those songs, the image completed itself.   Indeed, Tunney has had a long and fascinating career, from playing guitar with cult band King Missile, recording with godhead of New York weird music Kramer, writing what has been called one of the "most disturbing novels ever written in" with a novel called Flan, to writing and playing songs as Dogbowl, it's a career that a two hour conversation couldn't possibly do justice to.    Nevertheless, Adam here is going to try... FULL EPISODE  LINKS Stephen Tunney Newton Gallery  

The Latent Space crew will be at NeurIPS on Tuesday! Reach out with any parties and papers of interest. We have also been incubating a smol daily AI Newsletter and Latent Space University is making progress.Good open models like Llama 2 and Mistral 7B (which has just released an 8x7B MoE model) have enabled their own sub-industry of finetuned variants for a myriad of reasons:* Ownership & Control - you take responsibility for serving the models* Privacy - not having to send data to a third party vendor* Customization - Improving some attribute (censorship, multiturn chat and chain of thought, roleplaying) or benchmark performance (without cheating)Related to improving benchmark performance is the ability to use smaller (7B, 13B) models, by matching the performance of larger models, which have both cost and inference latency benefits.Core to all this work is finetuning, and the emergent finetuning library of choice has been Wing Lian's Axolotl.AxolotlAxolotl is an LLM fine-tuner supporting SotA techniques and optimizations for a variety of common model architectures:It is used by many of the leading open source models:* Teknium: OpenHermes, Trismigestus, CollectiveCognition* OpenOrca: Mistral-OpenOrca, Mistral-SlimOrca* Nous Research: Puffin, Capybara, NousHermes* Pygmalion: Mythalion, Pygmalion* Eric Hartford: Dolphin, Samantha* DiscoResearch: DiscoLM 120B & 70B* OpenAccess AI Collective: Manticore, Minotaur, Jackalope, HippogriffAs finetuning is very formatting dependent, it also provides prompt interfaces and formatters between a range of popular model formats from Stanford's Alpaca and Steven Tey's ShareGPT (which led to Vicuna) to the more NSFW Pygmalion community.Nous Research MeetupWe last talked about Nous at the DevDay Recap at the e/acc “banger rave”. We met Wing at the Nous Research meetup at the a16z offices in San Francisco, where they officially announced their company and future plans:Including Nous Forge:Show NotesWe've already covered the nuances of Dataset Contamination and the problems with “Open Source” in AI, so we won't rehash those topics here but do read/listen to those if you missed it.* Axolotl GitHub and Discord* The Flan paper and dataset* StackLlama model and blogpost* Multipack paper* Our episode with Tri Dao* Mamba state space models - Tri Dao and Albert GuTimestamps* [00:00:00] Introducing Wing* [00:02:34] SF Open Source AI Meetup* [00:04:09] What is Axolotl?* [00:08:01] What is finetuning?* [00:08:52] Open Source Model Zoo* [00:10:53] Benchmarks and Contamination* [00:14:29] The Case for Open Source AI* [00:17:34] Orca and OpenOrca* [00:23:36] DiscoLM and Model Stacking* [00:25:07] Datasets and Evals over Models* [00:29:15] Distilling from GPT4* [00:33:31] Finetuning - LoRA, QLoRA, ReLoRA, GPTQ* [00:41:55] Axolotl vs HF Transformers* [00:48:00] 20x efficiency with StackLlama and Multipack* [00:54:47] Tri Dao and Mamba* [00:59:08] Roadmap for Axolotl* [01:01:20] The Open Source AI CommunityTranscript[00:00:00] Introducing Wing Lian[00:00:00] ​[00:00:00] swyx: Welcome to Latent Space, a special edition with Wing Lien, but also with our new guest host, Alex. Hello, hello. Welcome, welcome. Again, needs no introduction. I think it's like your sixth time on Latent Space already. I think so, yeah. And welcome, Wing. We just met, but you've been very prolific online. Thanks for having me.[00:00:30] Yeah. So you are in town. You're not local. You're in town. You're from Minneapolis?[00:00:35] Wing Lian: Annapolis. Annapolis. It's funny because a lot of people think it's Indianapolis. It's I've got Minneapolis, but I used to live out at least in the San Francisco Bay Area years ago from like 2008 to 2014. So it's fairly familiar here.[00:00:50] swyx: Yep. You're the maintainer of Axolotl now, which we'll get into. You're very, very prolific in the open source AI community, and you're also the founder of the Open Access AI Collective. Yeah. Cool. Awesome. Maybe we can go over a little bit of your backgrounds into tech and then coming into AI, and then we'll cover what[00:01:06] Wing Lian: happens and why you're here.[00:01:08] Yeah. So. Back on tech, so I started years ago, I started way back when I was scraping, Apartment websites for listings and then, and then building like SEO optimized pages and then just throwing Google AdSense on it.[00:01:24] And that got me through like college basically. Is[00:01:27] swyx: that decent money? And what year[00:01:28] Wing Lian: was this? Like 2004, 2005. Yeah, that's decent money. It's like thousand bucks a month. But as a college student, that's like. Gravy. Really good money, right? So, and then there's just too much competition It's just sort of like died off. I was writing stuff in like Perl back then using like like who nobody hosted anything on Perl anymore, right? Still did a little bit more like computer tech support and then software, and web more professionally.[00:01:54] So I spent some time working on applications in the blood industry. I came out to San Francisco for, I was at SGN, so Social Gaming Network, as a startup. They started doing, with Facebook apps, and then they pivoted into doing mobile apps. And then, from there, I spent time.[00:02:14] I've quite a few more startups since then and in the last few years I've been in the music space So like I was at United Masters for a while and then past year I've been at SoundCloud, but not doing that anymore and now that I have a lot more time It's just like all right.[00:02:30] We're going full bore on axolotl and we're gonna we're gonna crush AI So yeah,[00:02:34] SF Open Source AI Meetup[00:02:34] swyx: totally you so you're here in town for the open source. Yeah, I meet up that we had yesterday Yep, yeah, that was amazing. Yeah, it was a big collection. Olama, Noose Research, Alignment Lab, Anyone else that I missed? I mean, Jeremy Howard is his own thing.[00:02:47] Yeah.[00:02:49] And Alex, you're also there. You love to bring SF to the world. Your takes?[00:02:55] Alex Volkov: It's incredible that we recorded a Thursday Eye episode after that one. And LDJ, who's usually co hosts Thursday Eye, just like briefly mentioned, Oh yeah, I talked about it.[00:03:04] Like, I saw Karpathy, and then I talked to Jeremy Howard, and the guy from Mistral came in, and it's like, He's talking about all these, titans of industry, basically, that outside of SF, You just don't meet casually hanging out in the same space. You can't, pull somebody. He ran into the Laylow from Mistral, he ran into him while, drinking water.[00:03:20] He didn't even know he was there. It's just, that type of stuff is really hard to find outside of SF. So, absolutely, absolutely great. And also, presentations from Alignment Labs, presentations from News Research, news issues, talked about. Forge, and some of[00:03:33] swyx: the other stuff they announced. We can say now they're officially a company.[00:03:36] I met Technium.[00:03:37] He[00:03:37] Alex Volkov: came over here. He didn't want to get recorded. But maybe.[00:03:41] Wing Lian: We'll wear him down at some point. Yeah, I'm excited for Forge. They've positioned it as this agentic sort of framework where it's just Drag and drop things and, fill in text with where you want to inject different variables and it opens up all of these potentials for data pipelines now, right?[00:03:56] And using your own local LLMs and not relying on GPT 4 or anything like that. Yeah, yeah,[00:04:02] swyx: good stuff. Okay, so let's maybe go into the Axolotl origin story and then we have, we have some intro or background.[00:04:09] What is Axolotl?[00:04:09] swyx: To do on like the open source model universe and also on fine tuning, but maybe just, since you're talking about your personal journey, what was your personal journey into[00:04:18] Wing Lian: axolotl?[00:04:19] Yeah, so my personal journey started like back in mid March, completely unrelated to AI and axolotl. And it really started, I fell while skiing, I torqued. Great 3 MCL sprain and being sort of like an active person that can no longer be active because the two, couldn't play soccer, because that is requires to have having knees until I, it's healed.[00:04:42] So I. I decided I needed to find something to do to take up my free time. And that became, well, let's learn how to train in, these language models. It was everywhere. So I was like, all right, I'm just going to sit down, learn. I think I used like other, I think I was using like Alpacalora.[00:05:00] Cause I think the Alpaca paper had just came out, come out then. So I was like using Alpacalora repo and sort of like learning how to use like. None of us were like GPU rich back then, and none of us, most of us still we're still all GPU poor, but I was doing what was it, like 4 bit, Alpaca Lord, there was like a 4 bit version where we were doing quant, or 8, no, 8 bit quantizations, and then I think they had released QLOR a little bit later, and I think right when, before QLOR came out, I was already starting to do fine tunes, but having this need to sort of like mix data sets together, and If you've ever looked at all the various different datasets available on HuggingFace, they all have various different prompt formats, and, it's sort of a nightmare, and then I think the other piece is if you've ever tried to fine tune, at least Back then probably the ecosystem's a little better now.[00:05:54] Everybody required that you say, alright, you put your hyperparameters as command line arguments. And so it's always like, well, I now have to go copy and paste my previous thing and to change things out. And I really wanted it. to be in a YAML file because it was more portable and reproducible.[00:06:09] So I was doing that and then the QLOR paper came out. Tim Dettmer announced that and then somebody looked it up for me yesterday and it's like between that announcement it took us seven days to get that integrated into Axolotl, right? Which is like, it's not. I wouldn't say it's really fast, but in a manner that, is in a, a reusable framework, I think it was quite the accomplishment then.[00:06:33] And so we started, picking up traction with people there. And then it's just been building models, and then just iterating what my needs are. So, yeah. Excellent. Yeah. I[00:06:44] Alex Volkov: want to ask, for folks who are listening who never heard of Axolotl, now do you describe how you got there?[00:06:49] Can you, how do you summarize this for folks who maybe haven't fine tuned anything. They know about open source LLM exists, they maybe know like LLAML, what's XLR for somebody who doesn't know. I've never heard of a data set curation[00:07:01] Wing Lian: creation before. We sort of have to take a step back and understand that, when you've got these language models, you have what I think most people refer to as like base models, also known as like foundational models, right?[00:07:15] Where some benefactor, whether it's Meta or Mistral or whoever, has gone and spent all this money. To train these models on huge corpuses of text, right? And these, these corpuses, they're generally good across lots of different things, but they're really good at just saying, talking on and on and on, but they're not good at, following instructions or having chats or anything like that.[00:07:40] So, when you think about fine tuning, it's like Saying, all right, we have this really sort of good generalized, text completion thing, and I want to turn it into something that I can talk to or have, follow instructions. So, I think fine tuning is probably best defined in like that.[00:07:58] swyx: Okay, got it.[00:07:59] And we actually[00:08:01] What is finetuning?[00:08:01] swyx: Do want to make sure that we have like an overall introduction to fine tuning for people because again like trying to make sure that we bring everyone along in this, in this journey. We already went into Loras and QLoras without explaining what[00:08:12] Wing Lian: they are. Oh yes, yes, sorry.[00:08:14] swyx: And so I will put things in my words and you can correct me as, as, as my I'll be the village idiot here.[00:08:21] So, so fine tuning is basically sort of grabbing an open source model off the shelf, and then basically doing further training on it with a custom dataset of your own. Primarily, people use it, think about it as fine tuning for JSON output, or fine tuning for a style of response. Let's say you wanted to tell jokes, or be funny, or be short, or whatever.[00:08:43] Just the open source AI community has really fine tuned in all sorts of different manner. I think we'll go over those those things now. Let's go over those things now, and then we'll talk about fine tuning methods.[00:08:52] Open Source Model Zoo[00:08:52] swyx: So there's a universe of people who fine tune stuff. Yesterday in your slides, you had, I'll just list some of these and then we'll maybe go through some of them, right?[00:08:59] So Technium is personally leading Open Hermes, which is I think the sort of premier model out of the news. news community. There's OpenOrca, which you had a hand in. News, the news research itself also has Capybara and Puffin and all the others. There's Pygmalion, which I've never messed with.[00:09:14] Eric Hartford, I am aware of his Uncensored Models and his Samantha Models. Disco Research with Disco LM. And then you personally have done Manticore, Minotaur, Jackalope, and Hippogriff. What should people know about all these names? Being part of AI Twitter is seeing all these things and going dude, I'm being DDoS'ed by all these things and I don't know how different they are.[00:09:32] What should people know? Yeah, so[00:09:34] Wing Lian: I think on a lot of these models, generally, we like to think of those as sort of general models, so If you think about it, what is GPT 4, what is Chad GPT? It's a good general model, and then, One of the services I think that OpenAI offers is like these fine tunings where you're a business and you have very specific business use cases and you might fine tune for that use case.[00:10:00] All of these models are really just general use case that you can then go and maybe Fine tune another lore over it for your use cases, but they tend to be good. With good being relative, it's open source. Open source AI is still sort of is infancy. So, good is, it's pretty reasonable.[00:10:18] It's probably still better than most, high schoolers at answering questions and being able to like figure things out and, and reasoning skills and math and those sorts of things, right?[00:10:27] swyx: And also as measured on the Hugging[00:10:29] Wing Lian: Face leaderboard. Yes, well, that's like a whole other discussion, right, there's a whole other, group of people who, and I, I mostly agree with them that, benchmarks can be, are pretty bogus these days, LM says, I think they published something recently where, even if you think the dataset's not contaminated, you can go and, find contamination And maybe we should step back and say what contamination is, right?[00:10:53] Benchmarks and Contamination[00:10:53] Wing Lian: So we have all of these data, when you go and do these benchmarks, there's a specific data set where there are these questions and usually it's multiple choice. And what can happen is, well, sometimes someone It puts the question, maybe maliciously, maybe accidentally, into the training dataset, and now the, the, your model knows how to answer the test questions really well, but it doesn't, it hasn't generalized the ability to actually do that[00:11:20] Alex Volkov: right.[00:11:21] We've seen some folks competitively announce models that are like the best at that leaderboard, but then it's, it's quite obvious that, In open source? Yeah, and in that leaderboard, for Hugging Face specific, I don't know if LMCs, if that had suffered, but we, there's been some models that seem to have been competitively trained and some leakage happened into their,[00:11:41] swyx: like, supposal.[00:11:43] I understand, once there's been a credible assertion, Hugging Face actually does take them down, right? Yeah, yeah,[00:11:48] Alex Volkov: which is really hard to know, right?[00:11:50] swyx: It's really hard to know, sometimes it's like a pure accident,[00:11:52] Alex Volkov: it's oh, oops. You're going through a mixer. I think, a responsible So acknowledgement, that this kind of happened to you is also important.[00:11:58] I saw LDJ from news research can acknowledge that. Because many of these datasets are collections of other datasets. There's a bunch of people are baking, basically. It's alchemy. Right. And so sometimes you don't know. Sometimes you pull an open source dataset and they announce, oh, you know what, actually, the MMLU benchmark which we used to Specifically identify models that did go into this data set, that then went into that data set.[00:12:22] So sometimes it's actually an accident and folks take it down. But I've seen some competitive folks who want to put their name out there because people are starting to notice which is the top[00:12:30] swyx: model. For those who want a fun take on this so the file one dataset. FindOne model from Microsoft was accused of being contaminated.[00:12:37] And I saw this joke paper that was fantastic. It was called, training on the test set is all you need. It's a super small model that just memorizes everything. It was fantastic. So yeah, contamination, I think we've actually covered it in a previous episode before. So we're good. But again, I want to give people a map into the open source AI model, the universe.[00:12:57] And Alex, you can also jump in here because you guys have spent a lot more time with them than I have. So, what should people know about Technium? What should people know about Noose? And then we can go down the list. Yeah,[00:13:05] Wing Lian: I think so. I think if we start with, Technium. When you talk to him, he's gonna say, I think, I think his response is that he wants to build GP4 on his laptop, right?[00:13:14] So, very, very good at building general models. I think with Noose, Noose Research, they're looking at more, sort of, More, more research focused things, like their Yarn models, I don't, I don't, they didn't actually train their, they have their own trainer for their Yarn models, but So they did not use Xlato for that one?[00:13:30] They didn't use that, but like Is that, you don't have support for it? I think we do support Yarn, I think, I'd have to double check that answer. Yeah, I'm just kind of curious what you can and cannot support, and Yeah, I mean, Yarn is supportable, it's basically, I think it's just replacing, I think, the rope part of that, so Yeah, not, not a big deal.[00:13:48] Yeah, it's not a big deal, it's just I haven't gotten to it, not enough people have asked, I think a lot of people have asked for other things, so it's just, squeaky wheel, right? I think at the end of the day, people are like building these data sets and I think if you sort of map things chronologically, these make more sense because it's like, how do we incrementally improve all of these models?[00:14:07] So a lot of these models are just incremental improvements over the last thing, right? Whether it is sort of through methods of how do we, how did we curate the data set? How did we improve the quality of the data set? So, you maybe LDJ talked about it right on I think for, for Capybara and Puffin, like how those, those were very specific dataset curation techniques that he works on.[00:14:29] The Case for Open Source AI[00:14:29] Alex Volkov: So there's, folks are doing this for dataset curation. Folks are doing this for skillset building as well. Definitely people understand that open source is like very important, especially after the, the, the, the, the march, the debacle, the OpenAI weekend that we all had. And people started noticing that even after developer day in OpenAI, the APIs went out.[00:14:48] And then after that, the whole leadership of the company is swiftly changed and people, there was worries about, you know. How can people continue building AI products based on these like shaky grounds that turned attention definitely to Technium at least in open RMS I started seeing this more and more on Twitter, but also other models and many companies They're gonna start with open AI just to get there quick, and then they they think about okay Maybe I don't want to share my knowledge.[00:15:13] Maybe I don't want to sign up for Microsoft. Maybe they will change their terms and conditions so What else is out there? They turned to other companies. Up until yesterday, Google was nowhere to be found. We've talked about Gemini a little bit before in a previous And you can tune in[00:15:26] swyx: to[00:15:26] Alex Volkov: Thursday Eye.[00:15:26] Yeah, you can tune in to Thursday Eye. We covered the Gemini release a little bit. And but many are turning into the open source community and seeing that Meta released and continues to release and commit to open source AI. Mistral came out and the model is way smaller than LLAMA and performs Significantly better.[00:15:43] People play with OpenRMS, which is currently techniums based, news researched, sourced, axolotl trained OpenRMS, I assume, right? And then they play with this and they see that, okay, this is like GPT 3. 5 quality. We had GPT 4. 5 birthday just a week ago. A week ago, a year ago, a week ago, we never, interacted with these models of this caliber.[00:16:04] And now there's one open source, one that's on my laptop, completely offline, that, I can continue improving for my use cases. So enterprises, companies are also noticing this. And the open source community folks are building the skill set, not only the data sets. They're building the actual kind of, here's how we're going to do this, with Axelotl, with these data sets.[00:16:21] The curation pieces. Now. Interesting. There's like recipes of curation. The actual model training is kind of a competitive thing where people go and compete on these leaderboards that we talked about, the LMC arena, and that recently added open air and recently added open chat and a bunch of other stuff that are super cool.[00:16:37] The hug and face open source leaderboard. And so there's a competitive aspect to this. There's the open source. Aspect to this, like Technium says, I want GPT 4 on my laptop. There's the, let me build a skill set that potentially turns into a company, like we saw with Noose. Noose just, started organizing, a bunch of people on Discord, and suddenly, they're announcing their company.[00:16:54] It's happening across all these modalities, and suddenly all these people who saw these green pastures and a fairly quick way to, hey, here's a cool online community I can, start doing cool stuff with. You mentioned the same in the beginning, right? Like, after your accident, what's cool, let me try this out.[00:17:08] Suddenly I start noticing that there's a significant movement of interest in enterprising companies into these areas. And, this skill set, these data sets, and this community is now very Very important, important enough to create an event which pulls in Andrei Karpathy from OpenAI to come and see what's new Jeremy Howard, like the event that we just talked about, people are flying over and this is just a meetup.[00:17:28] So, definitely, the community is buzzing right now and I think Axelot is a big piece as well.[00:17:34] Orca and OpenOrca[00:17:34] Wing Lian: Cool. Maybe we can talk about like Orca real quick, Orca, OpenOrca rather, I think there was a lot of buzz when, the first Orca paper came out. And just briefly, what is Orca? Yeah, Orca was basically having traces of like chain of thought reasoning, right?[00:17:48] So they go and they, they distill sort of GPT 4. They take, they take a sampling of data from the Flan dataset. Maybe we can like add some show notes in the Flan dataset. Yeah, but we've covered it. Okay, cool. Use GPT 4 to say, all right, explain this in a step by step reasoning, right?[00:18:06] And then you take that and you, they train the model and it showed, very good improvements across a lot of benchmarks. So OpenOrca was sort of the open reproduction of that since Microsoft Research never released that particular data set. And going back to sort of the Hugging Face leaderboard thing, those models did really well.[00:18:23] And then I think, so sort of the follow up to that was SlimOrca, right? I think Going into and building the OpenOrca dataset, we never really went in and, validated the actual answers that GPT 4 gave us, so what we did was one from OpenChat actually cross referenced the original Flan, the original Flan response, the human responses, the correct answers with the dataset, and then I went and took it and sent all of, both of them to GPT 4 and said, is this answer mostly correct, right?[00:18:54] Yeah. And then we were able to filter the dataset from, At least of the GPT 4 only answers from like 800, 000 to like 500, 000 answers or rows and then, and then retrain the model and it had the same performance as the original model to within I think, 0. 1 percent here about, and 30 percent less data.[00:19:13] So, yeah. Okay.[00:19:15] swyx: Interesting. So, I mean, there's, there's so much there that I want to highlight, but yeah. Orca is interesting. I do want people to know about it. Putting chain of thought into the data set like it's just makes a ton of sense one thing I think it would be helpful for people to scope thing these things out is how much data are we talking about when when you When people are fine tuning and then how much time or resources or money does it take to train to fine[00:19:36] Wing Lian: tune?[00:19:37] Yeah, so I think there's a little bit of overlap there with sort of like fine tuning techniques, but let's say Orca and I think even Hermes, they're both relatively large data sets like 10 billion tokens. Yeah. So large data sets being or the original Orca was, or the original open Orca was 800,000 rows.[00:19:55] I believe it was somewhere in the ballpark of like a gigabyte of data, of gigabyte, of text data. And I, I don't. I believe, Hermes was, is like a quarter million rows of data, I don't know the actual byte size on that particular one. So, going and training a, let's, let's say everybody's training 7 billion Mistral right now, right?[00:20:15] So, to tri I, I believe to fine tune 7 billion Mistral on, let's say, 8 A6000s, which have 48 gigabytes of VRAM, I believe, It takes about 40 hours, so 40, and then that's, depending on where you get your compute, 40 times 6, so it's like 500 to fine tune that model, so, and, and that's assuming you get it right the first time, right?[00:20:44] So, you know.[00:20:45] swyx: Is, is that something that X. Lotto handles, like, getting it right the first[00:20:48] Wing Lian: time? If you talk to anybody, it's like you've probably tried at least three or four runs or experiments to like find the right hyperparameters. And after a while you sort of have a feel for like which, where you need your hyperparameters to be.[00:21:04] Usually you might do like a partial training run, do some benchmark. So I guess for Al Farouk, whether you're going by his. This is Jeremy, he's, his actual name, or his twitter handle. He released the Dharma dataset, which is basically a subset of all the benchmarks. And Axolotl actually supports, you know taking that subset and then just running many benchmarks across your model every time you're doing an evaluation so you can sort of like see sort of relative it's not going to be the actual benchmark score, but you can get ideas alright, is this benchmark improving, is this benchmark decreasing, based on, you know Wait,[00:21:39] swyx: why don't you run the full benchmark?[00:21:41] What, what, what The[00:21:42] Wing Lian: full benchmarks take Take a long time. Significant, yeah, significant amount of time. Yeah. And Okay, so that's like[00:21:48] swyx: mini MMLU. Yeah. Like,[00:21:49] Wing Lian: mini BigBench or whatever. Yep, exactly.[00:21:51] Alex Volkov: It's really cool. We, when I joined Web2Masters just recently, and one of the things that I try to do is hey I'm not, I'm a software engineer by trade, I don't have an MLE background, But I joined a company that does primarily MLE, and I wanted to learn from the community, Because a lot of the open source community, they use weights and biases, And the benchmark that you said that Pharrell did, remind me of the name, sorry.[00:22:13] Dharma? Dharma, yeah, yeah. So Luigi showed me how Dharma shows inside the dashboard. In Wi and Biases dashboard and so you can actually kinda see the trending run and then you can see per each kind of iteration or, or epoch or you can see the model improving trending so you can on top of everything else.[00:22:29] The wi and biases gives like hyper parameter tracking, which like you, you started with common line and that's really hard to like remember. Also the Dharma data set, like the quick, the mini orca mini, you mini many different things. It's pretty cool to like visualize them as well. And I, I heard that he's working on a new version of, of Dharma, so Dharma 2, et cetera.[00:22:47] So hopefully, hopefully we'll see that soon, but definitely it's hard, right? You start this training around, it said like 40, 50 hours. Sometimes, sometimes it's like your SSHing into this machine. You, you start a process, you send it with God and you just go about your day, collecting data sets, and then you have to return.[00:23:04] And the whole process of instrumentation of this is still a little bit like squeaky but definitely. Tuning performance, or like grabbing performance in the middle of this, like with Dharma and some other tools, is very helpful to know that you're not wasting precious resources going somewhere you shouldn't go.[00:23:21] Yeah.[00:23:22] swyx: Yeah. Very cool. Maybe I'll, I'll, before we go into like sort of more details on fine tuning stuff, I just wanted to round out the rest of the Excel autoverse. There's, there's still Eric Hartford stuff. I don't know if you want to talk about Pygmalion, Disco, anything that you know about[00:23:35] Wing Lian: those, those things.[00:23:36] DiscoLM and Model Stacking[00:23:36] Wing Lian: Yeah, I think like one of the, definitely one of the more interesting ones was like the Disco 120b, right? Yeah, I know nothing about it. Yeah. So, so. Alpen from Pygmalion AI, right, so they, so Pygmalion is a sort of a, it's, it's, they have their own community, a lot of it is based around, roleplay models, those sorts of things, and Alpen, like, put together, merged together Llama270B, so, and Alpen, like, put together, merged together Llama270B, so, I don't remember how he stacked them together, whether he merged the layers in between. There's a whole, there's a whole toolkit for that by Charles Goddard, where you can like take a single model and like stack them together or multiple models merge.[00:24:18] That's like a whole other talk and a whole other tool set, but was able to create this 120. Billion parameter model out of a LAMA two 70 B. And then I believe the, yeah, disco is a fine tune of, of the, the, the sort of the base one 20 B is, I believe Goliath one 20 B. So, and, and what are the[00:24:37] swyx: headline results that people should know about[00:24:39] Wing Lian: disco?[00:24:39] I think for the headline results, I, I've, I haven't played with it personally because it's. It's a very large model and there's a lot of GPU, right? But, like, from what I've heard anecdotally, it performs really well. The responses are very good. Even with, like, just, even the base model is a lot better than, Llama70b.[00:24:57] So, and we, I think generally everybody's like, we would all love to fine tune Llama70b, but it's just, it's so much, it's so much memory, so much compute, right?[00:25:07] Datasets and Evals over Models[00:25:07] Wing Lian: I[00:25:07] Alex Volkov: want to touch on this point because the interesting thing That comes up out of being in this ecosphere and being friends with open source folks, tracking week to week state of the art performance on different models.[00:25:19] First of all, a lot of the stuff that the folks do a couple of weeks ago, and then something like Mistral comes out, and a lot of the stuff back then, Doesn't technically make sense anymore. Like the artifacts of that work, the actual artifacts, they don't no longer make sense. They're like lower on the on, on the hug and face leaderboard or lower on LM CS leaderboard.[00:25:36] But some of the techniques that people use, definitely the datasets. The datasets keep traveling, right? So open airmen, for example, is the dataset. The tum cleaned up for only. Open sourceable data that previously was just Hermes. And that, it was previously used to train Lama. And then once Mistral came out, it was used to train Mistral.[00:25:54] And then it became significantly better on the 7b base Mistral. So the data sets keep traveling, keep getting better a little bit here and there. And so the techniques improve as well. It looks like both things are simultaneously true. The artifacts of a month and a half ago. The, the actual models themselves, it's great the hug and face has them, because not every company can keep up with the next weeks', oh, I, I'll install this model instead, sell this model instead.[00:26:19] But the, the techniques and the, the dataset keep improving as we go further, and I think that's really cool. However, the outcome of this is that for a long time. For many, many people, including us, that we do this every week. We literally talk with people who release these models every week. It's really hard to know.[00:26:36] So, there's a few aspects of this. One, I think, like you said, the bigger model, the 70B models, you actually have to have somebody like Perplexity, for example, giving you access to the 70B really fast. Or you have to, like, Actually, find some compute, and it's expensive, especially for the bigger models. For example Falcon 180B came out, like the hugest open source model.[00:26:56] How do you evaluate this if you can't run it? Nobody liked it. It's really, so first of all, nobody liked it, but secondly, only the people who were able to find compute enough to run inference on this, they only had like, I can't run this on my laptop, and so that's why it's much easier, something like OpenRMS 7 to be, 7B, it's much easier, because you can run this on your MacBook.[00:27:14] It's much easier to evaluate. It's much easier to figure out the vibes, right? Everybody talks about the vibes as an evaluation check. If you're plugged in enough, if you follow the right people, if they say pretty much the same things all independently, then you run into a problem of whether they're repeating, and their stochastic parents are repeating the same thing, or they actually evaluated themselves.[00:27:31] Yeah, you never know. But, you never know, but like, I think on a large enough scale on Twitter, you start getting the feel. And we all know that like, OpenRMS is one of the top performing models, benchmarks, but also vibes. And I just wanted to highlight this vibes checks thing because you can have the benchmarks, you can have the evaluations, they potentially have contamination in them, potentially they not necessarily tell you the whole story because some models are good on benchmarks, but then you talk to them, they're not super helpful.[00:28:00] And I think it's a combination of the benchmarks, the leaderboards, the chatbot, because LMSys, remember, their ranking is not only based on benchmarks, it's also people playing with their arena stuff. People actually like humans, like, get two answers. I think they completely ignore benchmarks. Yeah, and then They only do ELO.[00:28:18] Oh, they do ELO completely, right? So that, for example, is just like people playing with both models and say, Hey, I prefer this one, I prefer that one. But also there's like some selection bias. The type of people who will go to LMCs to play with the models, they're a little bit specific in terms of like who they are.[00:28:33] It's very interesting. There's so many models. People are doing this in this way, that way. Some people are doing this for academic rigor only to test out new ideas. Some people are actually doing this like the Intel fine tunes of Mistral. Intel wanted to come out and show that their hardware approach is possible, Mistral, etc.[00:28:51] And it's really hard to know, like, what to pick, what to use. And especially on the bigger models, like you said, like the Llama 70B, the Falcon 180B. It's really because, like, who has the compute to validate those? So I would mention that, like, use with caution. Like, go and research and see if the biggest model that just released was actually worth the tokens and the money you spend on it.[00:29:12] To try and, if you're a business, to integrate it.[00:29:15] Distilling from GPT4[00:29:15] swyx: Since you said use of caution, I'll bring in one issue that has always been in the back of my mind whenever I look at the entire universe of open source AI models, which is that 95 percent of the data is derived from GPC 4, correct?[00:29:30] Which technically you can't use for commercial licenses,[00:29:34] Wing Lian: right?[00:29:35] swyx: What is the community's stance on this kind of stuff?[00:29:40] Wing Lian: I think from the community stance, like I feel like a lot of us are just experimenting, so for us, it's like, we're not going and building a product that we're trying to sell, right?[00:29:49] We're just building a product because we think it's interesting and we want to use it in our day to day lives, whether or not we try and integrate it. Personal use, yeah. Yeah, personal use, so like, as long as we're not selling it, yeah, it's fine. But[00:30:01] swyx: like, I as a company cannot just take OpenHermes and start serving[00:30:05] Alex Volkov: it and make money on it.[00:30:06] OpenHermes you can. Because the opening of OpenHermes, I think, is a clean up. That did after the regular Hermes, please folks, check your licenses before you listen to podcasts and say, Hey, I will tell you though, you could say the same thing about OpenAI. You could say the same thing kind of makes sense, where OpenAI or StabilityAI trains their diffusion model on a bunch of pictures on the internet, and then the court kind of doesn't strike down Sarah Silverman, I think, or somebody else, who came and said, hey, this has my work in it, because of the way how it processes, and the model eventually builds this knowledge into the model, and then it doesn't actually reproduce one to one what happened in the dataset.[00:30:45] You could claim the same thing for open source. Like, we're using And by we, I mean the, the open source community that I like happily report on uses GPT 4 to rank, for example, which is the better answer you, you, that's how you build one, one type of data set, right? Or DPO or something like this, you, you basically generate data set of like a question and four answers, for example, and then you go to GPT 4 and say, Hey, smartest model in the world right now, up to Gemini Ultra, that we should mention as well.[00:31:11] Which one of those choices is better? But the choices themselves are not necessarily written with GPT 4. Some of them may be, so there's like full syntactic datasets. But there's also, datasets are just ranked with GPT 4. But they're actually generated with a sillier model, or like the less important model.[00:31:25] The lines are very blurry as to what type of stuff is possible or not possible. And again, when you use this model that's up on Hug Face, the license says you can use this. OpenAI is not going to come after you, the user. If anything, OpenAI will try to say, hey, let's prevent this, this type of thing happening, and the brain, but I honestly don't think that they could know even, not that it makes it okay, it's just like, They also kind of do this with the Internet's archive, and also, I think that some of it is for use.[00:31:55] You use models to help you augment tasks, which is what GPT 4 lets you do.[00:32:00] swyx: Yeah, the worst thing that OpenAI can do is just kick you off OpenAI. That's because it's only enforced in the terms of service.[00:32:05] Alex Volkov: Sure, but just like to make sure, to clarify who they're going to kick out, they could kick out like News, for example, if news are abusing their service, a user of the open source, fully Apache 2 open source, for example, They won't get kicked out if they use both, just because they use both.[00:32:22] I don't believe so. I don't think OpenAI has a claim for that.[00:32:25] swyx: Well, we're not lawyers, but I just want to mention it for people to know it's an issue.[00:32:30] Wing Lian: And one of the things, like, I talked to someone recently, and I think that they also are like interested in it, but also to the point of like, right, if I use a model trained on data, using GPT for data, But I use that model to then regenerate new data.[00:32:46] Is that model, is that data okay? So like you start going down this whole rabbit hole. So yeah. All right.[00:32:53] swyx: Fantastic. Cool. Well, I think that's roughly highlights most of the open source universe. You also have your own models. Do you want to shout out any one of them? Yeah.[00:33:01] Wing Lian: I mean, I think like, I think Early on, Manicore got a lot of love.[00:33:04] I think it was mostly popular in, like, the roleplay communities. It was, it tended to be pretty truthful. It tended to be, like, have relatively good answers, depending on who you ask, right? But, I think for me, it was just, Releasing models was a way to try and, like, continue to build out the product, figure out what I needed to put into the product, how do I make it faster, and, if you've got to, like, go and debug your product, you may as well have it do something useful.[00:33:29] Awesome. So, yeah.[00:33:31] Finetuning - LoRA, QLoRA, ReLoRA, GPTQ[00:33:31] swyx: Okay, and then maybe we'll talk about just fine tuning techniques. So this is going to be a little bit more technical than just talking about model names and datasets. So we started off talking about LoRa, QLoRa. I just learned from your readme there's ReLoRa. Which I've never heard about.[00:33:45] Could you maybe talk about, like, just parameter efficient fine tuning that whole, that[00:33:50] Wing Lian: whole journey, like, what people should know. Yeah, so with parameter efficient fine tuning, I think the popular ones, again, being, let's, we'll start with lore, right? So, usually what you do is you freeze all the layers on your base, on the base model, and then you, at the same time, you sort of introduce additional Oh, this is tight.[00:34:08] No. You introduce, another set of layers over it, and then you train those, and it is done in a way that is mathematically possible, particularly with LORs that you can, then you, you, When you, when you train the model, you, you run your inputs through the base model, whose weights are frozen, but you, then you also run it through the additional weights, and then at the end you combine the weights, and then, and then, or you combine the weights to get your outputs, and then at the end, and when you're done training, you're left with this other set of weights, right, that are completely independent, and And then from that, what you can do is, some person smarter than I figured out, well, oh, they've done it in such a way that now I can merge these weights back into the original model without changing the architecture of the model, right?[00:35:03] So, so, that tends to be, like, the go to, and You're training much fewer parameters so that when you do that, yes, you still need to have all of the original weights, but you have a smaller gradient, you have a smaller optimizer state, and you're just training less weights, so you can tend to train those models on, like, much smaller GPUs.[00:35:27] swyx: Yeah. And it's roughly like, what I've seen, what I've seen out there is roughly like 1 percent the number of parameters that you're trading. Yeah, that sounds about right. Which is that much cheaper. So Axelotl supports full fine tune, LoRa, QLoRa,[00:35:40] Wing Lian: Q. Yes. So, so QLoRa is, is very similar to LoRa. The paper was, if I remember correctly, the paper was Rather, traditionally, most people who did Loras were, were, they were quant, they were putting the model weights in 8 bit, and then fine tune, parameter efficient fine tuning over the Lora weights, and then with QLora, they were quantizing all of those, they were then quantizing the weights down to 4 bit, right, and then I believe they were also training on all of the linear layers in the model.[00:36:15] And then with ReLore, that was an interesting paper, and then, I think, like, it got implemented. Some people in the community tried it, tried it out, and it showed that it didn't really have the impact that the paper indicated that it would. And from what I was told recently, that they re I guess they re released something for Relora, like, a few weeks ago, and that it's possibly better.[00:36:44] I personally haven't had the time. What was the[00:36:46] swyx: main difference,[00:36:47] Wing Lian: apart from quantization? I don't know. Okay. What was the main difference, sorry?[00:36:49] swyx: Apart from quantization, right? Like,[00:36:50] Wing Lian: Qlora's thing was, like, we'll just drop off some bits. With Relora, what they did was, you would go through, you would define some number of steps that you would train, like, your Lora with, or your Qlora.[00:37:01] Like, you could do Like, ReqLore, if you really wanted to, you would, you would train your LoRa for some number of steps, And then you would merge those weights into your base model, and then you would start over. So by starting, so, then by starting over, The optimizer has to find, like, sort of, re optimize again, and find what's the best direction to move in, and then do it all again, and then merge it in, do it all again, and theoretically, according to the paper, doing ReLore, you can do parameter efficient fine tuning, but still have sort of, like, the performance gains of doing a full fine tuning, so.[00:37:38] swyx: Yeah, and[00:37:39] Wing Lian: GPTQ? And GPTQ, so it's, I think with GPTQ, it's very similar to, more similar to QLore, where you're, it's mostly a quantization of the weights down to like 4 bit, where GPTQ is a very, is a specific methodology or implementation of quantization, so. Got it.[00:37:57] Alex Volkov: Wang, for, for folks who use Axolotl, your users, some people who maybe, Want to try it out?[00:38:03] And do they need to know the differences? Do they need to know the implementation details of QLora versus ReLora? Or is it okay for them to just know that Axolotl is the place that already integrated them? And if that's true, if that's all they need to know, how do they choose which method to use? Yeah,[00:38:22] Wing Lian: so I think like, I think most people aren't going to be using ReLora.[00:38:25] I think most people are going to be using either Lora or QLora. And I think they should have it. They should have an understanding of why they might want to use one over the other. Most people will say that with Qlora, the quality of the final model is not quite as good as like if you were to do a LoRa or a full fine tune, right?[00:38:44] Just because, you've quantized these down, so your accuracy is probably a little off, and so that by the time you've done the Qlora, you're not moving the weights how you would on a full fine tune with the full parameter weights.[00:38:56] Interesting.[00:38:57] swyx: Okay, cool. For people who are more interested, obviously, read the papers. I just wanted to give people, like, a high level overview of what these things are. And you've done people a service by making it easy for people to try it out. I'm going to, I'm going to also ask a question which I know to be wrong, but I'm curious because I get asked this all the time.[00:39:15] What is the difference between all these kinds of fine tunes[00:39:17] Wing Lian: and RLHF? Okay, between all of these sorts of fine tunes and RLHF. So all of these sorts of fine tunes are based, are, ideally, this, they are taking knowledge that the base model already knows about, and presenting it in a way to the model that you're having the model answer like, Use what it already knows to sort of answer in a particular way, whether it's, you're extracting general knowledge, a particular task, right?[00:39:44] Instruct, tune, chat, those sorts of things. And then generally with RLHF, so what is, let's go back, what is it? Reinforcement Learning with Human Feedback. So if we start with the human feedback part, What you're doing is you generally have, you have like a given prompt and then you, maybe you have one, maybe you have two, I think, like if you look at with Starling, you have like up to what, seven different, seven different possible responses, and you're sort of ranking those responses on, on some sort of metric, right, whether the metric is how much I, I might like that answer versus or I think with like starling is like how how how helpful was the answer how accurate was the answer how toxic was the answer those sorts of things on some sort of scale right and then using that to go back and like sort of Take a model and nudge it in the direction of giving that feedback, to be able to answer questions based on those preferences.[00:40:42] swyx: Yeah, so you can apply, and is it commutative? Can you apply fine tuning after and onto an RLHF model? Or should the RLHF apply, come in afterwards,[00:40:54] Wing Lian: after the fine tune? Um, I, yeah, I don't know that there's There's been enough research for one way or another, like, I don't know.[00:41:02] That's a question that's been asked on Discord. Yeah, like, I definitely would say I don't know the answer. Go and try it and report back to me and let me know so I can answer for the next guy.[00:41:10] swyx: It's shocking how much is still unknown about all these things. Well, I mean, that's what research is for, right?[00:41:16] Wing Lian: So actually I, I think I saw on the top of a leaderboard, it was a, it was a mytral base model, and they didn't actually fine tune it. They, or they, they just did RLH, they did like an RLHF fine tune on it using like, I don't, I don't recall which dataset, but it was like, and it benchmarked really well.[00:41:37] But yeah, you'd have to go and look at it. But, so it is interesting, like going back to that, it's like. Traditionally, most people will fine tune the model and then do like a DPO, PPO, some sort of reinforcement learning over that, but that particular model was, it seemed like they skipped like the supervised fine tuning or Scott.[00:41:55] Axolotl vs HF Transformers[00:41:55] swyx: Cool. One thing I did also want to comment about is the overall, like, landscape, competitive landscape, I don't know. Hugging Face Transformers, I think, has a PFT module.[00:42:05] Wing Lian: Yeah, yeah, the PEFT, the Parameter Efficient Fine Tuning, yep. Is that a competitor to you? No, no, so we actually use it. We're just a wrapper over sort of, sort of the HuggingFace stuff.[00:42:15] So, so that is their own sort of module where They have, taken the responsibility or yeah, the responsibility of like where you're doing these parameter efficient fine tuning methods and just sort of like, it is in that particular package where transformers is mostly responsible for sort of like the modeling code and, and the trainer, right.[00:42:35] And then sort of, there's an integration between the two and, there's like a variety of other fine tuning packages, I think like TRL, TRLX, that's the stability AI one. Yeah, I think TRL likes the stability, yeah, Carper, and TRL is a hugging face trainer. Even that one's just another wrapper over, over the transformers library and the path library, right?[00:43:00] But what we do is we have taken sort of those, yes, we've We also use that, but we also have more validation, right? So, there are some of us who have done enough fine tunes where like, Oh, this and this just don't go together, right? But most people don't know that, so like Example?[00:43:19] Like, people want to One and one doesn't go together. I don't have an example offhand, but if you turn this knob and this knob, right? You would think, all right, maybe this will work, but you don't know until you try. And then by the time you find out it doesn't work, it's like maybe five minutes later, it's failed.[00:43:34] It's failed in the middle of training or it's failed during the evaluation step. And you're like, ah, so we've, we've added a lot of, we've added a lot more validation in it. So that like, when you've, you've created your configuration, you run it through and now you say. The validation code says this is probably not right or probably not what you don't, not what you want.[00:43:52] So are you like a, you[00:43:53] swyx: do some linting of your YAML file?[00:43:56] Wing Lian: There, I guess you could call it linting, it's sort of like Is there a set of rules out[00:44:00] swyx: there somewhere? Yeah, there's a set of rules in there. That's amazing, you should write documentation like This rule is because, this user at this time, like, ran into this bug and that's what we invested in.[00:44:10] It's like a good collection[00:44:11] Wing Lian: of knowledge. Yeah, it is, and I guess like, if you really wanted to, like, figure it out, I guess you could, like, git blame everything, and But, yeah, it's, so, I think that's always a useful thing, it's like Because people want to experiment but they don't, people will get frustrated when you've experiment, you're experimenting and it breaks and you don't know why or you know why and you've just gone down the rabbit hole, right?[00:44:37] So, so I think that's one of the big features that's, that I think I find important because it's It prevents you from doing things you probably shouldn't have, and it, and sometimes we will let you do those things, but we'll try and warn, warn you that you've done that.[00:44:50] I[00:44:51] Alex Volkov: have a follow up question on this, actually, because yesterday we hung out to this open source event, and I spent time by you a couple times, like when people told you, oh, XLR, I use XLR, it's super cool, and then the first thing you asked is, like, immediately, like, what can we improve?[00:45:04] And yes, from multiple folks, and I think we talked about this a little bit, where there's It's a developer tool. It's like a machine learning slash developer tool. Your purpose in this is to help and keep people, as much as possible, like, Hey, here's the best set of things that you can use right now. The bear libraries are, or the bear trainer, for example, is a bear trainer.[00:45:28] And also, maybe we should talk about how fast you're implementing these things. So you mentioned the first implementation took a week or so. Now there's a core maintainer group, right? There's like, features are landing, like Qlora, for example. Neftune, I don't know if that's one example of something that people potentially said that it's going to be cool, and then eventually, like, one of those things that didn't really shake out, like, people quickly tested this out.[00:45:48] So, there's a ton of Wait, Neftune is cancelled? I don't know if it's fully canceled, but based on vibes, I heard that it's not that great. So like, but the whole point that I'm trying to make with Neftune as well is that being existing in the community of like XLR or like, I don't know, even following the, the GitHub options or following the Discord, it's a fairly good way to like, learn these, Kind of gut feelings that you just, you just said, right?[00:46:14] Like where this, maybe this knob, that knob doesn't work. Some of these are not written down. Some of these are like tribal knowledge that passes from place to place. Axel is like a great collection of many of them. And so, do you get That back also from community of folks who just use, like, how do you know who uses this?[00:46:30] I think that's still an issue, like, knowing if they trained with XLR or should they add this to things? Talk about, how do you get feedback and how else you should get feedback?[00:46:38] Wing Lian: Yeah, I mean, most of the feedback comes from the Discord, so people come in and , they don't get a training running, they run into, like, obscure errors or, errors that That's a lot of things that maybe, maybe as a product we could catch, but like, there's a lot of things that at some point we need to go and do and it's just on the list somewhere.[00:46:58] Right that's why when people come up, I'm like, what, what were your pain points? Because like, as a developer tool, if you're not happy with it, or you come in and in the first, Takes you 30 minutes and you're still not happy. You leave the tool and you may, you might move on maybe to a better tool, maybe to, one with less frustration, but it may not be as good, right?[00:47:17] So I'm trying to like, figure out, all right, how can I reduce all this frustration? Because like for me, I use it every day for the most part, right? And so I am blind to that, right? Mm-Hmm. . Mm-Hmm. . I just know, I, I go do this, this, and this. It pretty much mostly works, right? But, so I don't have sort of that, alright, that learning curve that other people are seeing and don't understand their pain points.[00:47:40] Yeah,[00:47:40] Alex Volkov: you don't have the The ability to onboard yourself as a new user completely new to the whole paradigm to like get into the doors of like, Oh, no, I don't even know how to like ask about this problem or error.[00:47:53] swyx: Cool. The last few things I wanted to cover was also just the more advanced stuff that you covered yesterday.[00:48:00] 20x efficiency with StackLlama and Multipack[00:48:00] swyx: So I'll just, caution this as like, yeah, this is more advanced. But you mentioned Stackllama and Multipack. What are they[00:48:06] Wing Lian: and what should people know? Yeah, so, so, Stack Llama was, that paper came out, so Stack Llama I think was like, two, two, two separate, two separate concepts that they announced, so the first one was They being hugging face.[00:48:20] Yeah, sorry, yes, they being hugging face, so the first one being sort of like, this idea of packing, like some packing sequences together, so like, if we think about training data, right, your training data is, let's say, to keep the math easy, let's say your training data is 500, We, we, we, we will use the terminology words.[00:48:39] Let's say your training data is 500 words long, and let's say your, your context length, you know how much data your, that your model can accept is like, or that you want feed into your model. It's, let's say, we won't use tokens again, we'll we'll use it is it's 4,000 tokens, right? So if you're training at 4K Con or four 4,000 4K contacts and you're only using 500 of it, you're sitting like with the other 1500.[00:49:05] 3, 500 words that you're not using, right? And typically that's either filled with these PAD tokens, so I think I made the analogy last night that it's like having sort of like a glass here you fill it up with a shot of liquor and then you're and that's your training data and then you just fill it up with more water and those are your PAD tokens and it's just, it doesn't do much, right?[00:49:27] It's still the same thing, but you still have to go through all of that to go through all your training data. And then, so what Stack Llama showed was you could just sort of take your training data, append the next row of training data until you filled that entire 4k context, so in this example, right, with 500 words to 4k, that's 8 rows of training data.[00:49:48] But, the problem with that is, is that with a lot of these transformer models, they're very much relying on attention, right? So, like, if you now have this sequence of words that now, in order for the, the model has seen all of these other words before, right? And then it sees another set of words, another set of words, but it's learning everything in context of all the words that it's seen before.[00:50:13] We haven't corrected the attention for that. And just real quickly, since I said that that paper was two concepts, the other one was, I believe it was like a reinforcement learning, but outside the scope of this. So going from that, I implemented that early on because I was like, Oh, wow, this is really great.[00:50:29] And. Yes, because it saves you a bunch of time, but the trade off is a little bit of accuracy, ultimately, but it still did pretty well. I think when I did Manicore, I think it used sort of that concept from Stack Llama of just sort of appending these sequences together, right? And then sort of the next evolution of that is Multipack, right?[00:50:51] So, there was a separate paper on that, it was, I believe it was referenced, it got referenced in the Orca paper, where you could, you could properly mask those out using like a, I think it was like a lower block triangular attention mask, and then sort of, so, So, there's that. I did try implementing that, manually recreating that mask, but then one from the OpenChat, so he was helping with OpenOrca as well, and he had done an implementation of Multipack, and where he used FlashAttention, so FlashAttention So that was released by TreeDAO, and it was this huge performance gain.[00:51:35] Everybody uses it now, even the Transformers library now, they've taken all of these, like, people are taking all of these models and sort of like, making it compatible with FlashAttention. But in Flash Tension, there is one particular implementation that lets you say, Well, I'm sending you all of these sequences like you would in Stack Llama, But let me send you another, another, Set of information about, this is where this set of sequences is, this is where the second set of sequences is.[00:52:06] So like, if it was like, 500 words long, and you stacked them all together, you would just send it a row of information that was like, 0, 500, 1000, 1500, etc, etc, out to 4000. And it would know, alright, I need to break this up, and then run the forward pass with it. And then it would be able to, and it was much more, much more performant.[00:52:29] And I think you end up seeing like 10x, 20x improvements over sort of, I mean, I think FlashAttention was like a 2x improvement, and then adding that with the Multipack, you start to see like, depending on, how much data you have, up to like a 20x improvement sometimes. 20x. 20x. Wow. Yeah.[00:52:48] And I only know the 20x because I, like, before last night, I was like, I re ran the alpaca, I looked up the alpaca paper because it was like, I just need a frame of reference where somebody did it, and I think they used eight A100s for three hours, and they said it cost them 100. I don't, I don't think eight A100s cost, I don't know how much it costs right now.[00:53:14] But I ended up rerunning it. Usually a dollar an hour, right? Yeah, so eight. The cheapest is like a[00:53:18] Alex Volkov: dollar, a dollar an hour for one.[00:53:20] Wing Lian: Yeah, so that's still like 24, 25. But maybe if you're going on Azure, maybe it's like, maybe it's 100 on Azure. I mean, it used to be more expensive, like, a year ago.[00:53:31] Yeah, and then, so I re ran it with sort of like, I turned on all of the optimizations just to see what it would be. And like, and usually Multipack is the biggest optimization, so Multipack with Flash Detention. And it, I think I spun it up on 8 L40s, and it ran, and I didn't let it run all the way through, I just grabbed the time, the estimated completion time, and it was like 30 minutes, so it would have cost like 4 or 5 to run the entire, like, reproduce the alpaca paper, right?[00:54:00] Which is crazy. It's crazy. 20x,[00:54:02] Alex Volkov: yeah. I want to ask about, like, you said you turned on all the optimization. Is that the yaml file with xlodl, you just go and like check off, like, I want this, I want that? Yeah, yeah,[00:54:10] Wing Lian: so there's like one particular yaml file in there, That, there's one particular YAML file in there that's like, it's under examples, llama2, fft, optimize.[00:54:20] So, I think someone had created one where they just turned, they put in all of the optimizations and turned them on. I mean, it actually, it does run, which is like, sort of surprising sometimes, because sometimes, you optimize this, optimize this, and sometimes they just don't work together, but, yeah.[00:54:36] Just turn the knobs on, and like, fine tuning should really just be that easy, right? I just want to flip the knob and move on with my life and not figure out how to implement it.[00:54:47] Tri Dao and Mamba[00:54:47] Alex Volkov: Specifically, the guy behind FlashAttention came up with something new. You want to talk about this a little bit? You want to briefly cover Mamba?[00:54:53] Yeah, let's talk about Mamba. Let's talk about Mamba. So, what is Mamba?[00:54:57] Wing Lian: Oh, gosh. I

In this special post-BlizzCon podcast, we discuss the surprising and not-so-surprising news from BlizzCon 2023 this weekend. From a triple expansion announcement for WoW to a holiday Diablo 4 event and expansion to WoW Classic Cataclysm to a new Classic server with a twist dubbed Season of Discovery and more! Joining Matt, Joe, and Liz are Blizzard Watch staffers Rachelle, Sara, Flan, Cory, and Nick, many of whom were on the ground at the con.

Hola mi gente, welcome to the  “The Aguacate Chronicles”, I'm your host Giraldo Luis Alvaré. Gracias for listening. Last episode, Renata and I left you wanting more with all things platanos. I mean who doesn't like tostones, maduros, mofongo and then switching it to the versatility of arroz. You can add cornmeal and a fried egg, boom! That's one meal. Don't forget gallo pinto to complete your breakfast. El desayuno completo. If you don't know by now, we take this food thing serious. You need to be close to a kitchen, bodega or your favorite spot you love to eat.  Up next on the menu we got aguacate, flan, arroz con frijoles, bistec empanizado, cafe, plantanos, banana, y arroz con salchicha. Ay mama.  These delicious foods get highlighted on audio clips featuring Hosts of the show Pero…Let Me Tell You!, DJ & Ish, Founder & Owner of Amy's Pastelillos, Amy Rivera-Nassar, and Executive Director for Nosotros, Natasha Galano. So cojelo con take it easy. There's enough to go around. Buen provecho. Enjoy the show. Don't forget to rate, review, follow, subscribe, like and share. Check out my Linktree for more info. Tune in next week. Aguacate!   Siempre Pa'lante! Always Forward - https://linktr.ee/sp.alwaysforward  CONNECT WITH CO-HOST Renata Sampaio - Renaissance Woman, IG - https://www.instagram.com/renatabhny/ NOTABLE MENTIONS Aguacate Chronicles, Renata Sampaio, DJ, Ish, Pero…Let Me Tell You!, Listen, Laugh, Learn, Pin Pan Pollo, Miami, Westchester, Florida, Cuba, Hass, Avocados, Aguacate, Flan, Arroz con Frijoles Negros, Black Beans and Rice, Bistec Empanizado, Cuban breaded steak, Amy's Pastelillos, Amy Rivera-Nassar, Pastelillo Lady, Puerto Rico, Philadelphia, Cafe, Coffee, Cafecito, Platanos, Maduros, Verde, Plantains, Mofongo, Tostones, Plantain Chips, Natasha Galano, Nosotros, California, Los Angeles, Ricardo Montalbán, Arroz Con Salchichas, Rice with Sausages, Vienna, Sausages, Ketchup, Bananas, Ismael Rivera, Maelo, El Sonero Mayor, Cuba, Brasil, Brazil, Puerto Rico, Nicaragua, Mexico, El Barrio, New York, New Jersey, Ancestors ORIGINS, FUN FACTS AND VARIETIES Aguacate (Avocado) https://www.thespruceeats.com/history-of-avocado-1807562  https://avocadosfrommexico.com/avocados/history/  https://www.smithsonianmag.com/science-nature/holy-guacamole-how-hass-avocado-conquered-world-180964250/  https://www.thespruceeats.com/avocado-varieties-and-facts-1807836  https://www.prnewswire.com/news-releases/avocados-from-mexico-celebrates-record-breaking-year-301900306.html#:~:text=According%20to%20Hass%20Avocado%20Board,set%20in%20fiscal%20year%202021. https://avocadoinstitute.org/avo-economics/avo-economics-fact-sheet/ https://avocadosfrommexico.com/avocados/avocado-by-the-numbers/ Flan https://mycleo.tv/video/chef-bren-herrera-reveals-the-secret-ingredient-in-her-flan-recipe/  https://www.mashed.com/777674/the-untold-truth-of-flan/  https://www.eater.com/22871056/cuban-flan-recipe-traditional-dessert-how-to-make  Platanos/Plantains https://www.theplantaincouncil.com/about-the-plantain https://www.nutritiousfruit.com/plantain.html https://www.thekitchn.com/what-are-plantains-23509985  https://www.caribbeangreenliving.com/the-different-types-of-plantains-what-to-know-and-how-to-use-them/  Café/Coffee A brief history of Cuban cafecito in Miami  https://www.tenement.org/blog/bustelo-the-unlikely-story-of-how-a-cuban-flavor-captured-the-attention-of-new-york-and-then-the-natio/ https://www.casabrasilcoffees.com/coffee-history  Ketchup (Kachu)https://www.history.com/news/ketchup-surprising-ancient-history#:~:text=Tomato%20ketchup%20is%20invented,believed%20tomatoes%20had%20aphrodisiac%20powers. --- Support this podcast: https://podcasters.spotify.com/pod/show/spalwaysforward/support

Hola mi gente, welcome to the  “The Aguacate Chronicles”, I'm your host Giraldo Luis Alvaré. Gracias for listening. Our first episode was the icebreaker, el rompe hielo. Cafecito, Caipirinha, Feijoada y Flan gave you a perfect start to the season. We're only getting started and we got more in store for you to put your tastebuds in overdrive.  Renata and I will discuss clips featuring The King of Latin Soul, Joe Bataan and Award Winning Journalist, Speaker, Author and Founder of GoLike, Mariana Atencio. Arepas, pork chops and well you're going to have to listen to the episode to hear about the rest. Make sure you have something to snack on with a beverage to wash it down. Buen provecho. Enjoy the show. Don't forget to rate, review, follow, subscribe, like and share. Check out my Linktree for more info. Tune in next week. Aguacate!   Siempre Pa'lante! Always Forward - https://linktr.ee/sp.alwaysforward CONNECT WITH CO-HOST Renata Sampaio - Renaissance Woman, IG - https://www.instagram.com/renatabhny/  NOTABLE MENTIONS Aguacate Chronicles, Avocado, Renata Sampaio, Joe Bataan, Fania, King of Latin Soul, Hip-Hop, Hip-Hop 50, Rap-O Clap-O, Kosher food, Jewish Community, French Fries, Pork Chops, Corn, Fish, Soda, Formula - Cocaine, Pork rinds, Chicharrones, Balanced Diet, Moderation, Ice cream, Mariana Atencio, Arepas, Queso Blanco, Arepera, Caracas, Reina Pepiada, La Pelua, Con Pollo, Tequeños, Argentinians, Pamonha, Chipas, Ismael Rivera, Maelo, El Sonero Mayor, Cuba, Brasil, Brazil, Philippines, Venezuela, Argentina, El Barrio, New York, New Jersey, Ancestors ORIGINS, FUN FACTS AND VARIETIES Kosher https://www.myjewishlearning.com/article/kosher-food/ https://www.kosher.com/  Pork Chops & Chicharrones  https://youtu.be/CATrlA_19-M?si=xUTmC1bqbKqNMdaP  https://robertfmoss.com/features/The-Unexpurgated-History-of-Pork-Steaks  https://foodofhistory.com/2017/03/pork-chops/?doing_wp_cron=1695137361.8374159336090087890625  https://porkrinds.com  https://www.mashed.com/310832/whats-the-difference-between-chicharrones-and-pork-rinds/  Arepas  https://www.colombia.co/en/colombia-culture/gastronomy/colombian-corn-cakes-and-the-places-they-come-from/#:~:text=The%20history%20of%20corn%20cakes,of%20corn%20cakes%20in%20Colombia.  https://familiakitchen.com/venezuelas-food-history-arepas-hallacas-y-mas/  https://www.amexessentials.com/how-to-make-arepas/#:~:text=The%20History,Venezuela%20for%20around%202%2C800%20years. --- Support this podcast: https://podcasters.spotify.com/pod/show/spalwaysforward/support

Hola mi gente, we are back for Season 2 of “The Aguacate Chronicles”, I'm your host Giraldo Luis Alvaré. Gracias for listening. A big Aguacate shoutout goes to all the amazing guests in Season 2. Thank you for sharing your favorite foods and beverages you loved growing up and enjoy to this day. This is what inspired the Aguacate Chronicles. Now, you can't talk about culture without food. It's everything and more. Food unites us, it brings us together.  I invited mi hermana Renata Sampaio, a renaissance woman, an entrepreneur, psycho-analyst, head of logistics, photographer, musician and of course an amazing chef. She reps Brasil and all the amazing things this beautiful country has to offer starting with la comida/the food. This episode features Bren Herrera and her love for cafecito y flan. That's not all, Renata shares her story, Brasil's national dish and cocktail. Not to mention, lots of coffee and desserts and a few other mouth-watering surprises. Stay close to the kitchen or your favorite food delivery app, because you will be hungry. So let's break bread, put some aguacate on it and jump right into this episode. Don't forget to rate, review, follow, subscribe, like and share. Check out my Linktree for more info. Tune in next week. Aguacate!   Siempre Pa'lante! Always Forward - https://linktr.ee/sp.alwaysforward  CONNECT WITH CO-HOST Renata Sampaio - Renaissance Woman - IG - https://www.instagram.com/renatabhny/ NOTABLE MENTIONS Aguacate Chronicles, Avocado, Renata Sampaio, Bren Herrera, Cafecito, 3 Coracoes, Bustelo, Pilon, La Llave, Café Cubano, Cuban Coffee, Cortadito, Colada, Chocolate, Cafezinho, Flan, Pudim, Tres Leches, Three Milks Cake, Brasil, Brazil, Minas Gerais, Cuba, Abuelita, Kitchen, Tempero Baiano, Brazilian Spice Blend, Yuca, Cassava, Adobo, Africa, Indians, Indigenous, Feijoada, Caipirinha, Cozy Corner Cuban Bistro, Garwood, Newark, New Jersey, Ismael Rivera, Maelo, El Sonero Mayor ORIGINS, FUN FACTS AND VARIETIES Aguacate (Avocado) https://www.thespruceeats.com/history-of-avocado-1807562  https://avocadosfrommexico.com/avocados/history/  https://www.smithsonianmag.com/science-nature/holy-guacamole-how-hass-avocado-conquered-world-180964250/  https://www.thespruceeats.com/avocado-varieties-and-facts-1807836 Café/Coffee Leguizamo Does America - La Colada Gourmet A brief history of Cuban cafecito in Miami  https://www.tenement.org/blog/bustelo-the-unlikely-story-of-how-a-cuban-flavor-captured-the-attention-of-new-york-and-then-the-natio/ https://www.casabrasilcoffees.com/coffee-history  Flan Bren Herrera - Culture Kitchen - https://mycleo.tv/video/chef-bren-herrera-reveals-the-secret-ingredient-in-her-flan-recipe/  https://www.mashed.com/777674/the-untold-truth-of-flan/  https://www.eater.com/22871056/cuban-flan-recipe-traditional-dessert-how-to-make  Feijoada https://nowinrio.com/feijoada-rio-de-janeiro/  https://lifeandthyme.com/food/what-feijoada-teaches-us-about-racial-inequity-in-brazil/  https://www.oliviascuisine.com/feijoada-recipe/  Caipirinha https://www.oliviascuisine.com/caipirinha/  https://brazil-help.com/cachaca.htm  https://whataboutbrazil.com/what-is-caipirinha/ --- Support this podcast: https://podcasters.spotify.com/pod/show/spalwaysforward/support

This week, we taste the sweeter side of Mexican cuisine with chef Fany Gerson. Traveling from Mexico City to Veracruz to Oaxaca, we explore regional confections like chili-flavored paletas and guava and cheese doughnuts. Plus, we take a seat at the Noir Bar with writer and television host Eddie Muller, who infuses classic cocktails with a cinematic twist; Martha Barnette and Grant Barrett of “A Way With Words” unpack the history hidden in your spice cabinet; and we prepare a very crispy Korean Fried Chicken.Get the recipe for Korean Fried Chicken here.We want to hear your culinary tips! Share your cooking hacks, secret ingredients or unexpected techniques with us for a chance to hear yourself on Milk Street Radio! Here's how: https://www.177milkstreet.com/radiotipsListen to Milk Street Radio on: Apple Podcasts | Stitcher | Spotify. Hosted on Acast. See acast.com/privacy for more information.

Amir, Marika, and Dane join Geoff to discuss The Pit Wall, Sprite, and flan! Advertise on The Headgum Podcast via Gumball.fm Rate The Headgum Podcast 5-stars on Apple Podcasts Rate The Headgum Podcast 5-stars on Spotify Join the Headgum DiscordSee omnystudio.com/listener for privacy information.