AWS на русском

Мы просмотрели более 850 обновлений и отобрали самое важное перед re:Invent 2024!   В этом выпуске вы узнаете: •

В этом эпизоде раскрываем все карты: • Чем отличается reliability от resilience (спойлер: это не одно и то же!) • Как измерить надежность системы и что такое "девятки" доступности • Почему нельзя просто взять и сделать систему с пятью девятками (и сколько это будет стоить

В новом выпуске подкаста AWS на русском мы поговорили с Артемом Максименко, Technical Account Manager в AWS, и узнали: ✨ Почему Enterprise Support — это как персональный консьерж-сервис для вашего облака. 

В новом выпуске подкаста "AWS на русском" мы с Михаилом Голубевым погружаемся в мир реальных применений генеративного ИИ!  

Вторая часть выпуска  о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. В этом выпуске мы продолжаем обсуждать миграцию баз данных с акцентом на использование AWS DMS и SCT. Вот основные темы, которые мы затронули: Миграция данных с помощью AWS DMS: Обсудили различные типы миграции: full load, CDC (Change Data Capture), и валидацию данных. Как подготовить инфраструктуру AWS для миграции и выбрать подходящий тип репликационного инстанса. Как использовать ассессмент-скрипты DMS для оценки нагрузки на базу данных Oracle и выявления недостающих ключей. Гетерогенные миграции и конвертация кода с AWS SCT: Рассмотрели, как выбирать типы данных при миграции, например, Number() в Oracle и Numeric() в PostgreSQL. Поделились опытом работы с объектами, содержащими бизнес-логику: процедурами, функциями и триггерами. Обсудили сложности конвертации Oracle пакетов и почему AWS SCT не всегда может автоматически конвертировать весь код. Тестирование кода при конвертации: Обсудили важность наличия тестов на базе данных и сложности их написания. Рассказали о фреймворках для тестирования, таких как PgTAP для PostgreSQL и utPLSQL для Oracle. DevOps автоматизация в сложных миграциях: Поделились подходами к автоматизации процессов миграции с использованием CodeCommit, CodeBuild и других AWS сервисов. Рассмотрели альтернативы, такие как TeamCity и Jenkins, и их использование для автоматизации. Быстрый деплой кода базы данных: Обсудили, как быстро развернуть код базы данных в окно миграции с помощью Liquibase. Рассказали о преимуществах использования Liquibase для управления зависимостями объектов и ускорения деплоя индексов. Этот выпуск подкаста — кладезь полезной информации для тех, кто занимается миграцией баз данных и хочет узнать больше о лучших практиках и инструментах AWS. Если у вас есть вопросы или интересные темы для обсуждения, пишите https://t.me/ViktorVedmich, и мы обязательно вернемся к ним в будущих выпусках. Слушайте, подписывайтесь и делитесь с коллегами!

В новом выпуске подкаста “AWS на русском” мы с Михаилом обсудим последние новости и обновления из мира AWS. Поделимся впечатлениями от недавних поездок и мероприятий, а также поговорим о новых функциях и сервисах, которые помогут вам в работе. Что обсудили в выпуске: Amazon WorkSpaces Pools: Эффективное решение для виртуальных рабочих столов. Мы обсудим не только эту функцию, но и общий подход к удаленной разработке, включая VDI и CodeCatalyst с девелопмент-энвайронментами. Amazon CodeCatalyst: Теперь поддерживает репозитории GitLab и Bitbucket, с кастомными блюпринтами и функцией Amazon Q для разработки Anthropic's Claude 3.5 Sonnet модель в Amazon Bedrock: Ещё больше интеллекта по более низкой стоимости. Общий обзор моделей Claude 3, а также других крутых моделей, таких как Mistral и Llama 3 от Meta. Обсуждение новых функций, перешедших в GA, таких как Guardrails, Agents и Model Evaluation. AWS слушает своих клиентов: Обновление Amazon S3 - теперь нет платы за запросы с HTTP-кодами ошибок Одной строкой: Безопасность: Amazon GuardDuty Malware Protection для Amazon S3. Безопасность: Обновление IAM Access Analyzer - расширение проверок пользовательских политик и управляемое отзывавание. Безопасность: AWS добавляет поддержку passkey для многофакторной аутентификации (MFA) для рутовых и IAM пользователей. EC2: Новые БОЛЬШИЕ инстансы Amazon EC2 U7i для больших баз данных в памяти, сертифицированы для SAP HANA. Сертификации: Две новые сертификации AWS - AWS Certified AI Practitioner и AWS Certified Machine Learning Engineer – Associate. Присоединяйтесь, чтобы быть в курсе всех последних обновлений.

В новом выпуске говорим о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. Обсуждаем: Типы миграций: гомо/гетеро и сложные/простые Почему компании выбирают миграцию баз данных Ассесмент с помощью AWS SCT или Ora2PG Как выбрать целевую СУБД Оценка стоимости миграции по времени Оценка стоимости дальнейшей поддержки и девелопмента Пример с отправкой email через UTL_HTTP Гомо миграции в виде lift and shift: On-prem to Cloud/Cloud to Cloud Использование AWS Fleet Advisor для выбора размера инстанса Начинаем говорить про AWS DMS AWS Snowball для больших объемов данных (> 1Pb) Общая архитектура DMS и его компоненты Replication Instance (RI) как EC2 машина с кодом на борту Migration Task как инструкция для RI Продолжение следует! Во второй части мы углубимся в детали AWS DMS и обсудим практические примеры миграций. Присоединяйтесь, чтобы узнать все тонкости миграции баз данных!

Сегодня мы обсуждаем одну из самых не простых тем в мире AWS — аутентификацию и авторизацию. Вместе с нашим гостем, Artsiom Rachytski, Senior Solutions Architect AWS, мы разберем эти непростые, но очень важные понятия. Разобрали: Что такое аутентификация: современные подходы, OAuth и JWT (SAML 2.0.) Как можно реализовать аутентификацию в приложении с помощью Cognito: Hosted UI, SDK, API Cognito User Pools vs Identity Pools Кастомизация в Cognito и интеграция с сервисами AWS на примере API Gateway Как не нужно кастомизировать: лимиты в Cognito Чем авторизация отличается от аутентификации Почему Cognito не решает задачу авторизации и какой сервис ее решает (Amazon Verified Permissions) Если вам показалось мало, вот тут можно посмотреть и почитать больше RBAC с Amazon Cognito через интеграцию с внешним IdP: https://aws.amazon.com/blogs/security/role-based-access-control-using-amazon-cognito-and-an-external-identity-provider/ Видео с ANZ Summit 2022: Application Identity с помощью Amazon Cognito: https://www.youtube.com/watch?v=8xmJv1f9WLk 

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:   •Amazon Bedrock - сервис для быстрого запуска популярных моделей •Amazon SageMaker JumpStart - кастомные модели в пару кликов •Hugging Face Estimator - доступ к библиотеке моделей Hugging Face •Развертывание в контейнерах ECS и на GPU-инстансах EC2 •AWS Lambda - какие особенности надо учесть при таком запуске   С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.   Слушайте, пробуйте!   Ссылки упомянутые во время подкаста:   Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mosktms8k43q4ktpsx/Feyzkhanov_AWS_GenAI_Services_And_Options.pdf?rlkey=2p35imid8xxbhjyfunbj2m9ya&dl=0 Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-learning/mistral-7b-foundation-models-from-mistral-ai-are-now-available-in-amazon-sagemaker-jumpstart/ Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker/inference Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverless-compute-for-llm-with-a-step-by-step-guide-for-hosting-mistral-7b-on-aws-lambda-0a267e153cae Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for-running-llama-2-using-llama-cpp-on-aws-fargate-7086bcd1ed3c Hugging face Inferentia 2 https://huggingface.co/blog/inferentia-llama2

Бережливый архитектор (frugal architect) - это не просто слова, это философия работы с облачными ресурсами, где каждый цент на счету. На конференции reInvent 2023 CTO Amazon Werner Vogels представил семь законов бережливого архитектора, которые помогут сделать ваш проект не только более экономичным, но и эффективным. В этом выпуске подкаста мы вместе с архитекторами AWS глубже погрузимся в эти законы и посмотрим, как они могут быть применены на практике. Ссылка на законы https://www.thefrugalarchitect.com/ 

В это выпуске мы погружаемся в мир serverless-архитектуры и обсуждаем, как не только оптимизировать использование AWS Lambda, но и как обеспечить лучший developer experience. Рома, опытный Solutions Architect, дает практические советы по работе с serverless и демистифицирует процесс локального запуска и тестирования Lambda-функций. Мы начинаем с вопроса, который волнует многих разработчиков: "Как мне запускать лямбду локально?" Рома объясняет, что, хотя локальный запуск возможен, он не всегда эффективен из-за интеграции лямбды с другими сервисами AWS. Вместо попыток воссоздать полноценную среду AWS локально, мы рассматриваем стратегии для тестирования и дебаггинга непосредственно в облаке. Для улучшения developer experience обсуждаются такие инструменты, как SAM (Serverless Application Model) и его функция Accelerate, которая позволяет быстро деплоить изменения в облако и просматривать логи в реальном времени. Также мы углубляемся в интеграцию SAM с другими инструментами, такими как CDK (Cloud Development Kit) и Terraform. Рома делится своим опытом использования AWS Power Tools, набора библиотек, упрощающих разработку Lambda-функций, включая автоматизацию структурированного логирования, создание пользовательских метрик и трассировку. Наконец, мы затрагиваем тему тестирования serverless-приложений. Разработчикам рекомендуется писать юнит-тесты, а также проводить интеграционное и end-to-end тестирование в облачной среде, используя тестовые лямбда-функции для мониторинга асинхронных событий.   Ссылки: https://awslabs.github.io/aws-lambda-powertools-python

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

Продолжаем обсуждение новинок с reInvent 2023. Это третья и заключительная часть нашего обзора.

Продолжаем обсуждать новинки из reInvent 2023

Хотите сэкономить на использовании AWS Lambda и повысить производительность функций? В этом выпуске подкаста мы подробно разберем способы оптимизации serverless приложений и раскроем неочевидные на первый взгляд тонкости настройки Lambda. Мы начнем с того, как правильно выбрать объем оперативной памяти для функций. Оказывается, это напрямую влияет на производительность и стоимость. Далее разберем технологию Snap Start, которая позволяет минимизировать холодные старты Java функций. Поговорим о предварительном создании пула функций с Provisioned Concurrency. Это хороший способ ускорить отклик критичных Lambda. Также узнаем, как использование компилируемых языков вроде Rust и Go вместо интерпретируемых может значительно прибавить скорость выполнения кода. И еще много других полезных советов - от фильтрации ненужных событий до оптимальной инициализации функций. В общем, если хотите выжать максимум из Lambda - обязательно послушайте этот выпуск!   Список полезных ссылок: https://github.com/alexcasalboni/aws-lambda-power-tuning https://awslabs.github.io/aws-lambda-powertools-python/2.16.2/ https://awslabs.github.io/aws-lambda-powertools-typescript/latest/ https://awslabs.github.io/aws-lambda-powertools-java/ https://aws.amazon.com/blogs/compute/optimizing-aws-lambda-cost-and-performance-using-aws-compute-optimizer/

В этом выпуске подкаста мы погружаемся в увлекательный мир Generative AI. Разбираемся с ключевыми аспектами, такими как модели диффузии, Stable Diffusion и особенностями обучения больших языковых моделей (LLMs). Обсуждаем процесс FineTuning, детали RAG и его сравнение с FineTuning, а также принципы работы VectorSearch. И как раз сегодня (28.09.2023) вышел новый сервис от AWS - BedRock, который мы обсуждали в выпуске. Хотите попробовать Generative AI на практике? Узнайте больше о сервисе BedRock и начните своё приключение в мире GenAI с AWS.

В свежем выпуске мы обсудили множество актуальных новостей об AWS за последнее время (Q1-Q2 2023): LightSail for Research - новый сервис для начала работы с Data Science в AWS с низким порогом входа. Обновления в Amazon Aurora - новая ценовая модель без отдельной оплаты операций ввода-вывода, возможные экономии до 40%. AWS S3 Object Lambda - теперь возможно запускать лямбда-функции при GET-запросах к объектам S3. AWS User Notifications - новый сервис для получения объединенных нотификаций от более чем 100 AWS-сервисов. Обзор Amazon CodeWhisperer  - генеративный AI-ассистент для ускорения написания кода. Рассмотрены возможности Amazon Service Catalog для автоматизации развертывания стандартных инфраструктурных компонентов. Улучшения видимости ресурсов VPC на новой ресурс-карте. Как всегда, в подкасте много интересных подробностей и примеров. Заходите на наш канал, слушайте, оставляйте отзывы!   Упомянутые  telegram каналы: https://t.me/aws_notes и https://t.me/awsweekly    Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich  

В этом выпуске мы углубляемся в мир SaaS и разбираемся в архитектуре Multi-tenant на платформе AWS. Поговорим о следующем: Что такое "tenant" и как определить его границы и периметр? В чем ключевое отличие между SaaS и не-SaaS. Можно ли сказать, что "у меня много клиентов на отдельных окружениях" равносильно тому, что "я предоставляю услуги в формате SaaS"? Обсудим! Почему компании выбирают путь SaaS: вопросы стоимости и управления операциями. Эффективность с точки зрения стоимости: на что в первую очередь стоит обратить внимание и почему бесплатные тарифы могут стать "болью". Общие решения для frontend/backend, которые могут настраиваться для каждого клиента, но кодовая база не зависит от конкретного клиента. Как подходить к вопросам изоляции данных. Полезные ссылки: Основы архитектуры SaaS SaaS Lens

В этом эпизоде подкаста, Михаил Голубев (Principle Solution Architect), перехватывает эстафету и становится хостом, чтобы узнать больше о роли Developer Advocate от постоянного ведущего Виктора Ведмича. Виктор делится своими мнениями и опытом в этой роли. Он рассказывает о том, как помогает разработчикам, собирает их отзывы для улучшения продуктов и создает мосты между разработчиками и бизнесом. Если вы хотите узнать, чем занимается Developer Advocate, как эта роль помогает компании, не пропустите этот занимательный и информативный эпизод! Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich

В новом выпуске подкаста мы в глубину погрузились в мир данных вместе с нашим гостем Kurmanov Samat, AWS Community Build, Senior Data Engineer из DataArt Во время обсуждения мы проследили историю появления аналитических хранилищ данных, включая эволюцию от классических Data Warehouses до Data Lakes и современных Lakehouses. Samat подробно разъяснил основные особенности каждого из этих подходов, их преимущества и слабые стороны, а также ситуации, в которых они проявляют себя наилучшим образом. Мы также обсудили набор сервисов AWS, которые активно используются в сфере обработки и анализа данных. Наш гость поделился своими знаниями о том, как эти инструменты помогают достичь желаемого результата, и какой из них выбрать в зависимости от конкретных целей и задач. Завершая нашу беседу, мы затронули вопрос о выгоде Lakehouse решения для бизнеса. Нужен ли он всем? Какие компании могут извлечь максимальную пользу из его применения? Слушайте этот выпуск, чтобы узнать ответы на эти и многие другие вопросы.   Полезные ссылки: https://www.striim.com/blog/data-warehouse-vs-data-lake-vs-data-lakehouse-an-overview/ https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html https://delta.io/ Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich

Уже третий эпизод и только про AWS организации. В первой части мы закончили говорить про Organization Units, во после обсудили Service Control Policies (SCPs). А в этом эпизоде продолжаем говорить про безопасность, и начали IAM Access Analyzer, поговорили про то как работает SOO, работа c SSO через CLI. Проговорили еще раз лучшие практики написание SCP политик, и как лучшего всего защищать ваш root account, какие есть способы защиты MFA, и как быть если вы утеряли свой MFA. Все это и не только в третьем выпуске про организации. Кажется, тема настолько обширная, что будет и 4-й выпуск, если у вас есть какие-то вопросы по этой теме, пишите -  будем рады добавить в список. Ссылки, которые упоминали во время разговора SSO CLI (Open source from community): https://github.com/synfinatic/aws-sso-cli SCP policies best practice examples: https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_scps_examples.html  

Обсудим из чего базы данных состоят, где узкие горлышки, и какие продукты приходят на смену устоявшимся Postgres, MongoDB, Redis, Neo4J.  Например, знали ли вы, что большая часть современных БД хранит данные в Log Structured Merged Tree структуре, а если точнее - в одной ее реализации - RocksDB от Facebook? А что Postgres не умеет работать с асинхронными интерфейсами Linux, и уже на этом уровне в 10 раз медленнее чем новые аналоги построенные на io_uring и SPDK? Или что можно отправить данные с диска на видеокарту в обход процессора? У ребят из Unum есть своя альтернатива RocksDB, которая до 7 раз быстрее, и функционально совместима. И вокруг нее построена череда open-source проектов, включая UKV, универсальную базу данных, которая может хранить документы, графы и бинарные данные, предлагая сквозные ACID транзакции, а также целый набор интуитивно понятных библиотек для пользователей верхнеуровневых языков.  Ее уже можно найти в AWS Marketplace, а документация и исходные коды лежат на GitHub, а также на официальном сайте https://www.unum.cloud/ 

В этом выпуске подкаста мы обсуждаем сложный вопрос выбора базы данных. Иногда наше решение определяется опытом работы с определенными технологиями, но такой подход не всегда гарантирует оптимальный выбор для конкретного приложения. К тому же, ситуация может меняться со временем, когда нагрузка на систему растет, и возникает дилемма: что делать дальше? Вместе с Александром Изюмовым, экспертом по базам данных, и Михаилом Голубевым, мы рассмотрели различные категории баз данных, чтобы помочь вам принять обоснованное решение. Мы рассмотрели: Key-value DB: Amazon DynamoDB Amazon Keyspaces (for Apache Cassandra) Amazon DocumentDB RDBM) Amazon RDS Amazon Aurora + Serverless v2 Graph: Amazon Neptune In-Memory: Amazon ElastiCache for Redis/Amazon ElastiCache for Memcached Amazon MemoryDB for Redis Other: Amazon Timestream Database Amazon Quantum Ledger Database (QLDB) Full-text-search: Amazon OpenSearch Service Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

А вот и вторая часть reCap re:Invent 2022, в этом выпуске сфокусировали на аналитике, ML, DevOps и конечно же безопасности.  В сегодняшнем выпуске мы рассмотрели: Amazon Redshift - updates AWS Glue - updates Amazon DataZone AWS Clean Rooms CodeCatalyst  AWS Lambda Snapstart ML Governance with Amazon SageMaker Amazon SageMaker Data Wrangler И еще несколько новостей одной строкой. Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

В новом эпизоде нашего подкаста мы пригласили Егора Мясникова, чтобы обсудить возможности использования Amplify в разработке приложений для iOS, Android, Flutter, Web и React Native. Мы рассмотрели основные компоненты Amplify, включая Studio, CLI, Libraries, UI Components и Web Hosting, и обсудили, как значительно они могут ускорить процесс разработки. Также мы обсудили ситуации, в которых Amplify может быть особенно полезен, и ответили на вопрос, можно ли использовать Amplify для разработки высоконагруженных систем. В конце эпизода мы рассмотрели интеграцию Figma с Amplify и порассуждали о том, могут ли дизайнеры стать кандидатами для становления full-stack developer.

В этот раз re:Invent 2022 посетили 50 000+ человек, прошло 2000 технических сессий на которых презентовали более 100 технологических новинок - и это все только за одну неделю! По традиции в нашем подкасте мы делаем обзор того, что было анонсировано: и это не только новые сервисы, но и детальное обсуждение новых фич в уже существующих.  В одном выпуске очень трудно уместить все, поэтому в первой части мы рассмотрели: -  Amazon Security Lake -  Amazon CloudWatch Internet Monitor  -  AWS Verified Access  -  Amazon Verified permissions -  Amazon EventBridge Pipes -  Trusted Language Extensions for PostgreSQL on Amazon Aurora and Amazon RDS -   Amazon DocumentDB Elastic Clusters -   Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS  -   AWS Control Tower – Comprehensive Controls Management  

В гостях подкаста - Алексей Григорьев: AWS Hero, автор нескольких книг по ML и лидер https://datatalks.club/  комьюнити.  Вначале мы поговорили о том, как стать AWS Hero - в этой части подкаста можно узнать больше о самой программе и о том, какими активностями занимаются комьюнити лидеры, которые хотят быть частью этой программы. Затем мы обсудили разницу между Data Scientist и ML инженером - кого же, как не Principal Data Scientist об этом расспрашивать, верно?:) И наконец, мы поговорили о подходе Алексея к написанию книг, обсудили мнение, почему код нужно писать раньше, чем книгу о нем, и почему сделать обучающий курс намного легче, чем написать книгу. Если вы интересуетесь ML - курсы и книги Алексея будут отличным стартом для самообразования и перехода в эту сферу. Книги про которые говорили по время подкаста: Machine Learning Bookcamp: Build a portfolio of real-life projects  Mastering Java for Data Science: Analytics and more for production-ready applications Курсы и комьюнити:  https://datatalks.club/   

Если в своей профессиональной карьере вы дошли до уровня Senior, Tech Lead (а уж Architect и подавно), всегда полезно задаться вопросом, что делать дальше. Какие есть варианты в развитии карьеры? Что нового можно сделать там, где уже все так знакомо? Суть, стоящая за аббревиатурой “СТО”, может не только дать ответ на эти вопросы, но и сформировать видение того, каким будет ваш следующий профессиональный шаг.  В сегодняшнем выпуске наш гость Vadym Voitiuk - в прошлом СТО нескольких компаний, а сейчас - Principal Solutions Architect в AWS - рассказал о том, как выглядел его обычный рабочий день в роли СТО, какими были зоны ответственности и какие навыки были самими важными в решении не только ежедневных, но и стратегических задач. Каков баланс между техническими задачами и бизнес-фокусом? Что нужно сделать, чтобы стать CTO? Все это и много других полезных тем - в новом выпуске подкаста “AWS на русском”!   Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В сегодняшнем выпуске подкаста Software Serverless Consultant и AWS Community Builder Игорь Сорока рассказал о роли консультанта в проекте. Может ли проект, построенный на  AWS Lambda, быть монолитом с легаси? Конечно, может! Можно ли избежать ошибок в работе с Lambda в самом начале разработки? Конечно, можно, и Игорь поделился с нами самыми распространенными ошибками и вариантами их обхода.  Почему использование VPC для Lambda может увеличить холодный старт? Как его уменьшить? Какие еще могут быть нюансы работы с serverless в AWS? Так много вопросов и пока там мало ответов:) Заканчиваем читать пост и включаем подкаст.  Полезные ресурсы How a mechanical engineer gained cloud skills to become his own boss  Контакт Игоря Подкаст на английском про IaC c Игорем Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

AWS Outpost - полностью управляемое решение, которое позволяет пользователям вынести инфраструктуру AWS, включая сервисы, API и инструменты в собственный центр обработки данных. И теперь AWS Outposts можно заказать в Казахстан, Viktor Vedmich совместно с Rinat Uzbekov и Igor Sharfmesser - рассказали что за зверь такой AWS Outposts, для каких целей он потребуется, какие сервисы будут доступны на нем. Какой процесс доставки оплаты, все это и не только в нашем подкасте.  Полезные ссылки Видео подкаст: Что такое AWS Outpost и как заказать его в Казахстане? Блог пост: Что такое AWS Outposts и как заказать его в Казахстане AWS Outposts: Ordering and Installation Overview Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

По запросу от наших слушателей рассказываем про AWS Cloud Development Kit (AWS CDK), Антон Коваленко SA AWS c богатым опытом в IaC с использованием CDK, поделился своими знаниями по внедрения CDK в несколько проектов. Мы начали с самого начала, что такое вообще CDK, какая разница CDK и CloudFormation и конечно Terraform? Антон рассказал историей, про то что пока искали DevOps специалиста по работе с IaC, команда разработки довольно легко и быстро освоила CDK и проект не простаивал, а девелоперы сами писали IaC используя CDK. Не забыли проговорить концепты самого CDK construct - L1,L2,L3. А также как CDK поддерживает такое количество языков, и какая глубина знаний нужна для начала работы с CDK. Полезные ссылки CDK Workshop AWS re:Invent 2021 - What's new with AWS CloudFormation and AWS CDK The CDK Book - A Comprehensive Guide to the AWS Cloud Development Kit Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Прошло довольно много времени с момента последнего новостного выпуска, а значит, свежих апдейтов подоспело немало! Что же нового вышло в AWS с конца весны? Подборка материалов и актуальной информации о последних релизах: Новый AWS регион в ОАЭ, а также новость о том, какие регионы в очереди на открытие; Новые инстансы в AWS m6id, c6id, r6id, r6a; Инстансы с 3-м поколением гравитонов (Amazon EC2 C7g) вышли в GA; Cost Management практики - Cost Allocation Tags в EKS и что такое KubeCost; Консолидация нагрузки в Karpenter-е; Всё Serverless с re:Invent теперь GA: Amazon MSK Serverless Now Generally Available–No More Capacity Planning for Your Managed Kafka Clusters Amazon EMR Serverless Now Generally Available – Run Big Data Applications without Managing Servers Amazon Redshift Serverless – Now Generally Available with New Capabilities Amazon SageMaker Serverless Inference – Machine Learning Inference without Worrying about Servers. Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этом выпуске мы поговорили о DynamoDB, что это за база данных такая. Начали с основ, какого именно типа база данных DynamoDB, как именно данные хранятся в таблицах. Что такое локальные и глобальные вторичные индексы - чем они отличаются, и когда их стоит применять и создавать. На что стоит обратить внимания во время проектирования хранилища данных используя DynamoDB, и какие есть плюсы минусы при работе с GSI, и почему не стоит забывать про проблему "hot" partition. Все это и не только в новом выпуске вместе с Кареном (Data Community Builder) Полезные ссылки Amazon DynamoDB Deep Dive. Chapter 1: Essentials Перевод: Основы (Вы находитесь здесь!) Amazon DynamoDB Deep Dive. Chapter 2: Tables, Data types, Indexes, Capacity Units Перевод: Компоненты DynamoDB: таблицы, типы данных, индексы, единицы производительности Amazon DynamoDB Deep Dive. Chapter 3: Consistency, DynamoDB streams, TTL, Global tables, DAX Перевод: Консистентность, DynamoDB streams. TTL. Глобальные таблицы. DAX Amazon DynamoDB Deep Dive. Chapter 4: Data Modeling, Best Practices, What's next Перевод: Моделирование данных. Лучшие практики. Что дальше? Rick Houlihan: DynamoDB deep dive: Advanced design patterns Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Продолжаем говорить про AWS организации. В первой части мы закончили говорить про Organization Units, а во второй уже начали с service control policies (SCPs): как работают политики и как внутренний сервис Amazon - Zelkova, помогает с безопасностью. Что такое AWS Control Tower и как он помогает в построении организации. Не забыли раскрыть тему уменьшения расходов при использовании AWS организации и другие преимущества работы с ней. Полезные ссылки Лучшие практики AWS организации AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts О делегированном администраторе. Что такое Zelkova Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этом выпуске обсудили специфику бизнеса разработчиков игр и выяснили на опыте интересных публичных кейсов, почему облака так привлекательны игровым компаниям. Также обсудили: Как AWS связан с разработкой игр и их оперированием. Какие бывают задачи: аналитика, гейм-сервера, мета, билды, доставка контента. Рекомендации для инди девелоперов / небольших студий, с чего лучше начать. Как можно экономить, используя AWS, если у вас уже есть игра в оперировании. Полезные ссылки AWS for Games https://aws.amazon.com/gametech/?nc1=h_ls Game Tech Learning Plan - https://explore.skillbuilder.aws/learn/public/learning_plan/view/26/game-tech-learning-plan Если у вас есть вопросы, предложения темы, пишите мне в Linkedin https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Говорим про AWS организации, в один эпизод не получилось поместить все что хотелось рассказать, поэтому будет целая серия выпусков про AWS организации. А в первой части начинаем с основ: что такое AWS аккаунт, организация, зачем нужны несколько аккаунтов. С чего стоит начать планирования вашей AWS организации. Стоит ли соблюдать закон Конвея при построении вашей организации. Рекомендуемые Organization Units, или с чего начать проектирование вашей организации. Что делать если у вас микро сервисная архитектура, и как она влияет на построение вашей организации. Полезные ссылки Лучшие практики AWS организации AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

DeepRacer - это сервис, позволяющий изучать ML в игровой форме через обучение гоночных машинок поведенческим паттернам для наилучшего прохождения треков. Саша (Solutions Architect, AWS) и Ростислав (Solution Architect, EPAM) в этом эпизоде рассказали в деталях о DeepRacer, о своём решении по управлению бюджетом, а также об опыте проведения DeepRacer ивента на 1000 человек для инженеров с различным бэкграундом и зоной экспертизы - разработчиков, аналитиков, системных инженеров, тестировщиков. Какие лиги есть в DeepRacer? Как правильно натренировать вашу модель? Как именно освоение DeepRacer может впоследствии помочь на проекте? Полезные ссылки DeepRacer сервис DeepRacer лиги DeepRacer квоты Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач. Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали: Что такое MLOps? Из каких фаз строиться MLOps - какие шаги включены в CI/CD. Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте. Как реализовать MLOps в AWS. MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок. Полезные ссылки Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines MLOps Workload Orchestrator Implementations Amazon EC2 Instance Types Amazon SageMaker Pricing - Machine Learning Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

Николай Пойда community builder рассказал о своем опыте сдаче 8 сертификатов. В этом выпуске вы узнаете: Кто такой AWS community builder, какие требования к участникам и какие бенефиты программы История Николая подготовки и сдачи 8-ми сертификатов. В каком порядке Николай сдавал, какие ресурсы использовал (все ссылки ниже). Мотивация важный компонент в долгом путешествии в мир облачной сертификации. Что именно мотивировало Николая сдать столько сертификатов. Поможет ли сертификация в карьере, на примере конкретного человека. Все это и не только в нашем выпуске про сертификацию. Полезные ссылки Курс на DA AWS Certified Developer Associate 2022 - Stephane Maarek AWS Certified Solutions Architect - Professional от Adrian Cantrill Практические тесты по сертификации. Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

Безопасность одна из важнейших задач для AWS, но стоить вопрос как именно защитить веб приложения. В этом выпуске мы подробно обсудили: - От чего защищаемся? И что такое OWASP Top 10 - Защита сетевого периметра с использованием AWS Network Firewall и AWS Firewall Manager, Security Groups - Что такое WAF? - Как он работает. - Какие WAF правила выбрать и как. На каком уровне модели OSI работает WAF, и каким сервисам можно его подключать. - Где лучше включать WAF на уровне CDN (CloudFront) или на уровне ALB? - Стоит ли защищать статический контент? - Как часто клиенты пишут свои WAF правила? И что такое WCU, и сколько правил стоит применять для своего приложения. - WAF и капча — как это работает. - Защита от DDoS - Шаг назад и разобрали что такое DoS и причем тут rate limiter - Какие типы атак бывают DoS/DDoS - Различие AWS Shield и AWS Shield Advanced. - Еще рекомендации, что вы можете сделать, чтобы защититься от DDoS. Полезные ссылки - AWS WAF - AWS Shield - Automatic application layer DDoS mitigatio - reInvent2021 Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этом выпуске ребята из EPAM деляться опытом постороения Data Lake: от разрозненных источников данных к Data Lake и к Data Mesh: как AWS может помочь организации управлять данными. · Место Data Lake в современной организации. Дата продукты и что из них готовят · Что предлагает AWS: каждый кейс индивидуален · DevOps: нетривиальные задачи – нетривиальные решения. · Безопасность превыше всего: AWS LakeFormation · Data Mesh как следующее звено эволюции использования данных Ссылки AWS Lake Formation Workshop Lake Formation access for federated users https://martinfowler.com/articles/data-monolith-to-mesh.html Data-mesh approach using Lake Formation https://aws.amazon.com/big-data/datalakes-and-analytics/what-is-a-data-lake/ https://ru.coursera.org/learn/introduction-to-designing-data-lakes-in-aws Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/или телеграмм https://t.me/VictorVedmich

Новостной выпуск, говорим о последних релизах с марта по апрель. Новые инстансы в AWS на базе AMD - C6a Amazon RDS Multi-AZ теперь поддерживает две RO реплики. Amazon Aurora Serverless v2 теперь в GA. Уточнение Amazon Aurora Serverless v2 - на текущий момент не поддерживает паузу, работает только с первой версией. AWS Lambda Function URLs - поддержка встроенных HTTPS точек доступа для небольших микросервисов. AWS Lambda теперь поддерживает до 10 ГБ временного хранилища. AWS Fargate увеличение скорости масштабирование в 16 раз. Amazon EKS теперь поддерживает Kubernetes 1.22, все детали этого обновления. Таймкоды: 00:01:00 - Новые инстансы на базе AMD C6a 00:05:39 - Amazon RDS Multi-AZ 00:08:35 - Amazon Aurora Serverless v2 00:12:35 - AWS Lambda Function URLs 00:16:00 - AWS Lambda supports 00:18:50 - AWS Fargate 00:22:10 - Amazon EKS supports k8s 1.22 00:29:00 - Секция новости одной строкой. Телеграм канал который был упомянут во время разговора - https://t.me/aws_notes Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

AWS предлагает большое количество разнообразных сертификаций, начиная с простого погружения в базовые знания облачных технологий, заканчивая сложными сертификатами уровня Pro (например, AWS Solution Architect Professional). Также существует множество сертификаций с узкой специализацией - базы данных, сети, безопасность и пр. Но стоит ли тратить свое время на подготовку и сдачу сертификатов в 2022-ом году? Какова их ценность и влияет ли прохождение сертификации на повышение уровня вашей экспертизы? Наша гостья Viktoria Semaan помогла разобраться с вопросами: Нужны ли сертификаты в 2022-ом году? Как часто работодатели обращают внимание на наличие сертификатов у кандидата? Стоит ли проходить сертификацию, если нет практического опыта? Как будет отличаться уровень сертификации Associate level vs Professional AWS Certified Solutions Architect – Associate Certification and AWS Certified Solutions Architect - Professional Certification Сертификаций много - в каком порядке правильно их сдавать? Как готовиться к сертификации? Таймкоды: 00:00:28 - Viktoria Semaan в гостях 00:01:35 - Виктория сдала 3 сертификата за 6 недель 00:05:06 - Нужны ли сертификаты в 2022-ом году? 00:14:35 - Как часто работодатели обращают внимание на наличие сертификатов у кандидата? 00:18:05 - Стоит ли проходить сертификацию, если нет практического опыта? 00:22:15 - Сертификаций много - в каком порядке правильно их сдавать? 00:25:55 - Как будет отличаться уровень сертификации Associate level vs Professional 00:31:33 - Как готовиться к сертификации? 00:36:09 - Стоит ли смотреть на примеры вопросов? Ссылки Профиль Viktoria Semaan Посты от Viktoria Semaan: AWS Developer Associate Certification AWS Solutions Architect Professional Free AWS Training and Certification vouchers for women! AWS Cloud Quest: Cloud Practitioner (game) Официальные бесплатные курсы Бесплатные программы для женщин https://awsshebuildscloudupcpe.splashthat.com/ https://awsshebuildscloudupsaa.splashthat.com/ Как получить практический опыт: https://workshops.aws/ https://www.wellarchitectedlabs.com/ https://awsworkshop.io/

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a. Таймкоды: 00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM 00:01:47 - Что мигрировали и почему 00:08:25 - С чего начинали миграцию 00:12:23 - Не удачная структура хранения данных 00:15:50 - MapReduce с помощью Jenkins-а 00:20:00 - Проблемы при миграции 00:22:33 - Почему множество Amazon EMR кластеров 00:26:33 - Что сделал бы сейчас по другому 00:29:40 - Инструменты для создания инфраструктуры 00:34:00 - Советы для других Ссылки Архитектурные разговоры - EMR + Glue + Lambda Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

В этом эпизоде мы поговорили про Serverless сервисы в AWS. Мы рассказали об основных сервисах таких как AWS Lambda, API Gateway, EventBridge, SNS, SQS, StepFunctions и как они помогут вам при создании новых микросервисных, event-driven приложений. Рассмотрели типичные сценарии использования этих сервисов и рассказали о лучших практиках их использования, как построить CI/CD для ваших лямбд. Также упомянули некоторые случаи, когда Serverless будет не лучшим вариантом. Таймкоды: 00:00:24 - Рома Бойко в гостях 00:02:28 - Почему serverless 00:07:20 - 4 характеристики serverless 00:09:05 - Cписок serverless сервисов в AWS 00:12:00 - Основные use-cases 00:16:23 - Как построить CI/CD для serverless 00:22:20 - Ограничения Lambda 00:24:30 - AWS Lambda power tuning 00:28:43 - Разогрев Lambda функций Ссылки Best practices of advanced serverless developers AWS Lambda power tuning Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

Анонсы в AWS идут каждый день, и чтобы оставаться в курсе последних новинок мы добавляем отдельную категорию - новостные выпуски. Обсудили следующие новинки: Guard Duty - теперь обнаруживает когда профиль EC2 инстанса, используется в другом AWS аккаунте. А также можно подключать Guard Duty к вашему Kubernetes EKS кластеру. Amazon VPC теперь поддерживает управляемый AWS список префиксов для Amazon CloudFront App Runner теперь поддерживает VPC Репликация существующих объектов с помощью batch репликации Amazon S3 Amazon DocumentDB (с совместимостью с MongoDB) добавляет дополнительные возможности геопространственных запросов Таймкоды: 00:01:10 - Guard Duty 00:10:55 - AWS-managed prefix list for Amazon CloudFront 00:13:58 - App Runner – VPC Support 00:19:10 - Replicate Existing Objects with Amazon S3 Batch Replication 00:22:35 - Mocking service integrations with AWS Step Functions Local 00:26:40 - Новости одной строкой Ссылки Guard Duty: Instance Credentials, EKS AWS-managed prefix list for Amazon CloudFront App Runner – VPC Support Mocking service integrations with AWS Step Functions Local Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/