Data Science

"Large Flow Language Models" What if we could turn existing LLMs into diffusionLMs that generate multiple tokens in parallel without losing accuracy? 📓 Read @datascienceiot

Бесплатная книга о больших языковых моделях – 315 страниц от предобучения до рассуждений. Foundations of Large Language Models Тун Сяо и Цзинбо Чжу системно объясняет, как устроены LLM, как их обучают и применяют. Внутри шесть основных тем: - Предобучение: задачи обучения и архитектуры моделей. - Генеративные модели: Transformer, подготовка данных, масштабирование и длинный контекст. - Промптинг: обучение на примерах в контексте, декомпозиция задач, RAG и инструменты. - Выравнивание: обучение выполнению инструкций и использование человеческой обратной связи. - Инференс: декодирование, ускорение и дополнительные вычисления во время генерации. - Рассуждения: методы улучшения способности решать сложные задачи. Авторы делают акцент на фундаментальных принципах. Материал подойдёт студентам, разработчикам и ML-инженерам, которым хочется связать отдельные знания о LLM в целостную картину. Книга на английском. Базовые знания машинного обучения и нейросетей помогут при чтении. Скачать PDF бесплатно: https://arxiv.org/pdf/2501.09223

Working with Agentic `Teammates': When a New Organizational Actor Collides with the Human Ecosystem of Work 📓 Read @datascienceiot

The Geometry of Agent Memory: Forecasting Retrieval-Bound Memory Failures, and Characterizing Its Limits 📓 Read @datascienceiot

At the Limits of Computability: Steps Towards Autonomous AI Discovery on the Busy Beaver Frontier 📓 Read @datascienceiot

Patch the Planet: global response coordination as agents uncover critical vulnerabilities https://openai.com/index/coordinated-disclosure-of-critical-vulnerabilities/ @datascienceiot

Зачем готовиться к собеседованию вслепую, если можно заранее посмотреть, какие будут вопросы и задачи? Ребята из Поступашек уже 6 лет собирают реальные задания и разборы собеседований в BigTech. Там можно найти не только сами вопросы, но и разборы технических секций, критерии оценки и рекомендации по подготовке. Собрали подборку полезных материалов под разные направления: ➡️ Аналитикам: — Собеседования на продуктового и бизнес-аналитика в Т-Банке 🟨 — Что спрашивают по A/B-тестированию в X5 🌿 , разбор собес на DS в Яндекс 🟥 ➡️ Разработчикам: — Go и System Design в Ozon 🔵, GO в Авито😎 — Банк алгоритмических собеседований из BigTech ➡️ ML/AI-инженерам: — Все вопросы на ML-собеседование в Яндексе 🟥 и ML в Авито 😎 — 10 кейсов по ML System Design в Т-Банке 🟨 ➡️ Тем, кто ищет первую стажировку: — Как получить стажировку в 2026 году — Где взять опыт, если его нет В Поступашках регулярно выходят новые разборы собеседований, карьерные гайды, стажировки и инсайды о найме в BigTech. Лучше увидеть эти вопросы до собеседования, чем узнать о них после отказа ПОСТУПАШКИ ПОДПИСАТЬСЯ

The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock 📓 Read @datascienceiot

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку Окружение решает больше, чем кажется. Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре. AI: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii DevOps: t.me/DevOPSitsec Docker: https://t.me/+90Z5TAyfuNU5YmRi Golang: t.me/Golang_google Rust: t.me/rust_code C++: t.me/cpluspluc C#: t.me/csharp_ci Java: t.me/javatg JavaScript: t.me/javascriptv React: t.me/react_tg Frontend: t.me/front PHP: t.me/phpshka Android: t.me/android_its Мобильная разработка: t.me/mobdevelop Базы данных: t.me/sqlhub Data Science: t.me/data_analysis_ml Big Data: t.me/bigdatai Математика: t.me/data_math Физика: t.me/fizmat Kubernetes: t.me/kubernetc GameDev: https://t.me/gamedev Haskell: t.me/haskell_tg Собеседования и карьера: DS собеседования: t.me/machinelearning_interview Python собеседования: t.me/python_job_interview Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy Полезное сверху: ИТ-мемы: t.me/memes_prog Английский для программистов: t.me/english_forprogrammers ИИ и технологии: t.me/vistehno 954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy Max Ai: https://max.ru/ai_machinelearning_big_data Max python: https://max.ru/pythonl ТЕХНО: https://max.ru/vistehno Max Go: https://max.ru/Golang_google Max Linux: https://max.ru/linuxkalii Devops: https://max.ru/DevOPSitsec C#: https://max.ru/csharp_ci C++: https://max.ru/cpluspluc SQL: https://max.ru/sqlhub Java: https://max.ru/javatg Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

LLM-to-Flow Distillation: Teaching Natural Language Goals to Scientific Generators 📓 Read @datascienceiot

С вас идея, а Т-Банк за нее заплатит В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября.  Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса. Успейте подать заявку до 11 ноября

Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling 📓 Read @datascienceiot

Agentic Large Language Models 📓 Book @datascienceiot

Physical AI: почему научить робота брать предметы сложнее, чем кажется Манипуляция объектами остаётся одной из актуальных задач робототехники. Антропоморфному роботу нужно оценить положение объекта, рассчитать силу захвата и скорректировать движение до того, как предмет упадёт. Отдельная проблема — генерализация: модели пока с трудом применяют освоенные навыки в новых условиях, поэтому о массовом появлении домашних роботов говорить рано. Как решаются эти задачи и на что уже способны современные роботы, разобрали CEO MWS Павел Воронин и руководитель Лаборатории интеллектуальной космической робототехники Сколтеха Дмитрий Тетерюков. Посмотреть выпуск подкаста «Паша AI AI AI» — тут. @datascienceiot Video is too big

Catching Developers in the Flow: Low-Latency Agentic Program Repair at Google Scale 📓 Read @datascienceiot

Forwarded From 📌Baseten выпустила бесплатный учебник по инженерии инференса Платформа, которая хостит модели Cursor, Notion и Harvey, выложила в открытый доступ книгу Inference Engineering за авторством Филипа Кайли. который четыре года работает в Baseten и написал её по интервью с инженерами компании и собственным докладам. Среди рецензентов - автор FlashAttention Три Дао. Книга собирает в одном месте путь от выбора модели и GPU до мониторинга работающего сервиса. Baseten основана в 2019 году тремя выходцами из Gumroad, четвёртым сооснователем стал Панкадж Гупта из Uber. Компания продаёт выделенные развёртывания открытых и собственных моделей клиентов, готовые Model APIs и инфраструктуру для дообучения, а также развивает открытый фреймворк упаковки моделей Truss. Восемь глав объясняют, как сформулировать требования к продукту, как устроены модели и где они тормозят, прежде всего в механизме внимания, разбирают GPU NVIDIA поколений Hopper и Blackwell и программный уровень, от CUDA и PyTorch до движков vLLM, SGLang, TensorRT-LLM и Dynamo. Отдельные главы посвящены методам ускорения, моделям для речи, изображений и видео, а также эксплуатации - от автомасштабирования и батчинга до постепенной выкатки новых версий. Новичку книга даёт карту области и порядок действий - как определить задачу, бюджет задержки, стоимости и подобрать модель, а в последующем заняться оптимизацией. Базовые понятия вроде предзаполнения, декодирования и KV-кэша объяснены с нуля, а незнакомые термины можно найти в глоссарии. Опытным инженерам будут интересны пороги и практические правила. Для каждой техники ускорения автор объясняет, как она устроена, при каком трафике и размере модели окупается и чем рискует качество ответов. Отдельно сравниваются движки инференса и разобраны задачи эксплуатации, которые обычно приходится решать методом проб и ошибок. Последний раздел посвящён продуктам компании, а оборудование рассматривается почти целиком на примере NVIDIA, другим ускорителям отведено около двух страниц. 🔜 Запросить книгу бесплатно в форматах PDF, EPUB или аудиоверсию @ai_machinelearning_big_data #AI #ML #Inference #Book #Baseten

Бесплатные учебники по математике от профессора Университета Альберты Джереми Сильвестр, доцент кафедры математики Университета Альберты, выложил свои учебники в открытый доступ. Их можно читать онлайн, а часть скачать в PDF. Главная находка здесь Discover Linear Algebra, полноценный курс линейной алгебры на два семестра. Для тех, кому нужно быстрее, есть сокращённая версия на один семестр. Для ML это база: векторы, матрицы, собственные значения, разложения и всё, на чём держатся нейросети. Ещё два учебника: Calculus Concepts & Modelling по матанализу и дифференциальным уравнениям с упором на моделирование и Elementary Foundations по дискретной математике и логике, который автор обещает скоро открыть полностью. Хороший вариант, если хочется подтянуть математику под машинное обучение по нормальным университетским учебникам и бесплатно. https://sites.ualberta.ca/~jsylvest/

Подключить ИИ-агента к базе просто. Определить, что ему разрешено делать, сложнее. Пока агент только отвечает в чате, его ошибку можно заметить и исправить. Когда он получает доступ к данным, внешним API и исполнению кода, ошибка уже может превратиться в действие. Поэтому заранее стоит определить: какие данные агент видит, какие инструменты вызывает и какие операции требуют проверки. Эти вопросы разбирает «Лаборатория Касперского» в руководстве «Безопасность ИИ-агентов через призму кибериммунитета». Внутри: атаки через контекст на примере EchoLeak, SearchLeak и CamoLeak, границы доверия к LLM и подходы к изоляции инструментов. Пригодится разработчикам и архитекторам, которые внедряют агентов в реальные процессы. Скачать

📚 280 страниц о машинном обучении в инвестициях от J.P. Morgan Big Data and AI Strategies Марко Колановича и Раджеша Кришнамачари: масштабный отчёт о том, как использовать ML и альтернативные данные для анализа рынков. Внутри: • Какие данные могут дополнять финансовую отчётность: соцсети, поисковые запросы, транзакции и другие источники. • Как оценивать их качество и полезность. • Обзор методов машинного обучения для анализа данных. • Возможности и ограничения применения этих подходов в инвестициях. Отчёт вышел в 2017 году. Его стоит читать как фундаментальный материал по ML и данным в финансах, учитывая возраст примеров. PDF доступен бесплатно, на английском: 📓 Книга @datascienceiot