Data Science. SQL hub
Data Science, анализ данных, SQL — всё о работе с информацией в нашем канале! Подписывайтесь!
Публикации канала
Один CVE - три уязвимости: раскрыты детали взлома Oracle PeopleSoft, которым пользовалась ShinyHunters. Исследователи ZDI выяснили, что за CVE-2026-35273 с оценкой CVSS 9.8 скрываются три ошибки в двух компонентах PeopleSoft. Начало цепочки – SSRF: атакующий заставляет сервер отправить запрос к собственному внутреннему интерфейсу управления. Этот интерфейс по умолчанию доверяет обращениям с 127.0.0.1. Поэтому внешний запрос, перенаправленный самим сервером, проходит проверку как локальный. Полученный доступ открывает два пути к выполнению кода без авторизации: через произвольную запись файлов или небезопасную обработку XML. Oracle закрыла все три проблемы 10 июня, объединив их под одним CVE. ShinyHunters эксплуатировала цепочку ещё до выхода исправления, первоначально атакуя преимущественно университеты. Затронуты PeopleTools 8.61 и 8.62. Блокировка отдельных URL на WAF не заменяет патч. Если сервер уже взломан, обновления также недостаточно – нужны проверка компрометации и смена доступных ему учётных данных. https://thehackernews.com/2026/10/shinyhunters-exploited-oracle.html
Microsoft предложит до 60 тысячам сотрудников добровольно уйти с компенсацией. Программа охватит подходящих под условия сотрудников в США, Великобритании, Канаде и Индии, сообщает The Verge. Среди участвующих направлений – Copilot, CoreAI, Windows + Devices, Xbox, финансы и HR. Некоторые подразделения участвуют частично, а маркетинг, коммерческий бизнес и безопасность исключены. Компания предлагает финансовую поддержку и помощь в планировании карьеры. В отличие от прежней программы добровольного выхода на пенсию, новая не привязана к возрасту, стажу или результатам работы. 60 тысяч – число сотрудников, которым доступно предложение, а не объявленное количество увольнений. Сколько человек его примут, пока неизвестно. Программа появилась спустя несколько месяцев после сокращения 4800 рабочих мест. https://www.theverge.com/tech/1018666/microsoft-expands-buyouts-60000-employees-eligible
Пишешь «научи меня SQL»: Claude собирает персональный аудиокурс со ссылками на источники. Claudemy - open-source навык для Claude Code, который превращает выбранную тему примерно в 12 двухминутных уроков в формате разговора двух ведущих. Как это работает: - Изучает 20–40 страниц: документацию, практические материалы и альтернативные мнения. - Сопоставляет источники и отмечает, где они расходятся. - Создаёт пробный урок и ждёт вашей реакции. - Затем готовит остальной курс. К каждому уроку прилагаются краткая выжимка, небольшое практическое задание и ссылки. Основные правила собираются в отдельный файл. Есть проверка цитирования: урок не принимается, если ссылается на страницу, которую система не читала. Это проверка происхождения ссылок, а не гарантия истинности всех выводов. Можно заказать курс по материалам конкретного автора — например, его блогу. Лицензия MIT. Для работы нужен Claude Code с веб-поиском. Озвучка — через ElevenLabs либо бесплатные встроенные голоса macOS; использование Claude и ElevenLabs оплачивается отдельно. https://github.com/assafkip/claudemy
Какая команда в PostgreSQL используется для установки дополнительных модулей, таких как pg_stat_statements или postgis? Anonymous Quiz 49% - CREATE EXTENSION 18% - LOAD MODULE 24% - INSTALL PACKAGE 10% - IMPORT PLUGIN
Алгоритм знает, где вы будете 7-го ноября 😎 RecSys-митап в Москве для тех, кто уже строит рекомендательные системы и хочет делать это еще лучше. В программе — доклады от топовых экспертов Сбера с разбором кейсов, свежих подходов и неочевидных решений. После официальной части — нетворкинг. Время в узком кругу профессионалов и сообщества Зеленый RecSys. Участие бесплатное, но количество мест ограничено. Москва. Суббота. 7 ноября. RecSys! ➡️ регистрируйтесь
Какой оператор используется в PostgreSQL для проверки, содержит ли левый массив в себе все элементы правого массива? Anonymous Quiz 42% - IN 28% - @> 17% - <@ 13% - &&
One Day Offer: стань щитом для миллионов клиентов! 🔥 В департамент противодействия мошенничеству Сбера нужен аналитик данных в антифрод — чтобы разбирать тренды мошенничества, находить скрытые паттерны и превращать их в правила защиты. Готов к таким задачам — добро пожаловать на One Day Offer: отбор за один день, разбор реальных кейсов, быстрая обратная связь. 24 октября, онлайн, регистрация и подробности — здесь!
🐘 ИИ нашёл столько багов в PostgreSQL 19, что разработчики не успевают их исправить Релиз теперь ожидается примерно 19 ноября. Во время беты из него убрали около 8–10 крупных функций. По словам коммиттера PostgreSQL Питера Айзентраута, ревью с помощью LLM выявляет редкие ошибки, которые раньше могли всплывать годами. Теперь десятки отчётов приходят сразу. Каждый нужно разобрать, подготовить исправление и проверить, даже если патч занимает три строки. При этом ИИ лишь часть причин: у некоторых функций обнаружились архитектурные проблемы, а опытные разработчики были заняты исправлением уязвимостей. Айзентраут также отмечает, что большая часть затронутого кода появилась ещё до распространения вайбкодинга. Поиск ошибок ускорился. На их исправление по-прежнему нужно время людей. https://peter.eisentraut.org/blog/2026/10/09/the-reverts-will-continue-until-morale-improves
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку Окружение решает больше, чем кажется. Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре. AI: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Хакинг: t.me/linuxkalii DevOps: t.me/DevOPSitsec Docker: https://t.me/+90Z5TAyfuNU5YmRi Golang: t.me/Golang_google Rust: t.me/rust_code C++: t.me/cpluspluc C#: t.me/csharp_ci Java: t.me/javatg JavaScript: t.me/javascriptv React: t.me/react_tg Frontend: t.me/front PHP: t.me/phpshka Android: t.me/android_its Мобильная разработка: t.me/mobdevelop Базы данных: t.me/sqlhub Data Science: t.me/data_analysis_ml Big Data: t.me/bigdatai Математика: t.me/data_math Физика: t.me/fizmat Kubernetes: t.me/kubernetc GameDev: https://t.me/gamedev Haskell: t.me/haskell_tg Собеседования и карьера: DS собеседования: t.me/machinelearning_interview Python собеседования: t.me/python_job_interview Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy Полезное сверху: ИТ-мемы: t.me/memes_prog Английский для программистов: t.me/english_forprogrammers ИИ и технологии: t.me/vistehno 954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy Max Ai: https://max.ru/ai_machinelearning_big_data Max python: https://max.ru/pythonl ТЕХНО: https://max.ru/vistehno Max Go: https://max.ru/Golang_google Max Linux: https://max.ru/linuxkalii Devops: https://max.ru/DevOPSitsec C#: https://max.ru/csharp_ci C++: https://max.ru/cpluspluc SQL: https://max.ru/sqlhub Java: https://max.ru/javatg Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Forwarded From Machinelearning 🖥 Tencent выкатила Hy Memory 2.0: открытая модель, фреймворк и MemHub для долгой памяти ИИ-агентов Hunyuan выпустили сразу три вещи в одном релизе. Модель Hy-Memory-30B-A3B, SDK-фреймворк и приложение MemHub. По заявлению Tencent, это №1 среди открытых решений на четырёх бенчмарках памяти, а сама модель обходит Opus 5 в ряде популярных фреймворков. Фреймворк работает с тремя типами памяти: из обычных чатов, из рабочих задач и из кода. То есть агент помнит не только то, о чём вы болтали, но и что делали в проекте. MemHub, у него есть CLI и версия для Mac, синхронизирует память между более чем десятью ИИ-инструментами. Один раз рассказал контекст, и он доступен везде, без повторных объяснений каждому ассистенту. Модель на 30B параметров с 3B активными (MoE), так что гонять её локально реалистичнее, чем кажется по цифре. Пока это цифры от самих авторов, независимые замеры стоит дождаться. Код и MemHub: https://github.com/Tencent-Hunyuan/Hy-Memory Модель: https://huggingface.co/tencent/Hy-Memory-30B-A3B Github: https://github.com/Tencent-Hunyuan/Hy-Memory @ai_machinelearning_big_data
Oracle показала архитектуру агентной системы для генерации и проверки контрактов на Kubernetes Команда Oracle AI & Data Science описала, как построить на OKE (Oracle Kubernetes Engine) платформу, которая автоматически собирает договоры и сверяет их версии. Ключевая мысль инженеров: LLM здесь не источник истины для юридических формулировок и цен. Модель работает внутри структурированных входных данных и заданных админом бизнес-правил. Как это устроено. На вход идёт PDF-коммерческое предложение из CPQ, его разбирают в JSON, раскладывают по шаблону договора и применяют правила. Второй сценарий сравнивает изменённый договор с оригиналом и сохраняет структурированный diff. На выходе пользователь может поправить результат и скачать DOCX. Под капотом пять агентов: разбор CPQ, разбор контракта, маппинг, дополнение контракта и ревью. Оркестрирует всё LangGraph с чекпойнтами и прерываниями. Агенты общаются с оркестратором по A2A, а инструменты находят и вызывают через MCP. Длинные шаги ставятся на паузу и возобновляются по вебхуку, состояние лежит в Redis. Задачи идут через очереди OCI Queue, после трёх неудачных попыток сообщение попадает в DLQ, а пользователю не надо загружать файл заново. Мне показались интересными три инженерные детали. Перед любым рассуждением агента воркер прогоняет guardrails: проверка на prompt injection, вредоносный контент и маскирование PII. Есть реестр агентов как плоскость управления: админ меняет связки агентов с инструментами и бизнес-правила без передеплоя. И есть фреймворк оценки, который сверяет извлечённый JSON с эталоном до того, как изменения в промптах, модели или правилах попадут в прод. Честные оговорки: конкретные LLM в статье не названы, цифр по скорости и стоимости нет, а кода и репозитория не приложено. Это референс-архитектура, а не готовый открытый проект. Источник: https://blogs.oracle.com/ai-and-datascience/agentic-contract-generation-review-on-oke-enterprise-ai
🐍 Когда стандартного `sqlite3` в Python становится мало, есть APSW. Another Python SQLite Wrapper даёт доступ к полному C API SQLite из Python. Что можно использовать: • Виртуальные таблицы для подключения собственных источников данных. • VFS для управления тем, как SQLite работает с файлами. • Session API для записи и применения наборов изменений. • Полнотекстовый поиск, JSON и передачу массивов через CArray. • Синхронный код и поддержку асинхронных фреймворков. Для обычных SQL-запросов встроенного sqlite3 часто достаточно. APSW полезен, когда нужны расширенные возможности SQLite и более глубокий контроль над движком. Установка: pip install apsw https://github.com/rogerbinns/apsw
🍃 Добавить реплику MongoDB, не копируя всю базу: что меняет Atlas Infinite В привычной архитектуре каждый узел replica set хранит полную копию данных. Добавление реплики или изменение размера узла требует перемещения больших объёмов данных. Atlas Infinite разделяет вычисления и хранение. Узлы выполняют запросы, а общий слой хранения, написанный на Rust, отвечает за журнал, страницы данных и долговечность. Вычислительные ресурсы и хранилище масштабируются независимо. Самая интересная деталь: два журнала с разными задачами. • oplog фиксирует логические операции. Запись подтверждается после устойчивого сохранения большинством реплик журнала. • phylog передаёт физические изменения страниц при checkpoint, сохраняя пакетную обработку WiredTiger. То есть подтверждение записи отделено от подготовки страниц для чтения. Новая read replica подключается к общим страницам и догоняет хвост журнала. Ей не нужно сначала копировать всю базу. А данные шифруются на вычислительном узле: общий storage-слой работает с зашифрованным содержимым. Для приложения сохраняются протокол, драйверы и семантика операций. Меняется инфраструктура под базой. Atlas Infinite пока в public preview. Хороший разбор для тех, кому интересны внутренности СУБД: https://muratbuffalo.blogspot.com/2026/10/atlas-infinite-mongodbs-disaggregated.html @sqlhub
Forwarded From Machinelearning 🔍 Microsoft выпустила модель, которая только принимает решения. В 35 раз быстрее GPT-6 Sol, выходные токены бесплатно Microsoft-Decision-1 получает запрос и фиксированный набор вариантов и за один проход выдаёт откалиброванную вероятность для каждого. Да/нет, выбор из списка, рейтинг, оценка ответа ИИ или действия агента по рубрике. Внутри Qwen3.5-9B после пост-трейна. На 36 закрытых бенчмарках, почти 150 тысяч вопросов, модель показала лучшую точность среди LLM и других decision-моделей. По задержке она в 4,5 раза быстрее ближайшего конкурента и в 35 раз быстрее GPT-6 Sol. На перефразированных и перемешанных вариантах решение меняется лишь в 1,3% случаев. Внутри Microsoft её уже используют. Xbox Research разметили 10 тысяч отзывов с качеством уровня GPT-6 Sol, но в 14 раз быстрее и в 200 раз дешевле. В Copilot модель оценивает ответы агентов в 100 раз быстрее GPT-5.6 Luna. Цена $0,042 за миллион входных токенов. Уже в Microsoft Foundry, скоро на OpenRouter. https://commandline.microsoft.com/microsoft-decision-1-model-foundry/ @ai_machinelearning_big_data #Microsoft
Как мы перешли от CatBoost к нейросетям в рекомендациях Авито Рекомендации на главной дают Авито половину просмотров объявлений и около 30% контактов покупателей с продавцами. С 2020 года их ранжировал CatBoost, но со временем он упёрся в потолок: даже кратно больше данных уже не давало прироста качества. Мы перешли на нейросетевое ранжирование, и вот что получилось: 🚀 +4,3% пользователей с контактами из рекомендаций 🤝 +0,8% пользователей, совершивших сделку, по всему Авито Техлид команды рекомендаций Ярослав Хныков рассказал на Хабре, какие решения сработали. Больше про DS в Авито пишем в канале «Доска AI-объявлений».
🧮 Математика для ИИ на русском: от школьной базы до трансформеров и диффузии Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи. Внутри: • Линейная алгебра, производные, вероятности и статистика. • Backpropagation, оптимизаторы, функции потерь и attention. • Генеративные модели, обучение с подкреплением, RAG и рекомендации. Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN. Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц. https://github.com/justxor/math-for-ai-2026
🧩 SQL-задача: почему `LAG()` здесь подведёт? Есть интервалы работы сервера. Время указано в минутах: id | start_at | end_at ---+----------+------- 1 | 1 | 10 2 | 2 | 3 3 | 9 | 12 4 | 15 | 16 5 | 16 | 20 Объедините пересекающиеся и соприкасающиеся интервалы. Вложенные интервалы тоже учитываются. Ожидаемый результат: start_at | end_at ---------+------- 1 | 12 15 | 20 Попробуйте решить до просмотра ответа 👇 Решение для PostgreSQL: WITH bounds AS ( SELECT *, MAX(end_at) OVER ( ORDER BY start_at, end_at, id ROWS BETWEEN UNBOUNDED PRECEDING AND 1 PRECEDING ) AS prev_max FROM intervals ), marked AS ( SELECT *, CASE WHEN prev_max IS NULL OR start_at > prev_max THEN 1 ELSE 0 END AS new_group FROM bounds ), grouped AS ( SELECT *, SUM(new_group) OVER ( ORDER BY start_at, end_at, id ROWS UNBOUNDED PRECEDING ) AS grp FROM marked ) SELECT MIN(start_at) AS start_at, MAX(end_at) AS end_at FROM grouped GROUP BY grp ORDER BY start_at; Подвох: LAG(end_at) для интервала [9,12] вернёт 3 и ошибочно начнёт новую группу. Но более ранний интервал [1,10] всё ещё перекрывает его. Нужен максимальный конец среди всех предыдущих строк, а не только конец соседней.
ИИ-агент отвечает настолько точно, насколько готовы ваши данные. Как понять, что они готовы? Разберёмся 23 октября в Москве на Fine Day 2026, офлайн-конференции о переходе от self-service BI к AI-native аналитике. 💡 В программе: • дискуссия с руководителями аналитики ПИК, ДИКСИ, СИБУР и АвтоВАЗ: что нужно данным и командам для работы с ИИ • миграция с Qlik и Power BI на FineBI, в том числе с помощью ИИ-агентов • BI-система vs LLM: какие задачи кому отдавать, опыт Мосбиржи демо FineBI 7.0 и ИИ-агентов Dora, можно принести свой сценарий Участие бесплатное. После регистрации получите чек-лист «Готовы ли ваши данные к ИИ-агенту?» из 25 вопросов. 👉 Регистрация: https://clck.ru/3WMPsm Реклама: ООО «ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ» ИНН: 9729274905 ERid: 2VtzqvJYWyT
Комментарии
Комментариев пока нет
Комментарии пишут вошедшие — так видно, кто автор.
Войти