Добавить новость
smi24.net
News in English
Апрель
2024

MMM and MMMSynth: Clustering of heterogeneous tabular data, and synthetic data generation

0

by Chandrani Kumari, Rahul Siddharthan

We provide new algorithms for two tasks relating to heterogeneous tabular datasets: clustering, and synthetic data generation. Tabular datasets typically consist of heterogeneous data types (numerical, ordinal, categorical) in columns, but may also have hidden cluster structure in their rows: for example, they may be drawn from heterogeneous (geographical, socioeconomic, methodological) sources, such that the outcome variable they describe (such as the presence of a disease) may depend not only on the other variables but on the cluster context. Moreover, sharing of biomedical data is often hindered by patient confidentiality laws, and there is current interest in algorithms to generate synthetic tabular data from real data, for example via deep learning. We demonstrate a novel EM-based clustering algorithm, MMM (“Madras Mixture Model”), that outperforms standard algorithms in determining clusters in synthetic heterogeneous data, and recovers structure in real data. Based on this, we demonstrate a synthetic tabular data generation algorithm, MMMsynth, that pre-clusters the input data, and generates cluster-wise synthetic data assuming cluster-specific data distributions for the input columns. We benchmark this algorithm by testing the performance of standard ML algorithms when they are trained on synthetic data and tested on real published datasets. Our synthetic data generation algorithm outperforms other literature tabular-data generators, and approaches the performance of training purely with real data.







«Это лучшее, что я видела за последнее время». «Тату» вернулись и уже дают концерты. Почему за ними следит вся страна?

На банкет – в Fish Point Family Resort

Мичков внесен в Книгу знаменитых людей Кунгура, сообщил директор кунгурского музея: «Никаких его трофеев в музее пока нет, к сожалению»

Игровые терминалы в ТЦ: союз ради будущего


La UFC anuncia un mes de octubre mayúsculo

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

Stanford dropout Sam Altman says college is ‘not working great’ for most people—and predicts major change in the next 18 years

Brit Who Fought Usyk Calls For Daniel Dubois To ‘Leave The Sport’ After Staying Down In Rematch


Компания MONT расширила ИБ-портфель отечественной системой exploitDog

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

В Московской области задержан томский предприниматель, укравший 8,5 млн рублей

«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России


The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game

Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes

Краткая биографическая справка о центральных персонажах Mafia: The Old Country

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



В Третьяковке на Кадашевской набережной открылся концертный зал

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

«Каникулы с Росгвардией» проходят в регионах Центральной России


Игровые терминалы в ТЦ: союз ради будущего

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Дом с аркой отремонтируют в Отрадном

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты


Кара небесная: людей какого типа молния поражает смертельным ударом

В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее

Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

Синоптик Тишковец: череда тропических ливней в Москве завершена


Винус Уильямс получила wild card на турнир категории WTA 1000 в Цинциннати

Фриц пробился в четвертьфинал турнира в Вашингтоне.

Теннисистка Саккари спасла жука во время матча на турнире в США

Алькарас рассказал, считает ли Синнера своим другом после поражения в финале Уимблдона


Пять земельных участков для размещения НКО доступны на городских торгах

Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

Шаляпин успокоил дочь Бони Анджелину после ее конфликта с мамой

Синоптик Тишковец: череда тропических ливней в Москве завершена


Музыкальные новости

В Петербурге требуют заблокировать сайты, продающие липовые билеты в Мариинку

Аукцион за часть дачи Пугачевой опровергли

Рискнул на 100 тысяч рублей: инженер из Смоленска купил более 1,7 тысячи лотерейных билетов и выиграл автомобиль от «Национальной Лотереи» и РОЛЬФ на VK Fest

Врач Поляков: Киркоров рискует сойти с ума из-за препарата для похудения


«Каникулы с Росгвардией» проходят в регионах Центральной России

Технологии будущего: MGIMO Ventures объявляет старт четвертого сезона акселерационной программы

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России


Акция «Каникулы с Росгвардией» продолжается в Чеченской Республике

ЦСКА подписал контракт с нападающим Спронгом, выступавшим в НХЛ

Михаил Ефремов разъехался с женой на фоне новостей о разводе

Алгоритмы Яндекс Музыки. Алгоритмы продвижения в Яндекс Музыка.


Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

На МКАД в Москве произошло массовое ДТП, движение затруднено

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

В столичном главке Росгвардии проведён смотр спецтехники


У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

В сентябре Путину будет представлена обновленная программа строительства кораблей для ВМФ.


Штамм коронавируса "стратус" захватил 22% всех вирусных заболеваний в Москве

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Депздрав Москвы: новый штамм коронавируса "стратус" фиксируют в Москве с мая

Новый штамм коронавируса "стратус" фиксируют в Москве с мая



Utrace запускает услугу по валидации IT-систем для фармацевтического рынка

Пластический хирург Софья Абдулаева: подтяжка груди нитями - эффективно ли это

Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


«Каникулы с Росгвардией» проходят в регионах Центральной России

Пять земельных участков для размещения НКО доступны на городских торгах

Игровые терминалы в ТЦ: союз ради будущего

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"


Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию


Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Сергей Собянин. Главное за день

Сергей Собянин поздравил москвича — победителя международной олимпиады по физике

Сергей Собянин осмотрел Дом-музей Федора Конюхова


Бурмистров: лисы могут появляться на улицах Москвы в период расселения

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин

Исследование выявило снижение инвестиций в экологически чистую энергетику США.


«Ъ»: руководство «Шанинки» опасается отзыва госаккредитации

В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее

Как мы в Fix Price автоматизировали создание рекламных видео

Пять земельных участков для размещения НКО доступны на городских торгах


В Архангельске началось обучение бойцов СВО, сообщил Цыбульский.

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.


В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Лавандовое поле горит в Симферопольском районе Крыма

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму


Игровые терминалы в ТЦ: союз ради будущего

Пять земельных участков для размещения НКО доступны на городских торгах

В Самарской области за полгода открыто 410 вакансий для сисадминов, что на 22% меньше, чем годом ранее

Синоптик Тишковец: череда тропических ливней в Москве завершена














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *