Добавить новость
smi24.net
News in English
Апрель
2024

MMM and MMMSynth: Clustering of heterogeneous tabular data, and synthetic data generation

0

by Chandrani Kumari, Rahul Siddharthan

We provide new algorithms for two tasks relating to heterogeneous tabular datasets: clustering, and synthetic data generation. Tabular datasets typically consist of heterogeneous data types (numerical, ordinal, categorical) in columns, but may also have hidden cluster structure in their rows: for example, they may be drawn from heterogeneous (geographical, socioeconomic, methodological) sources, such that the outcome variable they describe (such as the presence of a disease) may depend not only on the other variables but on the cluster context. Moreover, sharing of biomedical data is often hindered by patient confidentiality laws, and there is current interest in algorithms to generate synthetic tabular data from real data, for example via deep learning. We demonstrate a novel EM-based clustering algorithm, MMM (“Madras Mixture Model”), that outperforms standard algorithms in determining clusters in synthetic heterogeneous data, and recovers structure in real data. Based on this, we demonstrate a synthetic tabular data generation algorithm, MMMsynth, that pre-clusters the input data, and generates cluster-wise synthetic data assuming cluster-specific data distributions for the input columns. We benchmark this algorithm by testing the performance of standard ML algorithms when they are trained on synthetic data and tested on real published datasets. Our synthetic data generation algorithm outperforms other literature tabular-data generators, and approaches the performance of training purely with real data.







Екатеринбург масштабно отметит свой день рождения

Мичков внесен в Книгу знаменитых людей Кунгура, сообщил директор кунгурского музея: «Никаких его трофеев в музее пока нет, к сожалению»

Paul Oakenfold возвращается в Россию: легенда электронной музыки даст концерты в Москве и Петербурге спустя 7 лет

Рэпер Баста открыл свой ресторан в Marins Park Hotel Екатеринбург


Why Juventus spent 111m this summer for only one new player

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

La UFC anuncia un mes de octubre mayúsculo


Дивеево ..

Летний Петербург. Сад--трасформер на Московской площади.

Отдых в отеле, джип и частный дом: какие взятки мог получить экс-губернатор Тамбовской области

НПС построит новые съезды с Северо-Восточной хорды


Краткая биографическая справка о центральных персонажах Mafia: The Old Country

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Третьяковке на Кадашевской набережной открылся концертный зал

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

История СССР в объективе легендарного Дмитрия Бальтерманца

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры


В МЧС предупредили москвичей о жаре +30 градусов 25 июля

Рекордный массовый женский нетворкинг: событие от «Мир Бизнес Мам»

Путин призвал жёстко пресекать вмешательство извне: «Суверенитет и ценности — под защитой»

Сразу до +35 градусов: синоптики рассказали, когда снова вернется жара. Ждать осталось недолго


Теннисистка Калинская вышла в четвертьфинал турнира WTA 500 в Вашингтоне

Теннисистка Саккари спасла жука во время матча на турнире в США

Новак Джокович проводит 900-ю неделю в топ-10 рейтинга ATP

Фриц пробился в четвертьфинал турнира в Вашингтоне.


Патрушев: НАТО усиливает давление у морских границ России

В МЧС предупредили москвичей о жаре +30 градусов 25 июля

Премьер Австралии reaffirmed commitment to the establishment of two states.

Врач Соловьева: прокрастинация может быть симптомом депрессии


Музыкальные новости

AI Певица. Создание AI Певицы. AI Певец. AI Артист.

Рискнул на 100 тысяч рублей: инженер из Смоленска купил более 1,7 тысячи лотерейных билетов и выиграл автомобиль от «Национальной Лотереи» и РОЛЬФ на VK Fest

Распродавал дома оставил миллионный долг — что достанется родственникам Оззи Осборна и почему он избавлялся от недвижимости в США

Рэпер Баста открыл свой ресторан в Marins Park Hotel Екатеринбург


В Третьяковке на Кадашевской набережной открылся концертный зал

«Каникулы с Росгвардией» проходят в регионах Центральной России

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве


Движение к победе: в России стартует премия «Мы верим твердо в героев спорта»

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Бастрыкин поставил на контроль дело об избиении мужчиной ребенка в Подмосковье

ЦСКА подписал контракт с нападающим Спронгом, выступавшим в НХЛ


На МКАД в Москве произошло массовое ДТП, движение затруднено

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы

В столичном главке Росгвардии проведён смотр спецтехники


У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

"Ультиматум Трампа: потенциальные последствия для Путина"

Соболезнования в связи с авиакатастрофой в Амурской области выразили зарубежные лидеры

В сентябре Путину будет представлена обновленная программа строительства кораблей для ВМФ.


Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Штамм коронавируса "стратус" захватил 22% всех вирусных заболеваний в Москве

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая



Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Пластический хирург Софья Абдулаева: подтяжка груди нитями - эффективно ли это

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире


Две трети россиян считают, что спортсмены зарабатывают слишком много

Игровые терминалы в ТЦ: союз ради будущего

«Каникулы с Росгвардией» проходят в регионах Центральной России

Пять земельных участков для размещения НКО доступны на городских торгах


Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне


Сергей Собянин осмотрел Дом-музей Федора Конюхова

Сергей Собянин. Главное за день

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом


Исследование выявило снижение инвестиций в экологически чистую энергетику США.

Бурмистров: лисы могут появляться на улицах Москвы в период расселения

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

Москвичи теперь должны платить за зарядку своих электромобилей


Больше 20 поездов задерживаются из-за падения обломков БПЛА на юге России (Обновлено!)

Патрушев: НАТО усиливает давление у морских границ России

В МЧС предупредили москвичей о жаре +30 градусов 25 июля

В районе Невинномысска уничтожили 37 дронов.


В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

В Архангельске началось обучение бойцов СВО, сообщил Цыбульский.


Россияне выбирают Крым для отдыха с детьми – названы города-лидеры

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму

Прогноз погоды в Крыму на 25 июля

Лавандовое поле горит в Симферопольском районе Крыма


В МЧС предупредили москвичей о жаре +30 градусов 25 июля

В Ярославской области регистрировалось три групповых очага кори

Польша радуется новым запасам нефти и газа, но есть одна важная проблема.

Математика Савватеева возмутило заявление о "лишних" учителях














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *