ICQ
Навигация
Главная
Карта сайта
Форум сайта
Поиск по сайту
Обратная связь

Разделы
Разное про ICQ
Для мобильного
Для компьютера
Сетевые новости

ICQ
Статус ICQ на сайте
Проверка ICQ статуса
Информер статуса ICQ

Загрузки
Файлы
IPDBrute
Скачать ICQ
Скачать JIMM
Мобильная ICQ

Магазин
On-Line ICQ магазин

RSS канал
Нас посетили
Понедельник1651
Вторник1589
Среда344
Четверг1411
Пятница1341
Суббота1218
Воскресенье1163
Сейчас online:218
Было всего:6220047
Рекорд:28766
Ваш IP адрес

Ваш IP: 54.234.190.237

 

Новое программное обеспечение увеличивает скорость анализа больших данных в 100 раз

  | Сетевые новости 

Новое программное обеспечение увеличивает скорость анализа больших данных в 100 раз

Новая система, разработанная для вычислений тензорной алгебры, может обеспечить возрастание скорости в 100 раз по сравнению с программными пакетами, использовавшимися до этого. Учёные из Массачусетского технологического института (Massachusetts Institute of Technology) создали новую программу, которая автоматически генерирует код, оптимизированный для разреженных данных. Этот процесс ведёт к ускорению обработки больших массивов информации.

Для анализа больших данных необходим целый комплекс процессов. Представим, что коммерческий сетевой ресурс, например, Amazon, пожелает сопоставить каждого своего клиента с каждым представленным товаром, поставив «1», если товар был куплен, и «0» в противном случае. Результатом будет невероятно огромная таблица данных, в основном состоящая из нулей. Это то, что называется разреженными данными. Когда такие данные обрабатываются, алгоритм анализа вынужден постоянно складывать нули и умножать их. Это очевидная трата ресурсов: и времени, и мощности компьютера.

Последнее исследование MIT строится вокруг нового программного продукта, автоматически создающего код, оптимизированный под разреженные данные. Систему, которая это делает, назвали Taco по аббревиатуре для компилятора тензорной алгебры (tensor algebra compiler). Тензор — это многомерный аналог матрицы, а данные, которые необходимо обработать, обычно хранятся в матрицах. Эффективностью метод обязан математическим операциям, проводимым на тензорах, они работают быстрее, чем аналогичные операции с матрицами, если каждой последовательности тензорных операций выделено собственное «ядро» (шаблон расчёта).

Чтобы реализовать эту технологию, необходимо было признать важность анализа больших данных. При запуске Taco программист указывает размер тензора — полного или разреженного — и расположение файла с данными, которые необходимо обработать. В работе Taco использует эффективный механизм индексирования, чтобы хранить только ненулевые значения разреженных тензоров. Для сравнения, массив информации с Amazon с нулевыми значениями будет содержать примерно 107 экзабайт, но с системой сжатия Taco он займёт всего 13 гигабайт, которые можно обработать весьма быстро.

Эта разработка интересна многим бизнесам и университетам. Анализ больших данных позволяет исследователям и коммерческим специалистам быть информированными об интересующих их процессах лучше и быстрее принимать эффективные решения, отбрасывая ненужные или неиспользуемые данные. Применяя сложные технологии анализа, такие как анализ текста, машинное обучение, сбор данных, построение прогнозов, обработку статистики, будет возможно фокусироваться на новых, ранее незамеченных источниках данных, и грамотнее расходовать свои ресурсы.



   Вернуться назад  
Поиск по сайту




Подписка на новости

Введите свой Email:



Опрос
Кто какой программой для общения пользуется на смартфоне или планшете?

WhatsApp
Viber
Skype
Telegram
Facebook Messenger
Instagram
Vkontakte
Одноклассники
Mail.ru Агент
ICQ
ooVoo
Другая

  

  Результаты: 1687
На форуме
 1. QIP 2012
Время : 24/01/2018 в 00:42:27
luxemburg
 2. ddos ataki
Время : 23/01/2018 в 20:22:12
pitachok
 3. Второй круг писем
Время : 18/01/2018 в 19:40:55
Ira
 4. Mail.Ru Agent
Время : 18/01/2018 в 14:00:14
luxemburg
 5. ддос атаки
Время : 19/01/2018 в 18:48:39
grif
© Copyright 2005-2017 «Русская аська