ICQ
Навигация
Главная
Карта сайта
Форум сайта
Поиск по сайту
Обратная связь

Разделы
Разное про ICQ
Для мобильного
Для компьютера
Сетевые новости

ICQ
Статус ICQ на сайте
Проверка ICQ статуса
Информер статуса ICQ

Загрузки
Файлы
IPDBrute
Скачать ICQ
Скачать JIMM
Мобильная ICQ

Магазин
On-Line ICQ магазин

RSS канал
Нас посетили
Понедельник1269
Вторник1413
Среда1438
Четверг1360
Пятница1312
Суббота1280
Воскресенье1280
Сейчас online:179
Было всего:6127162
Рекорд:28766
Ваш IP адрес

Ваш IP: 54.198.210.67

 

Новое программное обеспечение увеличивает скорость анализа больших данных в 100 раз

  | Сетевые новости 

Новое программное обеспечение увеличивает скорость анализа больших данных в 100 раз

Новая система, разработанная для вычислений тензорной алгебры, может обеспечить возрастание скорости в 100 раз по сравнению с программными пакетами, использовавшимися до этого. Учёные из Массачусетского технологического института (Massachusetts Institute of Technology) создали новую программу, которая автоматически генерирует код, оптимизированный для разреженных данных. Этот процесс ведёт к ускорению обработки больших массивов информации.

Для анализа больших данных необходим целый комплекс процессов. Представим, что коммерческий сетевой ресурс, например, Amazon, пожелает сопоставить каждого своего клиента с каждым представленным товаром, поставив «1», если товар был куплен, и «0» в противном случае. Результатом будет невероятно огромная таблица данных, в основном состоящая из нулей. Это то, что называется разреженными данными. Когда такие данные обрабатываются, алгоритм анализа вынужден постоянно складывать нули и умножать их. Это очевидная трата ресурсов: и времени, и мощности компьютера.

Последнее исследование MIT строится вокруг нового программного продукта, автоматически создающего код, оптимизированный под разреженные данные. Систему, которая это делает, назвали Taco по аббревиатуре для компилятора тензорной алгебры (tensor algebra compiler). Тензор — это многомерный аналог матрицы, а данные, которые необходимо обработать, обычно хранятся в матрицах. Эффективностью метод обязан математическим операциям, проводимым на тензорах, они работают быстрее, чем аналогичные операции с матрицами, если каждой последовательности тензорных операций выделено собственное «ядро» (шаблон расчёта).

Чтобы реализовать эту технологию, необходимо было признать важность анализа больших данных. При запуске Taco программист указывает размер тензора — полного или разреженного — и расположение файла с данными, которые необходимо обработать. В работе Taco использует эффективный механизм индексирования, чтобы хранить только ненулевые значения разреженных тензоров. Для сравнения, массив информации с Amazon с нулевыми значениями будет содержать примерно 107 экзабайт, но с системой сжатия Taco он займёт всего 13 гигабайт, которые можно обработать весьма быстро.

Эта разработка интересна многим бизнесам и университетам. Анализ больших данных позволяет исследователям и коммерческим специалистам быть информированными об интересующих их процессах лучше и быстрее принимать эффективные решения, отбрасывая ненужные или неиспользуемые данные. Применяя сложные технологии анализа, такие как анализ текста, машинное обучение, сбор данных, построение прогнозов, обработку статистики, будет возможно фокусироваться на новых, ранее незамеченных источниках данных, и грамотнее расходовать свои ресурсы.



   Вернуться назад  
Поиск по сайту




Подписка на новости

Введите свой Email:



Опрос
Кто какой программой для общения пользуется на смартфоне или планшете?

WhatsApp
Viber
Skype
Telegram
Facebook Messenger
Instagram
Vkontakte
Одноклассники
Mail.ru Агент
ICQ
ooVoo
Другая

  

  Результаты: 1624
На форуме
 1. Дедики | различные страны | продажа
Время : 19/11/2017 в 15:03:22
XDSystems
 2. ✯ Магазин Аккаунтов Uber • Eldorado • Mvideo • DNS • Avito
Время : 18/11/2017 в 01:04:00
Ymacasi
 3. Второй круг писем
Время : 17/11/2017 в 13:31:32
Ira
 4. Mail.Ru Agent
Время : 14/11/2017 в 21:45:44
luxemburg
 5. ICQ для Windows 10
Время : 14/11/2017 в 21:42:57
luxemburg
© Copyright 2005-2017 «Русская аська