Марц Н Большие данные: принципы и практика построения масштабируемых систем обработки данных в реальном време

    В этой книге представлены теоретические основы организации систем больших данных и поясняется, каким образом они воплощаются на практике. В ней рассматривается лямбда-архитектура, предназначенная для построения подобных систем, и на примере конкретного веб-приложения поясняются особенности реализации всех уровней этой архитектуры с помощью инструментальных средств вроде Hadoop, Cassandra и Storm.

Для чтения этой книги не требуется предварительное знакомство с особенностями анализа крупномасштабных данных или баз данных типа NoSQL, хотя полезно знать о традиционных базах данных.

     Книга рассчитана на читателей, стремящихся освоить принципы построения систем больших данных и внедрить их на практике.

В крупномасштабных веб-приложениях, которые поддерживают работу социальных сетей, выполняют аналитику в реальном времени или поддерживают электронную торговлю, приходится обрабатывать большие массивы данных, объем и скорость обмена которыми превышают возможности информационных систем, основанных на традиционных базах данных. Для подобных приложений требуются архитектуры, в основе которых лежат кластеры машин для хранения и обработки данных любого объема и с любой скоростью. Правда, масштабируемость и простота не являются взаимоисключающими свойствами подобных архитектур.

     Эта книга поможет читателю научиться строить системы больших данных, используя архитектуру, специально предназначенную для фиксации и анализа данных в масштабе веб.

В ней представлена простая для понимания и масштабируемая лямбда-архитектура, позволяющая разрабатывать информационные системы усилиями небольших команд. В книге даются теоретические основы организации систем больших данных и поясняется, каким образом они воплощаются на практике. Помимо общей инфраструктуры для обработки больших данных, читатель может ознакомиться с конкретными технологическими и инструментальными средствами вроде Hadoop, Storm и баз данных типа NoSQL.

В этой книге рассматриваются следующие темы.

• Введение в системы больших данных.
• Описание особенностей обработки данных масштаба веб в реальном времени.
• Применение инструментальных средств вроде Hadoop, Cassandra и Storm.
• Возможность расширить свои знания и навыки за пределы традиционных баз данных.

Для чтения этой книги не требуется предварительное знакомство с особенностями анализа крупномасштабных данных или баз данных типа NoSQL, хотя полезно знать о традиционных базах данных.

Об авторах

Натан Марц — создатель системы Apache Storm и инициатор применения лямбда-архитектуры для построения систем больших данных.

Джеймс Уоррен — архитектор-аналитик с квалификацией в области машинного обучения и научных расчетов.

Отзывы о книге

"Эта книга выходит за рамки отдельных инструментальных средств или платформ. Обязательна к прочтению всем, кто работает системами больших данных".

—Джонатан Эстерхази, компания Groupon

"Эта книга — подробный, снабженный примерами экскурс в лямбда-архитектуру под руководством ее изобретателя".

—Марк Фишер, компания Pivotal

"Книга содержит мудрость, которую можно приобрести только после выполнения многих проектов с большими данными. Обязательна для чтения".

—Педро Феррера Бертран, компания Datasalt

"Это фактическое руководство по рационализации обработки конвейера данных пакетами и почти в реальном времени".

—Алекс Холмс, автор книги Hadoop in Practice

 

      Оглавление:

Благодарности 18 
Об этой книге 21 
Глава 1. Новая парадигма для больших данных 25 
ЧАСТЬ I. УРОВЕНЬ ПАКЕТНОЙ ОБРАБОТКИ 53 
Глава 2. Модель данных для больших данных 55 
Глава 3. Иллюстрация модели данных для больших данных 77 
Глава 4. Хранение данных на уровне пакетной обработки 85 
Глава 5. Иллюстрация хранения данных 
на уровне пакетной обработки 99 
Глава 6. Уровень пакетной обработки 119 
Глава 7. Иллюстрация уровня пакетной обработки 151 
Глава 8. Пример построения уровня пакетной обработки: 
архитектура и алгоритмы 181 
Глава 9. Пример реализации уровня пакетной обработки 199 
ЧАСТЬ II. УРОВЕНЬ ОБСЛУЖИВАНИЯ 221 
Глава 10. Организация уровня обслуживания 223 
Глава 11. Иллюстрация уровня обслуживания 243 
ЧАСТЬ III. УРОВЕНЬ УСКОРЕНИЯ 253 
Глава 12. Представления в реальном времени 255 
Глава 13. Иллюстрация представлений в реальном времени 271 
Глава 14. Организация очередей и обработка потоков 277 
Глава 15. Иллюстрация организации очередей 
и обработки потоков 297 
Глава 16. Микропакетная обработка потоков 309 
Глава 17. Иллюстрация микропакетной обработки потоков 327 
Глава 18. Лямбда-архитектура в деталях 343 
Предметный указатель 363