Марц Н Великі дані: принципи та практика побудови масштабованих систем оброблення даних у реальному часі

    У цій книзі представлені теоретичні основи організації систем великих даних і пояснюється, як вони втілюються на практиці. У ній розглядається лямбда-архітектура, призначена для побудови подібних систем, і на прикладі конкретного вебзастосунку пояснюються особливості реалізації всіх рівнів цієї архітектури за допомогою інструментальних засобів на кшталт Hadoop, Cassandra і Storm.

Для читання цієї книги не потрібне попереднє знайомство з особливостями аналізу великомасштабних даних або баз даних типу NoSQL, хоча корисно знати про традиційні бази даних.

     Книга призначена для читачів, які прагнуть освоїти принципи побудови систем великих даних і впроваджувати їх на практиці.

У великомасштажних вебпрограмах, які підтримують роботу соціальних мереж, виконують аналітику в реальному часі або підтримують електронну торгівлю, доводиться обробляти великі масиви даних, обсяг і швидкість обміну якими перевищують можливості інформаційних систем, що ґрунтуються на традиційних базах даних. Для таких застосунків потрібні архітектури, в основі яких лежать кластери машин для зберігання й оброблення даних будь-якого обсягу та з будь-якою швидкістю. Щоправда, масштабованість і простота не є взаємовиключними властивостями таких архітектурних моделей.

     Ця книга допоможе читачеві навчитися будувати системи великих даних, використовуючи архітектуру, спеціально призначену для фіксації та аналізу даних у масштабі веб.

У ній представлена проста для розуміння і масштабовна лямбда-архітектура, що дає змогу розробляти інформаційні системи зусиллями невеликих команд. У книзі надаються теоретичні основи організації систем великих даних і пояснюється, як вони втілюються на практиці. Крім загальної інфраструктури для оброблення великих даних, читач може ознайомитися з конкретними технологічними та інструментальними засобами на кшталт Hadoop, Storm і баз даних типу NoSQL.

У цій книзі розглядаються такі теми.

• Введення в системи великих даних.
• Опис особливостей оброблення даних масштабу веб в реальному часі.
• Застосування інструментальних засобів на кшталт Hadoop, Cassandra та Storm.
• Можливість розширити свої знання та навички за межі традиційних баз даних.

Для читання цієї книги не потрібне попереднє знайомство з особливостями аналізу великомасштабних даних або баз даних типу NoSQL, хоча корисно знати про традиційні бази даних.

Об авторах

Натан Марц — творець системи Apache Storm і засновник застосування лямбду-архітектури для побудови систем великих даних.

Джеймс Воррен — архітектор-аналітик із кваліфікацією в галузі машинного навчання та наукових розрахунків.

Відгуки про книгу

"Ета книга виходить за межі окремих інструментальних засобів або платформ. Обов'язкова до прочитання всім, хто працює системами великих даних".

—Джонатан Естерхазі, компанія Groupon

"Ета книга — докладний, забезпечений прикладами екскурс у лямбда-архітектуру під керівництвом її винахідника".

—Маркgraming, компанія Pivotal

"Книга містить мудрість, яку можна придбати тільки після виконання багатьох проєктів із великими даними. Обов'язкова для читання".

— Пендро Феррера Бертран, компанія Datasal

"Це фактичний посібник з раціоналізації обробки конвеєра даних пакетами та майже в реальному часі".

—Алекс Холмс, автор книги Hadoop in Practice

 

      Оголовлення:

їжте 18 
Про цю книгу 21 
Глава 1. Нова парадигма для великих даних 25 
ЧАСТИНА I. РІВЕНЬ МАКЕТНОЇ ШВИДКОСТІ 53 
Глава 2. Модель даних для великих даних 55 
Глава 3. Картинка моделі даних для великих даних 77 
Глава 4. Зберігання даних на рівні пакетного оброблення 85 
Глава 5. Картина зберігання даних 
на рівні пакетної обробки 99 
Глава 6. Рівень пакетної обробки 119 
Глава 7. нок рівня пакетної обробки 151 
Глава 8. Приклад побудови рівня пакетної обробки: 
архітектура та алгоритми 181 
Глава 9. Приклад реалізації рівня пакетної обробки 199 
ЧАСТИНА II. РІВЕНЬ ОБСЛУЖУВАННЯ 221 
Глава 10. Організація рівня обслуговування 223 
Глава 11. Картина рівня обслуговування 243 
ЧАСТИНА III. РІВЕНЬ КІЛЬКА 253 
Глава 12. Представлення в реальному часі 255 
Глава 13. Картина вистав у реальному часі 271 
Глава 14. Організація черг і обробка потоків 277 
Глава 15. Світло організації черг 
та оброблення потоків 297 
Глава 16. Мікропакетне оброблення потоків 309 
Глава 17. Картина мікропакетного оброблення потоків 327 
Глава 18. Лямбда-архітектура в деталях 343 
Предметний покажчик 363