11 книг по ИИ и Data Science для изучения в 2020


Оглавление (нажмите, чтобы открыть):

Магистерская программа «Науки о данных»

Контакты

Москва ,
Покровский бульвар, 11, корпус S, ком.S807

Плужникова Ирина Геннадьевна

  • Администрация
  • Студсовет

Выразительная кнопка для срочных сообщений

Нашли опечатку ?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.

Современная ИТ-индустрия в целях анализа растущего объёма данных, порождаемых во всех областях современного общества, поднимает проблематику Больших Данных (Big Data), а академическое сообщество формирует нарождающуюся Науку о Данных (Data Science). Образовательная программа предусматривает подготовку в области современных методов извлечения знаний из данных, математических методов моделирования и прогнозирования, современных программных систем и методов программирования для анализа данных.

Литература по data science

Предпосылки к изучению data science начались с курсов статистики и эконометрики. Предлагаю вашему вниманию книги по data science , с которыми я в той или иной степени ознакомился и которые помогают понять как исследовать данные, для чего это нужно и как это использовать в бизнесе (содержания многих книг пересекаются, но интересны, по-своему, своими примерами и манерой изложения). Для удобства список разбит на несколько разделов (по направлению), но в главном разделе источники могут пересекаться (проранжированно в произвольном порядке). Некоторые книги изданы на русском и английском. Все книги доступны на Амазоне (англ.), на Озоне и в Лабиринте (русск.). И да, стоят они недёшево (хотя некоторые из них доступны бесплатно, смотрите снизу источники из LeanPub). Самые интересные я себе покупал, но большинство из них брал в библиотеке университетов, в которых учился или с которыми сотрудничаю.

I. Литература по data science (наука о данных)

1. Data Science for Business. Foster Provost, Tom Fawcett.
2. Doing Data Science. Rachel Schutt, Cathy O’Neil.
3. Agile Data Science. Russell Jurney.
4. Applied Data Science. Ian Langmore, Daniel Krasner.
5. О чем говорят цифры. Как понимать и использовать данные. Томас Дэвенпорт, Ким Хо.
Keeping Up With The Quants: Your Guide to Understanding and Using Analytics. Thomas H. Davenport, Jinho Kim.
6. Аналитика как конкурентное преимущество. Том Дэвенпорт и Джон Харрис.
7. Sexy Little Numbers: How to Grow Your Business Using the Data You Already Have. Maex Dimitri, Paul B. Brown.
Ключевые цифры: Как заработать больше, используя данные, которые у вас уже есть. Димитри Маекс, Пол Браун
8. Data Smart: Using Data Science to Transform Information into Insight. John W. Foreman.
Много цифр: Анализ больших данных при помощи Excel. Джон Форман.
9. Data Analysis with Open Source Tools. Philipp K. Janert.
10. Data Scientists at Work. Sebastian Gutierrez.
11. Data Science For Dummies. Lillian Pierson.
12. Data Science at the Command Line. Jeroen Janssens.
13. Data Science from Scratch. Joel Grus.
14. Learning to Love Data Science: Explorations of Emerging Technologies and Platforms for Predictive Analytics, Machine Learning, Digital Manufacturing, and Supply Chain Optimization. Mike Barlow.
15. Data Science in R: A Case Studies Approach to Computational Reasoning and Problem Solving. Deborah Nolan, Duncan Temple Lang.
16. Parallel Computing for Data Science with Examples in R, C++ and CUDA. Norman Matloff.
17. Practical Data Science with R. Nina Zumel, John Mount.
18. Introducing Data Science: Big Data, Machine Learning, and more, using Python Tools. Davy Cielen, Arno D.B. Meysman, Mohamed Ali.
19. Practical Data Science Cookbook: 89 hands-on recipes to help you complete real-world data science projects in R and Python. Tony Ojeda, Sean Patrick Murphy, Benjamin Bengfort, Abhijit Dasgupta.
20. Data Analytics: Models and Algorithms for Intelligent Data Analysis. Thomas A. Runkler.
21. Clean Data: Save time by discovering effortless strategies for cleaning, organizing, and manipulating your data. Megan Squire.

II. Книги по Big Data (большие данные)

1. Big data at work: dispelling the myths, uncovering the opportunities. Thomas H. Davenport.
2. Real-Time Big Data Analytics: Emerging Architecture. Mike Barlow.
3. Big Data Analytics with Spark. Mohammed Guller.
4. Big Data Glossary. Pete Warden.
5. Big Data For Dummies. Judith Hurwitz, Alan Nugent, Dr. Fern Halper, and Marcia Kaufman.
6. Big Data: A Revolution That Will Transform How We Live, Work, and Think. Viktor Mayer-Schönberger, Kenneth Cukier.
Большие данные: Революция, которая изменит то, как мы живем, работаем и мыслим. Виктор Майер-Шенбергер и Кеннет Кукьер.
7. Taming the Big Data Tidal Wave: Finding Opportunities in Huge Data Streams with Advanced Analytics. Bill Franks.
Укрощение больших данных: Как извлекать знания из массивов информации с помощью глубокой аналитики. Билл Фрэнкс.
8. Big Data Analytics: From Strategic Planning to Enterprise Integration with Tools, Techniques, NoSQL, and Graph. David Loshin.
9. The Analytics Revolution: How to Improve Your Business By Making Analytics Operational In The Big Data Era. Bill Franks.
Революция в аналитике: Как в эпоху Big Data улучшить ваш бизнес с помощью операционной аналитики. Билл Френкс.
10. Getting a Big Data Job For Dummies. Jason Williamson.
11. Hadoop For Dummies. Robert D. Schneider.
12. Hadoop: The Definitive Guide. Tom White.
Hadoop: Подробное руководство. Том Уайт.
13. Learning Spark: Lightning-Fast Big Data Analysis. Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia.
Изучаем Spark: молниеносный анализ данных. Карау Х., Конвински Э., Венде П., Захария М.
14. Advanced Analytics with Spark. Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills.
15. Big data: using smart big data, analytics and metrics to make better decisions and improve performance. Bernard Marr.
16. Big Data: Principles and Best Practices of Scalable Real-time Data Systems. Nathan Marz, James Warren.
17. Новые методы работы с большими данными: победные стратегии управления в бизнес- аналитике: Научно-практический сборник. Под редакцией доктора технических наук, профессора А. В. Шмида. — М.: ПАЛЬМИР, 2020.

III. Книги по Data Mining (дата майнинг, интеллектуальный анализ данных)

1. Data mining: practical machine learning tools and techniques. Ian H. Witten, Eibe Frank, Mark A. Hall.
2. A Practical Guide to Data Mining for Business and Industry. Andrea Ahlemeyer-Stubbe, Shirley Coleman.
3. Learning Data Mining with R: Develop key skills and techniques with R to create and customize data mining algorithms. Bater Makhabel.
4. Data Mining Algorithms: Explained Using R. Paweł Cichosz.
5. Data Mining and Business Analytics with R. Johannes Ledolter.
6. Data Mining For Dummies. Meta. S. Brown.
7. Data mining for business intelligence: concepts, techniques, and applications in Microsoft Office Excel with XLMiner. Galit Shmueli, Nitin R. Patel, Peter C. Bruce.
8. Data mining: concepts and techniques. Jiawei Han, Micheline Kamber, Jian Pei.
9. Programming Collective Intelligence. Toby Segaran.
Программируем коллективный разум. Тоби Сегаран.
10. Data mining with R: learning with case studies. Luis Torgo.
11. Mining the Social Web. Matthew A. Russell.
12. Commercial data mining: processing, analysis and modeling for predictive analytics projects. David Nettleton.
13. R and Data Mining: Examples and Case Studies. Yanchang Zhao.
14. Data Mining with Rattle and R: The Art of Excavating Data for Knowledge Discovery. Graham Williams.
15. Data Mining. Чубукова И.А.
16. Бизнес-аналитика: от данных к знаниям. Паклин Н.Б., Орешков В.И.
17. Mastering Social Media Mining with R: Extract valuable data from social media sites and make better business decisions using R. Sharan Kumar Ravindran, Vikram Garg.
18. Social Media Mining with R: Deploy cutting-edge sentiment analysis techniques to real-world social media data using R. Nathan Danneman, Richard Heimann.
19. Mining of Massive Datasets. Jure Leskovec, Anand Rajaraman, Jeffrey D. Ullman.

IV. Книги по Machine Learning (машинное обучение)

1. Machine Learning: the Art and Science of Algorithms that Make Sense of Data. Peter Flach.
Машинное обучение: наука и искусство построения алгоритмов, которые извлекают знания из данных. Петер Флах.
2. Building Machine Learning Systems with Python. Luis Pedro Coelho, Willi Richert.
Построение систем машинного обучения на языке Python. Луис Педро Коэльо, Вилли Ричарт.
3. Machine Learning with Spark: Create scalable machine learning applications to power a modern data-driven business using Spark. Nick Pentreath.

V. Книги по R

1. Getting Started with RStudio. John Verzani.
2. Learning Predictive Analytics with R: Get to grips with key data visualization and predictive analytic skills using R. Eric Mayor.
3. Mastering Data Analysis with R: Gain clear insights into your data and solve real-world data science problems with R – from data munging to modeling and visualization. Gergely Daróczi.
4. Parallel R. Q. Ethan McCallum and Stephen Weston.
5. R in Action: Data analysis and graphics with R. Robert I. Kabacoff.

VI. Книги по Python

1. Python for Data Analysis. Wes McKinney.
Python и анализ данных. Уэс Маккинли.
2. Python Data Analysis: Learn how to apply powerful data analysis techniques with popular open source Python modules. Ivan Idris.
3. Python Machine Learning: Unlock deeper insights into machine learning with this vital guide to cutting-edge predictive analytics. Sebastian Raschka.
4. Python in Practice: Create Better Programs Using Concurrency, Libraries, and Patterns. Mark Summerfield.
Python на практике: создание качественных программ с использованием параллелизма, библиотек и паттернов. Марк Саммерфилд.

VII. Книги по Business Intelligence и Visualization (визуализация)

1. Business intelligence and the cloud: strategic implementation guide. Michael S. Gendron.
2. Oracle Business Intelligence: The Condensed Guide to Analysis and Reporting. Yuli Vasiliev.
3. Visual Intelligence: Microsoft Tools and Techniques for Visualizing Data. Mark Stacey, Joe Salvatore, Adam Jorgensen.
4. Communicating Data with Tableau. Ben Jones.
5. Creating Data Stories with Tableau Public: Illustrate your data in a more interactive and interesting way using Tableau Public. Ashley Ohmann, Matt Floyd.
6. Data Visualization For Dummies. Mico Yuk, Stephanie Diamond.
7. Graph Analysis and Visualization: Discovering Business Opportunity in Linked Data. Richard Brath, David Jonker.
8. Interactive Data Visualization for the Web. Scott Murray.
9. Learning QlikView Data Visualization: Visualize and analyze data with the most intuitive business intelligence tool, QlikView. Karl Pover.
10. Python Data Visualization Cookbook: Over 60 recipes that will enable you to learn how to create attractive visualizations using Python’s most popular libraries. Igor Milovanović.
11. SAS Programming and Data Visualization Techniques: A Power User’s Guide. Philip R. Holland.
12. Tableau Dashboard Cookbook: Over 40 recipes on designing professional dashboards by implementing data visualization principles. Jen Stirrup.
13. Visualizing Data. Ben Fry.
14. Storytelling with Data: A Data Visualization Guide for Business Professionals. Cole Nussbaumer Knaflic

VIII. Книги по базам данных и Data Warehousing

1. Database systems: a practical approach to design, implementation, and management. Connolly, Thomas M., Carolyn E. Begg.
2. Beginning Database Design Solutions. Rod Stephens.
3. Build Your Own Database Driven Web Site Using PHP & MySQL. Kevin Yank.
4. Databases for Small Business: Essentials of Database Management, Data Analysis, and Staff Training for Entrepreneurs and Professionals. Anna Manning.
5. Databases: A Beginner’s Guide. Andrew J. Oppel.
6. Building a Data Warehouse: With Examples in SQL Server. Vincent Rainardi.
7. The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. Ralph Kimball, Margy Ross.
8. NoSQL Distilled: A Brief Guide to the Emerging World of Polyglot Persistence. Pramod J. Sadalage, Martin Fowler.
NoSQL: новая методология разработки нереляционных баз данных. Прамодкумар Дж. Садаладж, Мартин Фаулер.
9. Understanding SQL. Martin Gruber.
SQL для простых смертных. Мартин Грабер.

IX. Книги по Information Retrieval (информационный поиск)

1. Web Information Retrieval. Stefano Ceri, Alessandro Bozzon, Marco Brambilla, Emanuele Della Valle, Piero Fraternali, Silvia Quarteroni.
2. Search Patterns. Peter Morville, Jeffery Callender.
3. An Introduction to Information Retrieval. Christopher D. Manning, Prabhakar Raghavan, Hinrich Schutze.
Введение в информационный поиск. Кристофер Д. Меннинг, Прабакар Рагаван, Генрих Шетзе.

X. Бесплатные книги по data science из LeanPub (узнал про них из курсов data science на Coursera)

1. The Art of Data Science. A Guide for Anyone Who Works with Data. Roger D. Peng, Elizabeth Matsui.
2. The Elements of Data Analytic Style. A guide for people who want to analyze data. Jeff Leek.
3. Developing Data Products in R. Brian Caffo.
4. Executive Data Science. A Guide to Training and Managing the Best Data Scientists. Brian Caffo, Roger D. Peng, Jeffrey Leek.
5. Exploratory Data Analysis with R. Roger D. Peng.
6. The Hitchhiker’s Guide to Ggplot2 in R. Jodie Burchell, Mauricio Vargas.
7. Statistical inference for data science. A companion to the Coursera Statistical Inference Course. Brian Caffo.
8. Advanced linear models for data science. Brian Caffo.
9. How to be a modern scientist. Jeffrey Leek.
10. Regression Models for Data Science in R. A companion book for the Coursera Regression Models class. Brian Caffo.
11. Report Writing for Data Science in R. Roger D. Peng.
12. R Programming for Data Science. Roger D. Peng.

11 книг по ИИ и Data Science для изучения в 2020

С революционными возможностями в области ИИ и Data Science нелегко разобраться. Сайт KV.BY опубликовал подборку лучших книг в данной области.

Life 3.0: Being Human in the Age of Artificial Intelligence – Max Tegmark

Это одна из самых популярных must-read книг по ИИ. Макс Тегмарк – поклонник искусственного интеллекта. Он заставляет задуматься о том, как изменится наша жизнь с внедрением автоматизации, будут ли стабильно работать ИИ-системы и т. д. Автор представляет нашу жизнь в трех измерениях: биологическом, культурном и технологическом, а также показывает, как технологические нарушения влияют на образ жизни.

Numsense! Data Science for the Layman – Annalyn Ng, Kenneth Soo

Хотите разобраться в Data Science? Эта книга для всех, кто желает познакомиться с основами без математической сложности. Она охватывает важные темы, такие как регрессионный анализ, нейронные сети, деревья решений, A/B тестирование и т. д. Чтению помогают иллюстрации, соответствующие реальным процессам. Книга рекомендуется к прочтению новичкам.

Microsoft Excel Data Analysis and Business Modeling – Wayne Winston

Когда дело доходит до анализа данных, нельзя игнорировать популярное ПО от Microsoft. В книге разбираются как основы Excel, так и сложные вопросы бизнес-аналитики. Большинство проблем и тематических исследований, представленных в книге, сосредоточены на финансовой составляющей бизнеса. Темы включают в себя сводные таблицы, описательную статистику, OFFSET, INDIRECT, Excel Solver и макросы для автоматизации повторяющихся задач в анализе данных. Автор позаботился о том, чтобы читатель получил больше информации на реальных примерах.

Machine Learning – Tom Mitchell

Впервые опубликованная в 1986 году, эта книга является наилучшим вводным материалом для изучения элементарных аспектов ML. Автор предполагает, что читатель не имеет знаний об искусственном интеллекте или статистике, и обеспечивает легкий подход к пониманию обеих тем. В книге подробными примерами иллюстрируются популярные алгоритмы, такие как нейронные сети, байесовское обучение, обучение с подкреплением, а также, анализ наборов данных ML.

R for Data Science – Hadley Wickham, Garrett Grolemund

Эта книга познакомит вас с основами самого популярного статистического ЯП – R. Авторы объясняют визуализацию и преобразование данных с использованием функций языка R, Tidyverse, представляющий собой набор пакетов R для Data Science, а также показывают, как использовать IDE под названием RStudio, для разработки ПО. Прочитав эту книгу, вы поймете истинный смысл R. Каждый раздел книги завершается упражнениями для закрепления материала.

A Student’s Gu >

Python с каждым годом набирает обороты в сфере Data Science. Книга познакомит вас с задачами от настройки среды программирования Python и до выполнения вычислительных задач и моделирования в простой для понимания форме. Кроме того, предоставлены образцы кода, наборы данных и упражнения. Рекомендуем прочитать тем, кто заинтересован в изучении Python по классическому учебнику.

Head First Learn to Code: A Learner’s Gu >

Данный труд сфокусирован на знакомстве с искусством программирования. Поскольку в ИИ и Data Science присутствует много кодинга, книга вводит в этикет программирования, помогая писать правильный и понятный код. В качестве основного ЯП для объяснения понятий и примеров используется Python. Особенность книги заключается в том, что в ней больше картинок, чем текста, что определенно нравится многим начинающим программистам любого ИТ-сегмента.

Мастер Йода рекомендует:  Как защитить сайт от тотального скачивания. PHP

AI and Analytics: Accelerating Business Decisions – Sameer Dhanrajani

Необходимая к прочтению книга, предназначенная для руководителей и начинающих предпринимателей в области ИИ и Data Science. Она располагает бизнес-идеями, которые помогут стимулировать изменения в организации, используя популярные технологии: чат-боты, блокчейн и криптовалюту. Основное внимание уделено комплексным стратегиям и методологиям в аналитике. Автор охватывает большинство популярных отраслей бизнеса, таких как банковское дело, здравоохранение, страхование, розничная торговля и т. д.

Generation Robot: A Century of Science Fiction, Fact, and Speculation – Terri Favro

Эта новелла в сфере ИИ, рассматривающая вымысел, факты и последствия, к которым может привести использование роботов. Терри Фавро использует в своих рассуждениях творчество популярного писателя-фантаста Айзека Азимова, комиксы и научную фантастику, а также рассматривает, как робототехника и технологии проникают в нашу культуру. Книга для всех, кто интересуется роботами и желает получить порцию научной фантастики.

The Industries of the Future – Alec Ross

В книге, автор которой – американский эксперт по технологиям, описывается возможная яркая картина следующих десяти лет. Автор сосредоточился на инновациях, происходящих в области технологий в различных странах, которые он посетил. Экономические идеи в цифровых технологиях – вот, что делает этот труд увлекательным. Темой книги являются такие технологии, как ИИ, кибербезопасность и геномика.

Искусственный интеллект. Современный подход – Рассел, Норвиг

Доступный на русском языке учебник, по которому обучаются специалисты по искусственному интеллекту в США и других странах. Затрагиваются как технические вопросы, так и философские аспекты темы, её этические последствия.


Книги по Data Science

Data Science – подборка лучших книг по теме

Термин Data Science на русский переводят как «наука о данных», а в профессиональной среде часто просто транслитерируют – «дата сайенс». Формально это набор некоторых взаимосвязанных дисциплин и методов из области информатики и математики.

Это набор методов обработки и анализа данных и применение их к практическим задачам. При этом надо понимать, что у каждого специалиста свой взгляд на эту сферу и мнения могут отличаться.

Здесь можно скачать лучшие книги по Data Science на русском языке для ознакомления, почитать онлайн или купить полную электронную версию в форматах FB2, PDF, EPUB, TXT, DOC, MOBI.

Только легальный контент от правообладателей!

Смотрите также подборки по темам:

Исследования в сфере искусственного интеллекта

Содержание

Хроника исследований

На исследования в сфере ИИ в России потрачено 23 млрд руб за 10 лет

Весной 2020 года компания SAP провела исследование [1] в области разработки проектов с использованием искусственного интеллекта в России.

С 2007 года и по 2020 год в России государственные и бизнес-структуры профинансировали 1386 научных проектов, посвященных искусственному интеллекту. Большая часть проектов (1229) являются некоммерческими – они проводятся в рамках федеральных целевых программ или оплачиваются различными фондами. Это демонстрирует, что российский бизнес пока что в меньшей степени заинтересован в разработке и использовании искусственного интеллекта в своих проектах.

За десять лет на исследования и разработки в области искусственного интеллекта было выделено около 23 млрд. рублей. Объёмы госфинансирования уступают другим странам – например, в США ежегодно из госбюджета выделяется около 200 млн. долларов на исследования в области искусственного интеллекта. Стоит также отметить, что уровень финансирования в России является невысоким с учётом количества проектов и общего числа задействованных научных сотрудников (от 6 до 10 тысяч человек).

Лидеры по объёму государственного финансирования – проекты для госсектора, транспортной отрасли, обороны и безопасности. Это свидетельствует, что в России прежде всего поддерживают проекты, где ожидаются результаты с быстрым применением на практике. Например, анализ данных и различные системы распознавания помогают оптимизировать логистические и транспортные проблемы. Текущие геополитические задачи также определяют острую потребность в интеллектуальных системах для модернизации оборонно-промышленного комплекса. Тематическими лидерами по вложениям со стороны государства являются проекты по анализу данных, системы поддержки принятия решений и распознавания изображений и видео (последняя тема востребована и в коммерческих проектах).

В России существуют несколько ВУЗов, научных и коммерческих организаций, которые являются лидерами по числу проектов и финансированию в разных сферах:

  • В сфере анализа данных лидерами являются МГУ (17 проектов) и Университет ИТМО (19 проектов)
  • Системы поддержки принятия решений – Университет ИТМО (27) и Московский Экономический Институт (12)
  • Распознавание изображений и видео – Институт систем обработки изображений РАН (17) и Южно-Российский государственный университет экономики и сервиса (13)
  • Распознавание текста и речи – НИИ «Прикладная семиотика» (9) и Центр речевых технологий (9)
  • В России существует большой потенциал в сфере подготовки квалифицированных специалистов для проектов с ИИ. Согласно исследованию SAP, в 286 вузах имеются соответствующие магистерские программы, около 50 тыс. студентов обучаются по 65 специальностям, связанным с анализом данных, машинным обучением, распознаванием речи и изображений, компьютерной лингвистикой и др. За последние пять лет подготовку по этим программам прошли более 200 тыс. человек.

Образовательные программы, связанные с ИИ

  • 268 вузов
  • 65специальностей (магистратура)
  • 1 628 кафедр
  • 49 171 студентов обучаются в настоящее время
  • 200 746 человек — общий поток за 5 лет

Gamalon представила технологию самообучения по фрагментам данных

В феврале 2020 года компания Gamalon сообщила о разработке технологии искусственного интеллекта, способной быстро самообучаться по нескольким фрагментам данным. По своей эффективности и точности обучения новая разработка соответствует мощным нейронным сетям. Подробнее здесь.

2020: Развитие специализированных ИИ-систем и исследования путей создания искусственного разума

В 2020 году выделяли два направления развития ИИ:

  • решение проблем, связанных с приближением специализированных систем ИИ к возможностям человека, и их интеграции, которая реализована природой человека;
  • создание искусственного разума, представляющего интеграцию уже созданных систем ИИ в единую систему, способную решать проблемы человечества.

В это время в области искусственного интеллекта наблюдается вовлечение многих предметных областей, имеющих скорее практическое отношение к ИИ, а не фундаментальное. Многие подходы были опробованы, но к возникновению искусственного разума ни одна исследовательская группа пока так и не подошла.

2013: Исследования по сортировке изображений

В ноябре 2013 года стало известно об очередной попытке в области создания искусственного интеллекта: ученые предоставили компьютеру миллионы изображений и предложили ему возможность самому проанализировать, что они обозначают. То есть речь идет о попытке создать самообучающуюся систему.

Проект под названием NEIL [2] реализуется Карнеги-Меллон Университетом, что расшифровается как Never Ending Image Learning (дословно – «бесконечное изучение изображений»).

Абхинав Гупта (Abhinav Gupta), слева, и Абхинав Шривастава (Abhinav Shrivastava) осматривают серверный кластер, задействованный в исследовании, в серверной кампуса Карнеги-Меллон Университета в Питтсбурге

В июле 2013 года для обучающегося компьютера была открыта возможность загрузки изображений из интернета в режиме 24 на 7 с тем, чтобы он сам мог выявить и построить взаимосвязи между ними. Таким образом, ученые пытаются заставить заработать искусственный интеллект: систему, способную к самообучению без помощи извне.

Например, компьютер уже смог самостоятельно установить, что зебры обычно обитают в саванне, а тигры это нечто подобное зебрам. Проект спонсируется Google и Министерством обороны США.

2011: 3-я фаза роста ИИ

В 2011 году система вопросов и ответов IBM Watson победила бессменных чемпионов последних лет в игре Jeopardy! (российский аналог программы — «Своя игра»). Системе удалось выиграть в обеих играх. В это время IBM Watson — перспективная разработка IBM, способная воспринимать человеческую речь и производить вероятностный поиск, с применением большого количества алгоритмов.

Хотя эта часть истории сильно похожа на то, что происходило еще 50 лет до этого тем не менее развитие искусственного интеллекта в это времяу происходит в принципиально других условиях.

Усложнение систем связи и решаемых задач требует качественно нового уровня «интеллектуальности» обеспечивающих программных систем, таких как:

  • защита от несанкционированного доступа,
  • информационная безопасность ресурсов,
  • защита от нападений,
  • смысловой анализ и поиск информации в сетях и т. п.

С другой стороны, глобализация экономической жизни поднимает конкуренцию на принципиально иной уровень, где требуются мощные системы управления предприятием и ресурсами, аналитики и прогнозирования, а также радикальное повышение эффективности труда. Третий этап после зимы характеризуется также наличием крупнейшего открытого источника персональных данных и кликстрима в виде Интернета и социальных сетей. Ну и, наконец, исчезает ключевой исторический стоп-фактор развития искусственного интеллекта — мощнейшие вычислительные системы, которые отныне можно строить как на дешевых серверных мощностях, так и в крупнейших облачных платформах в режиме pay-as-you-go.

Все это оправдывает оптимизм вовлеченных людей по поводу 3-й фазы роста искусственного интеллекта. Пессимизм некоторых экспертов относительно того, что направление исследований области вновь чрезмерно раздувается, легко оппонировать тем, что сейчас разработки исследователей вышли далеко за пределы лабораторий и прототипов и продолжают интенсивно проникать практически во все сферы жизни человека, начиная от автономных газонокосилок и пылесосов, оснащенных огромным количеством современных датчиков, и заканчивая умными и обучающимися мобильными ассистентами, которыми пользуются сотни миллионов людей.

Скепсис и алармизм на этом этапе даже скорее направлены в сторону чрезмерного развития и самостоятельности искусственного интеллекта и замены им собственно самих людей, которые уже в это время уступают машинам в аспекте скоростей и физическом доступе к огромному пласту данных.

1997: Компьютер Deep Blue обыгрывает чемпиона мира по шахматам Гарри Каспарова

Очередной всплеск интереса к ИИ произошел в середине 1990-х гг. В 1997 году компьютер IBM под названием Deep Blue стал первым компьютером, который победил чемпиона мира по шахматам Гарри Каспарова.

Матч Каспаров против суперЭВМ не принёс удовлетворения ни компьютерщикам, ни шахматистам, и система не была признана Каспаровым.

Позже линия суперкомпьютеров IBM проявилась в проектах brute force BluGene (молекулярное моделирование) и моделирование системы пирамидальных клеток в швейцарском центре Blue Brain.

1980-е

В начале 1980-х гг. ученые в области теории вычислений Барр и Файгенбаум предложили следующее определение ИИ:

Искусственный интеллект — это область информатики, которая занимается разработкой интеллектуальных компьютерных систем, то есть систем, обладающих возможностями, которые мы традиционно связываем с человеческим разумом, — понимание языка, обучение, способность рассуждать, решать проблемы и т. д.

1970-е: В СССР создан толковый словарь по искусственному интеллекту

До 1970-х годов в СССР все исследования ИИ велись в рамках кибернетики. По мнению Д. А. Поспелова, науки «информатика» и «кибернетика» были в это время смешаны, по причине ряда академических споров. Только в конце 1970-х в СССР начинают говорить о научном направлении «искусственный интеллект» как разделе информатики. При этом родилась и сама информатика, подчинив себе прародительницу «кибернетику».

В конце 1970-х создаётся толковый словарь по искусственному интеллекту, трёхтомный справочник по искусственному интеллекту и энциклопедический словарь по информатике, в котором разделы «Кибернетика» и «Искусственный интеллект» входят наряду с другими разделами в состав информатики.

Термин «информатика» в 1980-е годы получает широкое распространение, а термин «кибернетика» постепенно исчезает из обращения, сохранившись лишь в названиях тех институтов, которые возникли в эпоху «кибернетического бума» конца 1950-х — начала 1960-х годов. Такой взгляд на искусственный интеллект, кибернетику и информатику разделяется не всеми. Это связано с тем, что на Западе границы данных наук несколько отличаются.


1960-е: Исследования в МГУ и Академии наук СССР

В СССР работы в области искусственного интеллекта начались в 1960-х годах. В Московском университете и Академии наук был выполнен ряд пионерских исследований, возглавленных Вениамином Пушкиным и Д. А. Поспеловым.

В 1964 году была опубликована работа ленинградского логика Сергея Маслова «Обратный метод установления выводимости в классическом исчислении предикатов», в которой впервые предлагался метод автоматического поиска доказательства теорем в исчислении предикатов.

В 1966 году В. Ф. Турчиным был разработан язык рекурсивных функций Рефал.

1956: Появление термина «искусственный интеллект»

Летом 1956 года в Университете Дартмута в США прошла первая конференция с участием таких ученых, как Маккарти, Минский, Шеннон, Тьюринг, которые впоследствии были названы основателями сферы искусственного разума. В течение 6 недель ученые обсуждали возможности реализации проектов в сфере искусственного интеллекта. Именно тогда и появился сам термин artificialintelligence — искусственный интеллект. И именно после этой летней встречи пришло и «первое лето» в развитии проектов, связанных с этой областью.

Как видно, после знаменитой конференции в Дартмуте искусственный интеллект получил впечатляющее развитие. Были созданы машины, которые могли решать математические проблемы, обыгрывать в шахматы, и даже первый прообраз чат-бота, который мог разговаривать с людьми, вводя их в заблуждение по поводу своей осознанности.

Все эти значительные шаги вперед в сфере машинного интеллекта произошли вследствие серьезного финансирования подобных инициатив со стороны военных исследовательских организаций и, в частности, Defence Advanced Research Projects Agency (DARPA), которая была создана как шоковая реакция на запуск первого спутника Советским Союзом.

1954: ПО для игры в шахматы

В 1954 году американский исследователь Ньюэлл решил написать программу для игры в шахматы. К работе были привлечены аналитики RAND Corporation. В качестве теоретической основы программы был использован метод, предложенный основателем теории информации Шенноном, а его точная формализация была выполнена Аланом Тьюрингом.

1950: Тест Тьюринга: Когда машина сравняется разумом с человеком

История искусственного интеллекта как нового научного направления начинается в середине XX века. К этому времени уже было сформировано множество предпосылок его зарождения: среди философов давно шли споры о природе человека и процессе познания мира, нейрофизиологи и психологи разработали ряд теорий относительно работы человеческого мозга и мышления, экономисты и математики задавались вопросами оптимальных расчётов и представления знаний о мире в формализованном виде; наконец, зародился фундамент математической теории вычислений — теории алгоритмов — и были созданы первые компьютеры.

Возможности новых машин в плане скорости вычислений оказались больше человеческих, поэтому в учёном сообществе закрался вопрос: каковы границы возможностей компьютеров и достигнут ли машины уровня развития человека?

В 1950 году один из пионеров в области вычислительной техники, английский учёный Алан Тьюринг, пишет статью под названием «Может ли машина мыслить?», в которой описывает процедуру, с помощью которой можно будет определить момент, когда машина сравняется в плане разумности с человеком, получившую название теста Тьюринга.

1940-е: Моделирование мышления: нейрокибернетический и логический подходы

С конца 1940-х годов исследования в области моделирования процесса мышления разделились на два независимых подхода: нейрокибернетический и логический.

  • Нейрокибернетический подход относится к восходящему типу (англ. Bottom-Up AI) и предполагает путь изучения биологического аспекта нейронных сетей и эволюционных вычислений.
  • Логический подход относится к нисходящему типу (англ. Top-Down AI) и означает создание экспертных систем, баз знаний и систем логического вывода, имитирующих высокоуровневые психические процессы: мышление, рассуждение, речь, эмоции, творчество и т. д [3] .

1930-е: Концепция «Крошка-машина» для обучения искусственного разума как ребенка

С середины 1930-х годов, с момента публикации работ английского ученого Алана Тьюринга, в которых обсуждались проблемы создания устройств, способных самостоятельно решать различные сложные задачи, к проблеме искусственного интеллекта в мировом научном сообществе стали относиться внимательно. Тьюринг предложил считать интеллектуальной такую машину, которую испытатель в процессе общения с ней не сможет отличить от человека. Тогда же появился термин Baby Machine — концепция, предполагающая обучение искусственного разума на манер маленького ребенка, а не создание сразу «умного взрослого» робота.

1914: Устройство Леонардо Кеведо для игры в шахматы

В 1914 году директор одного из испанских технических институтов Леонардо Торрес Кеведо изготовил электромеханическое устройство, способное разыгрывать простейшие шахматные эндшпили почти так же хорошо, как и человек.

1835: Машина Чарльза Бэббиджа для игры в шахматы

В 1830-х годах английский математик Чарльз Бэббидж придумал концепцию сложного цифрового калькулятора — аналитической машины, которая, как утверждал разработчик, могла бы рассчитывать ходы для игры в шахматы.

1832: Семён Корсаков изобретает перфокарты и 5 «интеллектуальных машин»

Коллежский советник Семён Николаевич Корсаков (1787—1853) ставил задачу усиления возможностей разума посредством разработки научных методов и устройств, перекликающуюся с современной концепцией искусственного интеллекта, как усилителя естественного.

В 1832 году С. Н. Корсаков опубликовал описание пяти изобретённых им механических устройств, так называемых «интеллектуальных машин», для частичной механизации умственной деятельности в задачах поиска, сравнения и классификации. В конструкции своих машин Корсаков впервые в истории информатики применил перфорированные карты, игравшие у него своего рода роль баз знаний, а сами машины по существу являлись предтечами экспертных систем.

XVII век: Рене Декарт: Животное — сложный механизм

В XVII веке Рене Декарт предположил, что животное — некий сложный механизм, тем самым сформулировав механистическую теорию.

Подходы и направления в исследованиях ИИ

Единого ответа на вопрос, чем занимается искусственный интеллект, не существует. Почти каждый автор, пишущий книгу об ИИ, отталкивается в ней от какого-либо определения, рассматривая в его свете достижения этой науки.

В философии не решён вопрос о природе и статусе человеческого интеллекта. Нет и точного критерия достижения компьютерами «разумности», хотя на заре искусственного интеллекта был предложен ряд гипотез, например, тест Тьюринга или гипотеза Ньюэлла — Саймона. Поэтому, несмотря на наличие множества подходов как к пониманию задач ИИ, так и созданию интеллектуальных информационных систем, можно выделить два основных подхода к разработке ИИ:

  • нисходящий (англ. Top-Down AI), семиотический — создание экспертных систем, баз знаний и систем логического вывода, имитирующих высокоуровневые психические процессы: мышление, рассуждение, речь, эмоции, творчество и т. д.;
  • восходящий (англ. Bottom-Up AI), биологический — изучение нейронных сетей и эволюционных вычислений, моделирующих интеллектуальное поведение на основе биологических элементов, а также создание соответствующих вычислительных систем, таких как нейрокомпьютер или биокомпьютер.

Последний подход, строго говоря, не относится к науке о ИИ в смысле, данном Джоном Маккарти, — их объединяет только общая конечная цель.

Тест Тьюринга и интуитивный подход

Эмпирический тест был предложен Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Целью данного теста является определение возможности искусственного мышления, близкого к человеческому.

Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор». Все участники теста не видят друг друга.

Самый общий подход предполагает, что ИИ будет способен проявлять поведение, не отличающееся от человеческого, причём в нормальных ситуациях. Эта идея является обобщением подхода теста Тьюринга, который утверждает, что машина станет разумной тогда, когда будет способна поддерживать разговор с обычным человеком, и тот не сможет понять, что говорит с машиной (разговор идёт по переписке).

Писатели-фантасты часто предлагают ещё один подход: ИИ возникнет тогда, когда машина будет способна чувствовать и творить. Так, хозяин Эндрю Мартина из «Двухсотлетнего человека» начинает относиться к нему как к человеку, когда тот создаёт игрушку по собственному проекту. А Дейта из «Звёздного пути», будучи способным к коммуникации и научению, мечтает обрести эмоции и интуицию.

Однако последний подход вряд ли выдерживает критику при более детальном рассмотрении. К примеру, несложно создать механизм, который будет оценивать некоторые параметры внешней или внутренней среды и реагировать на их неблагоприятные значения. Про такую систему можно сказать, что у неё есть чувства («боль» — реакция на срабатывание датчика удара, «голод» — реакция на низкий заряд аккумулятора, и т. п.). А кластеры, создаваемые картами Кохонена, и многие другие продукты «интеллектуальных» систем можно рассматривать как вид творчества.

Символьный подход

Исторически символьный подход был первым в эпоху цифровых машин, так как именно после создания Лисп, первого языка символьных вычислений, у его автора возникла уверенность в возможности практически приступить к реализации этими средствами интеллекта. Символьный подход позволяет оперировать слабоформализованными представлениями и их смыслами.

Успешность и эффективность решения новых задач зависит от умения выделять только существенную информацию, что требует гибкости в методах абстрагирования. Тогда как обычная программа устанавливает один свой способ интерпретации данных, из-за чего её работа и выглядит предвзятой и чисто механической. Интеллектуальную задачу в этом случае решает только человек, аналитик или программист, не умея доверить этого машине. В результате создается единственная модель абстрагирования, система конструктивных сущностей и алгоритмов. А гибкость и универсальность выливается в значительные затраты ресурсов для не типичных задач, то есть система от интеллекта возвращается к грубой силе.

Мастер Йода рекомендует:  Злоумышленники сумели обойти проверку Google Play Protect

Основная особенность символьных вычислений — создание новых правил в процессе выполнения программы. Тогда как возможности не интеллектуальных систем завершаются как раз перед способностью хотя бы обозначать вновь возникающие трудности. Тем более эти трудности не решаются и наконец компьютер не совершенствует такие способности самостоятельно.

Недостатком символьного подхода является то, что такие открытые возможности воспринимаются не подготовленными людьми как отсутствие инструментов. Эту, скорее культурную проблему, отчасти решает логическое программирование.

Логический подход

Логический подход к созданию систем искусственного интеллекта основан на моделировании рассуждений. Теоретической основой служит логика.

Логический подход может быть проиллюстрирован применением для этих целей языка и системы логического программирования Пролог. Программы, записанные на языке Пролог, представляют наборы фактов и правил логического вывода без жесткого задания алгоритма как последовательности действий, приводящих к необходимому результату.

Агентно-ориентированный подход

Последний подход, развиваемый с начала 1990-х годов, называется агентно-ориентированным подходом, или подходом, основанным на использовании интеллектуальных (рациональных) агентов. Согласно этому подходу, интеллект — это вычислительная часть (грубо говоря, планирование) способности достигать поставленных перед интеллектуальной машиной целей. Сама такая машина будет интеллектуальным агентом, воспринимающим окружающий его мир с помощью датчиков, и способной воздействовать на объекты в окружающей среде с помощью исполнительных механизмов.

Этот подход акцентирует внимание на тех методах и алгоритмах, которые помогут интеллектуальному агенту выживать в окружающей среде при выполнении его задачи. Так, здесь значительно тщательнее изучаются алгоритмы поиска пути и принятия решений.

Гибридный подход

Гибридный подход предполагает, что только синергетическая комбинация нейронных и символьных моделей достигает полного спектра когнитивных и вычислительных возможностей. Например, экспертные правила умозаключений могут генерироваться нейронными сетями, а порождающие правила получают с помощью статистического обучения. Сторонники данного подхода считают, что гибридные информационные системы будут значительно более сильными, чем сумма различных концепций по отдельности.


11 книг по ИИ и Data Science для изучения в 2020

С революционными возможностями в области ИИ и Data Science трудно разобраться, поэтому мы предлагаем подборку лучших книг в данной области: https://proglib.io/p/ai-and-datascience/

11 книг по ИИ и Data Science для изучения в 2020

С революционными возможностями в области ИИ и Data Science, трудно разобраться, поэтому мы предлагаем подборку лучших книг в данной области.

Комментарии (10)

Мурад Алимирзоев

Все таки без английского никак

Игорь Бычков

Олег Бондаренко

Мурад, само собой, если хотие что-то свежее читать. То что переведенно — всё 2-3 летней давности.

Димон Крыловский

Murad, Это самый нужный язык в программированнии

Антон Денисенко

Димон, есть еще какие-то? ��

Александр Городецкий

Мир ведь не без добрых людей? ��

Алексей Кожевин

Серьёзно? Список без единой книги хоть с какой-то математикой?

Антон Антонов

Олег, лол, и что такого сверхсвежего, кроме архитектур нейронок и питоновских библиотек, с чем можно разобраться с помощью гугл-переыодчика, выходит в машинке? Как был матстат, так он и есть

Антон Денисенко

Антон, кто вам разрешит на собеседовании переводчикам пользоваться?)

Антон Антонов

Антон, ну вот разве что для того он и нужен в большинстве случаев. как резиновая колбаса.

О проекте

Данный сайт является агрегатором контента из популярных социальных сетей. Добавление новых материалов производится в автоматическом режиме. Администрация проекта не несет ответственности за их содержание.

Data Science. Наука о данных с нуля

Новинки раздела «Наука и техника»

Лучшие продажи раздела «Наука и техника»

В комплект входят: Два тома базового учебника для начального уровня. Пособие по иероглифике. Приложение на CD. Предлагаемый учебник содержит сведения, которые обычно определяются как базисные при изучении японского языка. Это — основы японской. В комплект входят:
Два тома базового учебника для начального уровня.
Пособие по иероглифике.
Приложение на CD.

Предлагаемый учебник содержит сведения, которые обычно определяются как базисные при изучении японского языка. Это — основы японской письменности, фонетики и грамматики. Материал учебника построен на страноведческой тематике. Форма и типы упражнений способствуют развитию в первую очередь навыков устной речи.
Издание предназначено для широкого круга лиц, приступающих к изучению японского языка. Скрыть Показать весь текст

Отзывы

В наших магазинах

Подписка на новости

Будьте в курсе наших акций:

2011—2020, ООО «Новый Книжный Центр». Перепечатка материалов сайта возможна только с указанием активной ссылки на сайт «Читай–город».

Исследования в сфере искусственного интеллекта

Содержание

Хроника исследований

На исследования в сфере ИИ в России потрачено 23 млрд руб за 10 лет

Весной 2020 года компания SAP провела исследование [1] в области разработки проектов с использованием искусственного интеллекта в России.

С 2007 года и по 2020 год в России государственные и бизнес-структуры профинансировали 1386 научных проектов, посвященных искусственному интеллекту. Большая часть проектов (1229) являются некоммерческими – они проводятся в рамках федеральных целевых программ или оплачиваются различными фондами. Это демонстрирует, что российский бизнес пока что в меньшей степени заинтересован в разработке и использовании искусственного интеллекта в своих проектах.

За десять лет на исследования и разработки в области искусственного интеллекта было выделено около 23 млрд. рублей. Объёмы госфинансирования уступают другим странам – например, в США ежегодно из госбюджета выделяется около 200 млн. долларов на исследования в области искусственного интеллекта. Стоит также отметить, что уровень финансирования в России является невысоким с учётом количества проектов и общего числа задействованных научных сотрудников (от 6 до 10 тысяч человек).

Лидеры по объёму государственного финансирования – проекты для госсектора, транспортной отрасли, обороны и безопасности. Это свидетельствует, что в России прежде всего поддерживают проекты, где ожидаются результаты с быстрым применением на практике. Например, анализ данных и различные системы распознавания помогают оптимизировать логистические и транспортные проблемы. Текущие геополитические задачи также определяют острую потребность в интеллектуальных системах для модернизации оборонно-промышленного комплекса. Тематическими лидерами по вложениям со стороны государства являются проекты по анализу данных, системы поддержки принятия решений и распознавания изображений и видео (последняя тема востребована и в коммерческих проектах).

В России существуют несколько ВУЗов, научных и коммерческих организаций, которые являются лидерами по числу проектов и финансированию в разных сферах:

  • В сфере анализа данных лидерами являются МГУ (17 проектов) и Университет ИТМО (19 проектов)
  • Системы поддержки принятия решений – Университет ИТМО (27) и Московский Экономический Институт (12)
  • Распознавание изображений и видео – Институт систем обработки изображений РАН (17) и Южно-Российский государственный университет экономики и сервиса (13)
  • Распознавание текста и речи – НИИ «Прикладная семиотика» (9) и Центр речевых технологий (9)
  • В России существует большой потенциал в сфере подготовки квалифицированных специалистов для проектов с ИИ. Согласно исследованию SAP, в 286 вузах имеются соответствующие магистерские программы, около 50 тыс. студентов обучаются по 65 специальностям, связанным с анализом данных, машинным обучением, распознаванием речи и изображений, компьютерной лингвистикой и др. За последние пять лет подготовку по этим программам прошли более 200 тыс. человек.

Образовательные программы, связанные с ИИ

  • 268 вузов
  • 65специальностей (магистратура)
  • 1 628 кафедр
  • 49 171 студентов обучаются в настоящее время
  • 200 746 человек — общий поток за 5 лет

Gamalon представила технологию самообучения по фрагментам данных

В феврале 2020 года компания Gamalon сообщила о разработке технологии искусственного интеллекта, способной быстро самообучаться по нескольким фрагментам данным. По своей эффективности и точности обучения новая разработка соответствует мощным нейронным сетям. Подробнее здесь.

2020: Развитие специализированных ИИ-систем и исследования путей создания искусственного разума

В 2020 году выделяли два направления развития ИИ:

  • решение проблем, связанных с приближением специализированных систем ИИ к возможностям человека, и их интеграции, которая реализована природой человека;


  • создание искусственного разума, представляющего интеграцию уже созданных систем ИИ в единую систему, способную решать проблемы человечества.

В это время в области искусственного интеллекта наблюдается вовлечение многих предметных областей, имеющих скорее практическое отношение к ИИ, а не фундаментальное. Многие подходы были опробованы, но к возникновению искусственного разума ни одна исследовательская группа пока так и не подошла.

2013: Исследования по сортировке изображений

В ноябре 2013 года стало известно об очередной попытке в области создания искусственного интеллекта: ученые предоставили компьютеру миллионы изображений и предложили ему возможность самому проанализировать, что они обозначают. То есть речь идет о попытке создать самообучающуюся систему.

Проект под названием NEIL [2] реализуется Карнеги-Меллон Университетом, что расшифровается как Never Ending Image Learning (дословно – «бесконечное изучение изображений»).

Абхинав Гупта (Abhinav Gupta), слева, и Абхинав Шривастава (Abhinav Shrivastava) осматривают серверный кластер, задействованный в исследовании, в серверной кампуса Карнеги-Меллон Университета в Питтсбурге

В июле 2013 года для обучающегося компьютера была открыта возможность загрузки изображений из интернета в режиме 24 на 7 с тем, чтобы он сам мог выявить и построить взаимосвязи между ними. Таким образом, ученые пытаются заставить заработать искусственный интеллект: систему, способную к самообучению без помощи извне.

Например, компьютер уже смог самостоятельно установить, что зебры обычно обитают в саванне, а тигры это нечто подобное зебрам. Проект спонсируется Google и Министерством обороны США.

2011: 3-я фаза роста ИИ

В 2011 году система вопросов и ответов IBM Watson победила бессменных чемпионов последних лет в игре Jeopardy! (российский аналог программы — «Своя игра»). Системе удалось выиграть в обеих играх. В это время IBM Watson — перспективная разработка IBM, способная воспринимать человеческую речь и производить вероятностный поиск, с применением большого количества алгоритмов.

Хотя эта часть истории сильно похожа на то, что происходило еще 50 лет до этого тем не менее развитие искусственного интеллекта в это времяу происходит в принципиально других условиях.

Усложнение систем связи и решаемых задач требует качественно нового уровня «интеллектуальности» обеспечивающих программных систем, таких как:

  • защита от несанкционированного доступа,
  • информационная безопасность ресурсов,
  • защита от нападений,
  • смысловой анализ и поиск информации в сетях и т. п.

С другой стороны, глобализация экономической жизни поднимает конкуренцию на принципиально иной уровень, где требуются мощные системы управления предприятием и ресурсами, аналитики и прогнозирования, а также радикальное повышение эффективности труда. Третий этап после зимы характеризуется также наличием крупнейшего открытого источника персональных данных и кликстрима в виде Интернета и социальных сетей. Ну и, наконец, исчезает ключевой исторический стоп-фактор развития искусственного интеллекта — мощнейшие вычислительные системы, которые отныне можно строить как на дешевых серверных мощностях, так и в крупнейших облачных платформах в режиме pay-as-you-go.

Все это оправдывает оптимизм вовлеченных людей по поводу 3-й фазы роста искусственного интеллекта. Пессимизм некоторых экспертов относительно того, что направление исследований области вновь чрезмерно раздувается, легко оппонировать тем, что сейчас разработки исследователей вышли далеко за пределы лабораторий и прототипов и продолжают интенсивно проникать практически во все сферы жизни человека, начиная от автономных газонокосилок и пылесосов, оснащенных огромным количеством современных датчиков, и заканчивая умными и обучающимися мобильными ассистентами, которыми пользуются сотни миллионов людей.

Скепсис и алармизм на этом этапе даже скорее направлены в сторону чрезмерного развития и самостоятельности искусственного интеллекта и замены им собственно самих людей, которые уже в это время уступают машинам в аспекте скоростей и физическом доступе к огромному пласту данных.

1997: Компьютер Deep Blue обыгрывает чемпиона мира по шахматам Гарри Каспарова

Очередной всплеск интереса к ИИ произошел в середине 1990-х гг. В 1997 году компьютер IBM под названием Deep Blue стал первым компьютером, который победил чемпиона мира по шахматам Гарри Каспарова.

Матч Каспаров против суперЭВМ не принёс удовлетворения ни компьютерщикам, ни шахматистам, и система не была признана Каспаровым.

Позже линия суперкомпьютеров IBM проявилась в проектах brute force BluGene (молекулярное моделирование) и моделирование системы пирамидальных клеток в швейцарском центре Blue Brain.

1980-е

В начале 1980-х гг. ученые в области теории вычислений Барр и Файгенбаум предложили следующее определение ИИ:

Искусственный интеллект — это область информатики, которая занимается разработкой интеллектуальных компьютерных систем, то есть систем, обладающих возможностями, которые мы традиционно связываем с человеческим разумом, — понимание языка, обучение, способность рассуждать, решать проблемы и т. д.

1970-е: В СССР создан толковый словарь по искусственному интеллекту

До 1970-х годов в СССР все исследования ИИ велись в рамках кибернетики. По мнению Д. А. Поспелова, науки «информатика» и «кибернетика» были в это время смешаны, по причине ряда академических споров. Только в конце 1970-х в СССР начинают говорить о научном направлении «искусственный интеллект» как разделе информатики. При этом родилась и сама информатика, подчинив себе прародительницу «кибернетику».

В конце 1970-х создаётся толковый словарь по искусственному интеллекту, трёхтомный справочник по искусственному интеллекту и энциклопедический словарь по информатике, в котором разделы «Кибернетика» и «Искусственный интеллект» входят наряду с другими разделами в состав информатики.

Термин «информатика» в 1980-е годы получает широкое распространение, а термин «кибернетика» постепенно исчезает из обращения, сохранившись лишь в названиях тех институтов, которые возникли в эпоху «кибернетического бума» конца 1950-х — начала 1960-х годов. Такой взгляд на искусственный интеллект, кибернетику и информатику разделяется не всеми. Это связано с тем, что на Западе границы данных наук несколько отличаются.

1960-е: Исследования в МГУ и Академии наук СССР

В СССР работы в области искусственного интеллекта начались в 1960-х годах. В Московском университете и Академии наук был выполнен ряд пионерских исследований, возглавленных Вениамином Пушкиным и Д. А. Поспеловым.

В 1964 году была опубликована работа ленинградского логика Сергея Маслова «Обратный метод установления выводимости в классическом исчислении предикатов», в которой впервые предлагался метод автоматического поиска доказательства теорем в исчислении предикатов.

В 1966 году В. Ф. Турчиным был разработан язык рекурсивных функций Рефал.

1956: Появление термина «искусственный интеллект»

Летом 1956 года в Университете Дартмута в США прошла первая конференция с участием таких ученых, как Маккарти, Минский, Шеннон, Тьюринг, которые впоследствии были названы основателями сферы искусственного разума. В течение 6 недель ученые обсуждали возможности реализации проектов в сфере искусственного интеллекта. Именно тогда и появился сам термин artificialintelligence — искусственный интеллект. И именно после этой летней встречи пришло и «первое лето» в развитии проектов, связанных с этой областью.

Как видно, после знаменитой конференции в Дартмуте искусственный интеллект получил впечатляющее развитие. Были созданы машины, которые могли решать математические проблемы, обыгрывать в шахматы, и даже первый прообраз чат-бота, который мог разговаривать с людьми, вводя их в заблуждение по поводу своей осознанности.

Все эти значительные шаги вперед в сфере машинного интеллекта произошли вследствие серьезного финансирования подобных инициатив со стороны военных исследовательских организаций и, в частности, Defence Advanced Research Projects Agency (DARPA), которая была создана как шоковая реакция на запуск первого спутника Советским Союзом.

1954: ПО для игры в шахматы

В 1954 году американский исследователь Ньюэлл решил написать программу для игры в шахматы. К работе были привлечены аналитики RAND Corporation. В качестве теоретической основы программы был использован метод, предложенный основателем теории информации Шенноном, а его точная формализация была выполнена Аланом Тьюрингом.

1950: Тест Тьюринга: Когда машина сравняется разумом с человеком

История искусственного интеллекта как нового научного направления начинается в середине XX века. К этому времени уже было сформировано множество предпосылок его зарождения: среди философов давно шли споры о природе человека и процессе познания мира, нейрофизиологи и психологи разработали ряд теорий относительно работы человеческого мозга и мышления, экономисты и математики задавались вопросами оптимальных расчётов и представления знаний о мире в формализованном виде; наконец, зародился фундамент математической теории вычислений — теории алгоритмов — и были созданы первые компьютеры.

Возможности новых машин в плане скорости вычислений оказались больше человеческих, поэтому в учёном сообществе закрался вопрос: каковы границы возможностей компьютеров и достигнут ли машины уровня развития человека?

В 1950 году один из пионеров в области вычислительной техники, английский учёный Алан Тьюринг, пишет статью под названием «Может ли машина мыслить?», в которой описывает процедуру, с помощью которой можно будет определить момент, когда машина сравняется в плане разумности с человеком, получившую название теста Тьюринга.

1940-е: Моделирование мышления: нейрокибернетический и логический подходы

С конца 1940-х годов исследования в области моделирования процесса мышления разделились на два независимых подхода: нейрокибернетический и логический.

  • Нейрокибернетический подход относится к восходящему типу (англ. Bottom-Up AI) и предполагает путь изучения биологического аспекта нейронных сетей и эволюционных вычислений.
  • Логический подход относится к нисходящему типу (англ. Top-Down AI) и означает создание экспертных систем, баз знаний и систем логического вывода, имитирующих высокоуровневые психические процессы: мышление, рассуждение, речь, эмоции, творчество и т. д [3] .

1930-е: Концепция «Крошка-машина» для обучения искусственного разума как ребенка

С середины 1930-х годов, с момента публикации работ английского ученого Алана Тьюринга, в которых обсуждались проблемы создания устройств, способных самостоятельно решать различные сложные задачи, к проблеме искусственного интеллекта в мировом научном сообществе стали относиться внимательно. Тьюринг предложил считать интеллектуальной такую машину, которую испытатель в процессе общения с ней не сможет отличить от человека. Тогда же появился термин Baby Machine — концепция, предполагающая обучение искусственного разума на манер маленького ребенка, а не создание сразу «умного взрослого» робота.

1914: Устройство Леонардо Кеведо для игры в шахматы

В 1914 году директор одного из испанских технических институтов Леонардо Торрес Кеведо изготовил электромеханическое устройство, способное разыгрывать простейшие шахматные эндшпили почти так же хорошо, как и человек.

1835: Машина Чарльза Бэббиджа для игры в шахматы

В 1830-х годах английский математик Чарльз Бэббидж придумал концепцию сложного цифрового калькулятора — аналитической машины, которая, как утверждал разработчик, могла бы рассчитывать ходы для игры в шахматы.

1832: Семён Корсаков изобретает перфокарты и 5 «интеллектуальных машин»


Коллежский советник Семён Николаевич Корсаков (1787—1853) ставил задачу усиления возможностей разума посредством разработки научных методов и устройств, перекликающуюся с современной концепцией искусственного интеллекта, как усилителя естественного.

В 1832 году С. Н. Корсаков опубликовал описание пяти изобретённых им механических устройств, так называемых «интеллектуальных машин», для частичной механизации умственной деятельности в задачах поиска, сравнения и классификации. В конструкции своих машин Корсаков впервые в истории информатики применил перфорированные карты, игравшие у него своего рода роль баз знаний, а сами машины по существу являлись предтечами экспертных систем.

XVII век: Рене Декарт: Животное — сложный механизм

В XVII веке Рене Декарт предположил, что животное — некий сложный механизм, тем самым сформулировав механистическую теорию.

Подходы и направления в исследованиях ИИ

Единого ответа на вопрос, чем занимается искусственный интеллект, не существует. Почти каждый автор, пишущий книгу об ИИ, отталкивается в ней от какого-либо определения, рассматривая в его свете достижения этой науки.

В философии не решён вопрос о природе и статусе человеческого интеллекта. Нет и точного критерия достижения компьютерами «разумности», хотя на заре искусственного интеллекта был предложен ряд гипотез, например, тест Тьюринга или гипотеза Ньюэлла — Саймона. Поэтому, несмотря на наличие множества подходов как к пониманию задач ИИ, так и созданию интеллектуальных информационных систем, можно выделить два основных подхода к разработке ИИ:

  • нисходящий (англ. Top-Down AI), семиотический — создание экспертных систем, баз знаний и систем логического вывода, имитирующих высокоуровневые психические процессы: мышление, рассуждение, речь, эмоции, творчество и т. д.;
  • восходящий (англ. Bottom-Up AI), биологический — изучение нейронных сетей и эволюционных вычислений, моделирующих интеллектуальное поведение на основе биологических элементов, а также создание соответствующих вычислительных систем, таких как нейрокомпьютер или биокомпьютер.

Последний подход, строго говоря, не относится к науке о ИИ в смысле, данном Джоном Маккарти, — их объединяет только общая конечная цель.

Тест Тьюринга и интуитивный подход

Эмпирический тест был предложен Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Целью данного теста является определение возможности искусственного мышления, близкого к человеческому.

Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор». Все участники теста не видят друг друга.

Самый общий подход предполагает, что ИИ будет способен проявлять поведение, не отличающееся от человеческого, причём в нормальных ситуациях. Эта идея является обобщением подхода теста Тьюринга, который утверждает, что машина станет разумной тогда, когда будет способна поддерживать разговор с обычным человеком, и тот не сможет понять, что говорит с машиной (разговор идёт по переписке).

Мастер Йода рекомендует:  Git-мастер 3 простых шага для достижения цели

Писатели-фантасты часто предлагают ещё один подход: ИИ возникнет тогда, когда машина будет способна чувствовать и творить. Так, хозяин Эндрю Мартина из «Двухсотлетнего человека» начинает относиться к нему как к человеку, когда тот создаёт игрушку по собственному проекту. А Дейта из «Звёздного пути», будучи способным к коммуникации и научению, мечтает обрести эмоции и интуицию.

Однако последний подход вряд ли выдерживает критику при более детальном рассмотрении. К примеру, несложно создать механизм, который будет оценивать некоторые параметры внешней или внутренней среды и реагировать на их неблагоприятные значения. Про такую систему можно сказать, что у неё есть чувства («боль» — реакция на срабатывание датчика удара, «голод» — реакция на низкий заряд аккумулятора, и т. п.). А кластеры, создаваемые картами Кохонена, и многие другие продукты «интеллектуальных» систем можно рассматривать как вид творчества.

Символьный подход

Исторически символьный подход был первым в эпоху цифровых машин, так как именно после создания Лисп, первого языка символьных вычислений, у его автора возникла уверенность в возможности практически приступить к реализации этими средствами интеллекта. Символьный подход позволяет оперировать слабоформализованными представлениями и их смыслами.

Успешность и эффективность решения новых задач зависит от умения выделять только существенную информацию, что требует гибкости в методах абстрагирования. Тогда как обычная программа устанавливает один свой способ интерпретации данных, из-за чего её работа и выглядит предвзятой и чисто механической. Интеллектуальную задачу в этом случае решает только человек, аналитик или программист, не умея доверить этого машине. В результате создается единственная модель абстрагирования, система конструктивных сущностей и алгоритмов. А гибкость и универсальность выливается в значительные затраты ресурсов для не типичных задач, то есть система от интеллекта возвращается к грубой силе.

Основная особенность символьных вычислений — создание новых правил в процессе выполнения программы. Тогда как возможности не интеллектуальных систем завершаются как раз перед способностью хотя бы обозначать вновь возникающие трудности. Тем более эти трудности не решаются и наконец компьютер не совершенствует такие способности самостоятельно.

Недостатком символьного подхода является то, что такие открытые возможности воспринимаются не подготовленными людьми как отсутствие инструментов. Эту, скорее культурную проблему, отчасти решает логическое программирование.

Логический подход

Логический подход к созданию систем искусственного интеллекта основан на моделировании рассуждений. Теоретической основой служит логика.

Логический подход может быть проиллюстрирован применением для этих целей языка и системы логического программирования Пролог. Программы, записанные на языке Пролог, представляют наборы фактов и правил логического вывода без жесткого задания алгоритма как последовательности действий, приводящих к необходимому результату.

Агентно-ориентированный подход

Последний подход, развиваемый с начала 1990-х годов, называется агентно-ориентированным подходом, или подходом, основанным на использовании интеллектуальных (рациональных) агентов. Согласно этому подходу, интеллект — это вычислительная часть (грубо говоря, планирование) способности достигать поставленных перед интеллектуальной машиной целей. Сама такая машина будет интеллектуальным агентом, воспринимающим окружающий его мир с помощью датчиков, и способной воздействовать на объекты в окружающей среде с помощью исполнительных механизмов.

Этот подход акцентирует внимание на тех методах и алгоритмах, которые помогут интеллектуальному агенту выживать в окружающей среде при выполнении его задачи. Так, здесь значительно тщательнее изучаются алгоритмы поиска пути и принятия решений.

Гибридный подход

Гибридный подход предполагает, что только синергетическая комбинация нейронных и символьных моделей достигает полного спектра когнитивных и вычислительных возможностей. Например, экспертные правила умозаключений могут генерироваться нейронными сетями, а порождающие правила получают с помощью статистического обучения. Сторонники данного подхода считают, что гибридные информационные системы будут значительно более сильными, чем сумма различных концепций по отдельности.

Data Scientist (Специалист по обработке, анализу и хранению больших массивов данных)

Data Scientist — специалист по обработке, анализу и хранению больших массивов данных, так называемых «Big Data». Профессия подходит тем, кого интересует физика, математика и информатика (см. выбор профессии по интересу к школьным предметам).

Data Science – наука о данных на стыке разных дисциплин: математика и статистика; информатика и компьютерные науки; бизнес и экономика.

(С.Мальцева, В.Корнилов НИУ «ВШЭ»)

Профессия новая, актуальная и чрезвычайно перспективная. Сам термин «Big Data» появился в 2008 году. А профессия Data Scientist — «Учёный по данным» официально зарегистрирована как академическая и межотраслевая дисциплина в начале 2010 г. Хотя первое упоминание термина «data science” было отмечено в книге Петера Наура 1974 г., но в ином контексте.

Необходимость возникновения такой профессии была продиктована тем, что когда речь идет об Ультра Больших Данных, массивы данных оказываются слишком велики для того, чтобы обрабатывать их стандартными средствами математической статистики. Каждый день через сервера компаний всего мира проходит тысячи петабайт ( 10 15 байт =1024 терабайт) информации. Кроме таких объёмов данных, проблему усложняет их разнородность и высокая скорость обновления.

Массивы данных подразделяют на 3 вида:

структурированные (например, данные кассовых аппаратов в торговле);

полуструктурированные (сообщения E-mail);

неструктурированные (видеофайлы, изображения, фотографии).

Большинство данных Big Data является неструктурированными, что значительно усложняет их обработку.

По отдельности специалист по статистике, системный аналитик или бизнес-аналитик не может решить задачи с такими объёмами данных. Для этого нужен человек с междисциплинарным образованием, компетентный в математике и статистике, экономике и бизнесе, информатике и компьютерных технологиях.

Главная задача Data Scientist — умение извлекать необходимую информацию из самых разнообразных источников, используя информационные потоки в режиме реального времени; устанавливать скрытые закономерности в массивах данных и статистически анализировать их для принятия грамотных бизнес-решений. Рабочим местом такого специалиста является не 1 компьютер и даже не 1 сервер, а кластер серверов.

Особенности профессии

В работе с данными Data Scientist использует различные способы:

  • статистические методы;
  • моделирование баз данных;
  • методы интеллектуального анализа;
  • приложения искусственного интеллекта для работы с данными;
  • методы проектирования и разработки баз данных.

Должностные обязанности data scientist зависят от сферы его деятельности, но общий перечень функций выглядит следующим образом:

  • сбор данных из разных источников для последующей оперативной обработки;
  • анализ поведения потребителей;
  • моделирование клиентской базы и персонализация продуктов;
  • анализ эффективности внутренних процессов базы;
  • анализ различных рисков;
  • выявление возможного мошенничества по изучению сомнительных операций;
  • составление периодических отчетов с прогнозами и презентацией данных.

Data Scientist, как настоящий учёный, занимается не только сбором и анализом данных, но и изучает их в разных контекстах и под разными углами, подвергая сомнению любые предположения. Важнейшее качество специалиста по данным — это умение видеть логические связи в системе собранной информации, и на основе количественного анализа разрабатывать эффективные бизнес-решения. В современном конкурентном и быстро меняющемся мире, в постоянно растущем потоке информации Data Scientist незаменим для руководства в плане принятия правильных бизнес-решений.

Плюсы и минусы профессии

Плюсы

  • Профессия не только чрезвычайно востребованная, но существует острый дефицит специалистов такого уровня. Поэтому так стремительно и широко финансируются и развиваются факультеты при самых престижных вузах по подготовке специалистов по данным. В России также растет спрос на Data Scientist.
  • Высокооплачиваемая профессия.
  • Необходимость постоянно развиваться, идти в ногу с развитием IT-технологий, самому создавать новые методы обработки, анализа и хранения данных.

Минусы

  • Не каждый человек сможет освоить эту профессию, нужен особый склад ума.
  • В процессе работы могут не сработать известные методы и более 60% идей. Множество решений окажется несостоятельным и нужно иметь большое терпение, чтобы получить удовлетворительные результаты. Учёный не имеет права сказать: «НЕТ!» проблеме. Он должен найти способ, который поможет решить поставленную задачу.


Место работы

Data Scientist занимают ключевые позиции в:

  • технологических отраслях (системы автонавигации, производство лекарств и т.д.);
  • IT-сфере (оптимизация поисковой выдачи, фильтр спама, систематизация новостей, автоматические переводы текстов и многое другое);
  • медицине (автоматическая диагностика болезней);
  • финансовых структурах (принятие решений о выдаче кредитов) и т.д;
  • телекомпаниях;
  • крупных торговых сетях;
  • избирательных кампаниях.

Важные качества

  • аналитический склад ума;
  • трудолюбие;
  • настойчивость;
  • скрупулёзность, точность, внимательность;
  • способность доводить исследования до конца, несмотря на неудачные промежуточные результаты;
  • коммуникабельность;
  • умение объяснить сложные вещи простыми словами;
  • бизнес-интуиция.

Профессиональные знания и навыки:

  • знание математики, матанализа, математической статистики, теории вероятностей;
  • знание английского языка;
  • владение основными языками программирования, у которых имеются компоненты для работы с большими массивами данных: Java (Hadoop), C ++ (BigARTM, Vowpel Wabbit, XGBoost), Python (Matplotlib, Numpy, Scikit, Skipy);
  • владение статистическими инструментами — SPSS, R, MATLAB, SAS Data Miner, Tableau;
  • основательное знание отрасли, в которой работает data scientist; если это фармацевтическая отрасль, то необходимо знание основных процессов производства, компонентов лекарств;
  • главный базовый навык специалиста по data scientist — организация и администрация кластерных систем хранения больших массивов данных;
  • знание законов развития бизнеса;
  • экономические знания.

Обучение на Data Scientist-а (Образование)

Профессию Data Scientist в России можно получить и совершенствовать по специальным программам дополнительного образования, организуемым компаниями, которые занимаются исследованиями в этой сфере.

Курсы

  • МГУ им. Ломоносова, Факультет вычислительной математики и кибернетики, специальная образовательная программа Mail.Ru Group «Техносфера», с обучением методам интеллектуального анализа большого объема данных, программированию на С ++ , многопоточному программированию и технологии построения систем информационного поиска.
  • МФТИ, Кафедра анализа данных.
  • Факультет бизнес-информатики в НИУ ВШЭ готовит системных аналитиков, проектировщиков и внедренцев сложных информационных систем, организаторов управления корпоративными информационными системами.
  • Школа анализа данных Яндекс.
  • Университет в Иннополисе, университет Данди, университет Южной Калифорнии, Оклендский университет, Вашингтонский университет: Магистратуры по направлению Big Data.
  • Бизнес-школа Имперского колледжа Лондона, Магистратура по науке о данных и менеджменту.

Как и в любой профессии здесь важно самообразование, несомненную пользу которому принесут такие ресурсы, как:

  • онлайн-курсы ведущих университетов мира COURSERA;
  • канал машинного обучения MASHIN LEARNING;
  • подборка курсов edX;
  • курсы Udacity;
  • курсы Dataquest, на которых можно стать настоящим профи в Data Science;
  • 6-шаговые курсы Datacamp;
  • обучающие видео O’Reilly;
  • скринкасты для начинающих и продвинутых Data Origami;
  • ежеквартальная конференция специалистов Moskow Data Scients Meetup;
  • соревнования по анализу данных Kaggle.сom

Оплата труда

Зарплата на 06.11.2020

Профессия Data Scientist является одной из самых высокооплачиваемых. Информация с сайта hh.ru — зарплата в месяц составляет от $8,5 тыс. до $9 тыс. В США оплата труда такого специалиста составляет $110 тыс. — $140 тыс. в год.

По результатам опроса исследовательского центра Superjob зарплата специалистов Data Scientist зависит от опыта работы, объёма обязанностей и региона. Начинающий специалист может рассчитывать на 70 тыс. руб. в Москве и 57 тыс. руб. в Санкт-Петербурге. С опытом работы до 3 лет зарплата повышается до 110 тыс. руб. в Москве и 90 тыс. руб. в Санкт-Петербурге. У опытных специалистов с научными публикациями зарплата может достигать 220 тыс. руб. в Москве и 180 тыс. руб. в Петербурге.

Ступеньки карьеры и перспективы

Профессия Data Scientist сама по себе является высоким достижением, для которой требуются серьёзные теоретические знания и практический опыт нескольких профессий. В любой организации такой специалист является ключевой фигурой. Чтобы достичь этой высоты надо упорно и целенаправленно работать и постоянно совершенствоваться во всех сферах, составляющих основу профессии.

Интересные факты о профессии

Про Data Scientist шутят: это универсал, который программирует лучше любого специалиста по статистике, и знает статистику лучше любого программиста. А в бизнес-процессах разбирается лучше руководителя компании.

ЧТО ТАКОЕ «BIG DATA» в реальных цифрах?

  1. Через каждые 2 дня объём данных увеличивается на такое количество информации, которое было создано человечеством от Рождества Христова до 2003 г.
  2. 90% всех существующих на сегодня данных появились за последние 2 года.
  3. До 2020 г. объём информации увеличится от 3,2 до 40 зеттабайт. 1 зеттабайт = 10 21 байт.
  4. В течение 1 минуты в сети Facebook загружается 200 тысяч фото, отправляется 205 млн. писем, выставляется 1,8 млн. лайков.
  5. В течение 1 секунды Google обрабатывает 40 тыс. поисковых запросов.
  6. Каждые 1,2 года удваивается общий объём данных в каждой отрасли.
  7. К 2020 г. объём рынка Hadoop-сервисов вырастет до $50 млрд.
  8. В США в 2015 г. создано 1,9 млн. рабочих мест для специалистов, работающих на проектах Big Data.
  9. Технологии Big Data увеличивают прибыль торговых сетей на 60% в год.
  10. По прогнозам объём рынка Big Data увеличится до $68,7 млрд. в 2020 г. по сравнению с $28,5 млрд. в 2014 г.

Несмотря на такие позитивные показатели роста, бывают и ошибки в прогнозах. Так, например, одна из самых громких ошибок 2020 года: не сбылись прогнозы по поводу выборов президента США. Прогнозы были представлены знаменитыми Data Scientist США Нейт Сильвером, Керк Борном и Биллом Шмарзо в пользу Хиллари Клинтон. В прошлые предвыборные компании они давали точные прогнозы и ни разу не ошибались.

В этом году Нейт Сильвер, например, дал точный прогноз для 41 штата, но для 9 штатов — ошибся, что и привело к победе Трампа. Проанализировав причины ошибок 2020 года, они пришли к выводу, что:

  1. Математические модели объективно отражают картину в момент их создания. Но они имеют период полураспада, к концу которого ситуация может кардинально измениться. Прогнозные качества модели со временем ухудшаются. В данном случае, например, сыграли свою роль должностные преступления, неравенство доходов и другие социальные потрясения. Поэтому модель необходимо регулярно корректировать с учётом новых данных. Это не было сделано.
  2. Необходимо искать и учитывать дополнительные данные, которые могут оказать существенное влияние на прогнозы. Так, при просмотре видео митингов в предвыборной кампании Клинтон и Трампа, не было учтено общее количество участников митингов. Речь шла приблизительно о сотнях человек. Оказалось, что в пользу Трампа на митинге присутствовало 400-600 человек в каждом, а в пользу Клинтон — всего 150-200, что и отразилось на результатах.
  3. Математические модели в предвыборных кампаниях основаны на демографических данных: возраст, раса, пол, доходы, статус в обществе и т.п. Вес каждой группы определяется тем, как они голосовали на прошлых выборах. Такой прогноз имеет погрешность 3-4 % и работает достоверно при большом разрыве между кандидатами. Но в данном случае разрыв между Клинтон и Трампом был небольшим, и эта погрешность оказала существенное влияние на результаты выборов.
  4. Не было учтено иррациональное поведение людей. Проведенные опросы общественного мнения создают иллюзию, что люди проголосуют так, как ответили в опросах. Но иногда они поступают противоположным образом. В данном случае следовало бы дополнительно провести аналитику лица и речи, чтобы выявить недобросовестное отношение к голосованию.

В целом, ошибочный прогноз оказался таковым по причине небольшого разрыва между кандидатами. В случае большого разрыва эти погрешности не имели бы такого решающего значения.

11 книг по ИИ и Data Science для изучения в 2020

С революционными возможностями в области ИИ и Data Science трудно разобраться, поэтому мы предлагаем подборку лучших книг в данной области.

Книги по Data Science и искусственному интеллекту на любой вкус: каждый найдет здесь что-то свое.
Life 3.0: Being Human in the Age of Artificial Intelligence – Max Tegmark

Это одна из самых популярных must-read книг по ИИ. Макс Тегмарк – поклонник искусственного интеллекта. Он заставляет задуматься о том, как изменится наша жизнь с внедрением автоматизации, будут ли стабильно работать ИИ-системы и т. д. Автор представляет нашу жизнь в трех измерениях: биологическом, культурном и технологическом, каждое из которых видоизменено, а также показывает, как технологические нарушения влияют на наш образ жизни.

Numsense! Data Science for the Layman – Annalyn Ng, Kenneth Soo

Хотите разобраться в Data Science? Эта книга для всех, кто желает познакомиться с основами без математической сложности. Она охватывает важные темы, такие как регрессионный анализ, нейронные сети, деревья решений, A/B тестирование и т. д. На легкость чтения влияют иллюстрации, которые соответствуют реальным процессам. Книга рекомендуется к прочтению новичкам.

Microsoft Excel Data Analysis and Business Modeling – Wayne Winston

Когда дело доходит до анализа данных, популярное ПО от Microsoft нельзя игнорировать. В книге разбираются как основы Excel, так и сложные вопросы бизнес-аналитики. Большинство проблем и тематических исследований, представленных в книге, сосредоточены на финансовой составляющей бизнеса. Темы включают в себя различные функции Excel: сводные таблицы, описательную статистику, OFFSET, INDIRECT, Excel Solver и макросы для автоматизации повторяющихся задач в анализе данных. Автор позаботился о том, чтобы читатель получил больше информации на реальных примерах.

Machine Learning – Tom Mitchell

Впервые опубликованная в 1986 году, эта книга является наилучшим вводным материалом для изучения элементарных аспектов ML. Автор предполагает, что читатель не имеет знаний об искусственном интеллекте или статистике, и обеспечивает легкий подход к пониманию обеих тем. В книге подробными примерами иллюстрируются популярные алгоритмы, такие как нейронные сети, байесовское обучение, обучение с подкреплением, а также, анализ наборов данных ML.

R for Data Science – Hadley Wickham, Garrett Grolemund

Эта книга познакомит вас с основами самого популярного статистического ЯП – R. Авторы объясняют визуализацию и преобразование данных с использованием функций языка R, Tidyverse, представляющий собой набор пакетов R для Data Science, а также показывают, как использовать IDE под названием в RStudio, для разработки ПО. Прочитав эту книгу, вы поймете истинный смысл R, изучая стиль программирования простым способом. Каждый раздел книги завершается упражнениями для закрепления материала.

A Student’s Guide to Python for Physical Modeling – Jesse Kinder and Philip Nelson

Python с каждым годом набирает обороты в сфере Data Science. Книга познакомит вас с задачами от настройки среды программирования Python и до выполнения вычислительных задач и моделирования в простой для понимания форме. Кроме того, предоставляются образцы кода, наборы данных и упражнения. Рекомендуем прочитать тем, кто заинтересован в изучении Python по классическому учебнику.

Head First Learn to Code: A Learner’s Guide to Coding and Computational Thinking – Eric Freeman

Данный труд сфокусирован на знакомстве с искусством программирования. Поскольку в ИИ и Data Science присутствует много кодинга, книга вводит в этикет программирования, помогая писать правильный и понятный код. В качестве основного ЯП для объяснения понятий и примеров используется Python. Особенность этой книги заключается в том, что в ней больше картинок, чем текста, что определенно нравится многим начинающим программистам любого ИТ-сегмента.

AI and Analytics: Accelerating Business Decisions – Sameer Dhanrajani

Необходимая к прочтению книга, предназначенная для руководителей и начинающих предпринимателей в области ИИ и Data Science. Она располагает бизнес-идеями, которые помогут стимулировать изменения в организации, используя популярные технологии: чат-боты, блокчейн и криптовалюту. Основное внимание уделено комплексным стратегиям и методологиям в аналитике. Автор охватывает большинство популярных отраслей бизнеса, таких как банковское дело, здравоохранение, страхование, розничная торговля и т. д.

Generation Robot: A Century of Science Fiction, Fact, and Speculation – Terri Favro

Эта новелла в сфере ИИ, рассматривающая вымысел, факты и последствия, к которым может привести использование роботов. Терри Фавро использует в своих рассуждениях творчество популярного писателя-фантаста Айзека Азимова, комиксы и научную фантастику, а также рассматривает, как робототехника и технологии проникают в нашу культуру. Книга для всех, кто интересуется роботами и желает порцию научной фантастики.

The Industries of the Future – Alec Ross

В книге, автор которой – американский эксперт по технологиям, описывается возможная яркая картина следующих десяти лет. Автор в основном сосредоточился на инновациях, происходящих в области технологий в различных странах, которые он посетил. Экономические идеи в цифровых технологиях – вот, что делает этот труд увлекательным. Темой книги являются такие технологии, как ИИ, кибербезопасность и геномика.

Blockchain Basics: A Non-Technical Introduction in 25 Steps – Daniel Drescher

В последнее время технология Blockchain является модным словом и ассоциируется с областью ИИ и Data Science. При помощи криптовалют, таких как Bitcoin, Ethereum и Litecoin, эта книга рассматривает в простом ключе информацию, не озадачивая читателя какой-либо математической сложностью или «программерскими терминами». Все понятия четко объясняются примерами с картинками. Интересная особенность этой книги – отсутствие технического и делового повествования, что делает ее более приятной для чтения.

Надеемся, что наша подборка книг по ИИ и Data Science вам пригодится.
А какие книги по искусственному интеллекту и Data Science порекомендовали бы вы?
Другие материалы по теме:

  • 4 концепта, необходимые специалисту по машинному обучению
  • 7 эффективных способов зарабатывать на искусственном интеллекте
  • TОП-10 свежих open source проектов по машинному обучению
Добавить комментарий