Машинное обучение (нейронные сети)

Вопросы написания собственного программного кода (на любых языках)

Модератор: Olej

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 27 фев 2018, 17:05

Olej писал(а): Я же обещал! :lol:
Машинное обучение (2017) [PDF]
Изображение
Машинное обучение
Год выпуска: 2017
Автор: Х. Бринк, Д. Ричардс, М. Феверолф
Жанр: Искусственный интеллект. Обучение машины
Издательство: Питер
ISBN: 978-5-496-02989-6
Формат: PDF
Качество: OCR без ошибок

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 27 фев 2018, 17:31

Olej писал(а): Я же обещал! :lol:
Python и машинное обучение (2017) [PDF]
Изображение
Python и машинное обучение
Автор: Себастьян Paшкa
Издательство: ДМК Пресс
Год издания: 2017
Страниц: 420
ISBN: 978-5-97060-409-0, 978-1-78355-513-0
Жанр: Программирование
Формат: PDF
Качество: Изначально электронное (ebook)
Иллюстрации: Цветные

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 27 фев 2018, 18:43

И есть ещё такая, сильно растиражированная во мнениях, книжка:
Изображение
Название: Создаем нейронную сеть
Год издания: 2017
Автор: Тарик Рашид
Издательство: Вильямс
Жанр: Компьютерная литература
Количество страниц: 272
Формат: PDF
Язык: Русский
Размер: 43 Mb
Эта книга представляет собой введение в теорию и практику создания нейронных сетей. Она предназначена для тех, кто хочет узнать, что такое нейронные сети, где они применяются и как самому создать такую сеть, не имея опыта работы в данной области. Автор простым и понятным языком объясняет теоретические аспекты, знание которых необходимо для понимания принципов функционирования нейронных сетей и написания соответствующих программных инструкций. Изложение материала сопровождается подробным описанием процедуры поэтапного создания полностью функционального кода, который реализует нейронную сеть на языке Python и способен выполняться даже на таком миниатюрном компьютере, как Raspberry Pi Zero.
Похоже (по аннотациям и фрагментам), что для начального знакомства это именно самая подходящая книга.
Но поскольку а). словосочетание "нейронные сети" - это самая что ни есть фишка у лохов 2018-го года а б). большинство книжных ресурсов - это лохотрон ("пришли мне СМС" :lol: ) ... то именно эту книгу я не знаю где скачать, миллион ссылок - и везде лохотрон! :twisted:

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 27 фев 2018, 19:42

Olej писал(а):
Изображение
Название: Создаем нейронную сеть
Год издания: 2017
Автор: Тарик Рашид

Похоже (по аннотациям и фрагментам), что для начального знакомства это именно самая подходящая книга.
Но поскольку а). словосочетание "нейронные сети" - это самая что ни есть фишка у лохов 2018-го года а б). большинство книжных ресурсов - это лохотрон ("пришли мне СМС" :lol: ) ... то именно эту книгу я не знаю где скачать, миллион ссылок - и везде лохотрон! :twisted:
Из всего множества придурков эту книгу в PDF удалось загрузить вот отсюда ... на какой-то низкой скорости - какой-то пЫонЭрский сайт!!! :evil: (потому он, наверное и догадался попросить 2 рубля за скачивание :twisted: ).
Это руководство не рассчитано на специалистов в области матема­тики и вычислительной техники. От вас не требуется никаких специальных знаний или владения математикой в объеме, выходящем за пределы школьного курса.
...
Для любознательных читателей или студентов книга может по­служить стартовой площадкой для дальнейшего путешествия в ув­лекательный мир искусственного интеллекта.
...
Приведенный в книге пример кода тестировал­ся на Raspberry Pi — небольшом и недорогом компьютере, пользующемся большой популярностью среди школьников и студентов.
:lol:
Это уже из свежескачанной книги...
- Присоединяйтесь, барон, присоединяйтесь...
© "Всё тот-же Мюнхаузен". :lol:

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 28 фев 2018, 01:42

Olej писал(а): Похоже (по аннотациям и фрагментам), что для начального знакомства это именно самая подходящая книга.
А все примеры кодов к этой книге можете скачать здесь на GitHub ... а то автор в тексте, или его русскоязычные издатели как-то невнятно об этом.

Код: Выделить всё

[olej@dell 1rashid_t_sozdaem_neyronnuyu_set]$ tree makeyourownneuralnetwork-master 
makeyourownneuralnetwork-master
├── LICENSE
├── mnist_dataset
│   ├── mnist_readme.txt
│   ├── mnist_test_10.csv
│   └── mnist_train_100.csv
├── my_own_images
│   ├── 2828_my_own_2.png
│   ├── 2828_my_own_3.png
│   ├── 2828_my_own_4.png
│   ├── 2828_my_own_5.png
│   ├── 2828_my_own_6.png
│   ├── 2828_my_own_image.png
│   ├── 2828_my_own_noisy_6.png
│   └── readme.txt
├── part2_mnist_data_set.ipynb
├── part2_neural_network.ipynb
├── part2_neural_network_mnist_data.ipynb
├── part3_load_own_images.ipynb
├── part3_mnist_data_set_with_rotations.ipynb
├── part3_neural_network_mnist_and_own_data.ipynb
├── part3_neural_network_mnist_and_own_single_image.ipynb
├── part3_neural_network_mnist_backquery.ipynb
├── part3_neural_network_mnist_data_with_rotations.ipynb
└── README.md

2 directories, 22 files

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 28 фев 2018, 13:05

Olej писал(а): А все примеры кодов к этой книге можете скачать здесь на GitHub ... а то автор в тексте, или его русскоязычные издатели как-то невнятно об этом.
А вот здесь, по наводке автора - THE MNIST DATABASE of handwritten digits:

Код: Выделить всё

Four files are available on this site:

train-images-idx3-ubyte.gz:  training set images (9912422 bytes) 
train-labels-idx1-ubyte.gz:  training set labels (28881 bytes) 
t10k-images-idx3-ubyte.gz:   test set images (1648877 bytes) 
t10k-labels-idx1-ubyte.gz:   test set labels (4542 bytes)
Это бесценный тестовый материал (рукописных цифр):
The training set contains 60000 examples, and the test set 10000 examples.
Вот такие количества нужно перелопачивать в машинном обучении :-o ... попробуйте подготовить такой тестовый материал самостоятельно ... руки отсохнут. :oops:

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 28 фев 2018, 13:17

Olej писал(а): А вот здесь, по наводке автора - THE MNIST DATABASE of handwritten digits:
Формат базы данных MNIST не относится к числу тех, с которыми легко работать, но, к счастью, другие специалисты создали соответствующие файлы в более простом формате...
И ещё один такой же источник MNIST in CSV:

Код: Выделить всё

[olej@dell 1rashid_t_sozdaem_neyronnuyu_set]$ ls -l *.csv
-rw-rw-r-- 1 olej olej  18289443 фев 28 12:11 mnist_test.csv
-rw-rw-r-- 1 olej olej 109575994 фев 28 12:17 mnist_train.csv
И там же автор приводит скрипт (Python) который преобразовывает исходные MNIST DATABASE в формат CSV.
Тренировочный набор содержит 60 000 промаркированных экземпляров, используемых для тренировки нейронной сети. Слово “ про­маркированные” означает, что для каждого экземпляра указан соот­ветствующий правильный ответ.
Меньший тестовый набор, включающий 10 000 экземпляров, ис­пользуется для проверки правильности работы идей или алгоритмов. Он также содержит корректные маркеры, позволяющие увидеть, способна ли наша нейронная сеть дать правильный ответ.
Вложения
convert.py
(632 байт) 139 скачиваний

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 28 фев 2018, 15:22

Ещё одна книга ... качать свободно здесь: Верховный алгоритм: Как машинное обучение изменит наш мир
Изображение
Верховный алгоритм: Как машинное обучение изменит наш мир
Год издания: 2016
Автор: Педро Домингос
Жанр или тематика: Машинное обучение
Издательство: Манн, Иванов и Фербер
ISBN: 978-5-00100-172-0
Серия: Расширающие кругозор
Язык: Русский
Формат: PDF
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 336
Это, скорее, научно-популярное изложение, но от учёного-профессионала ...
Читать очень интересно, хотя бы для того, чтобы определиться для себя: стоит ли?, и чем и как заниматься?

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 28 фев 2018, 16:20

Olej писал(а): И в файловой системе Linux ноутбуки отображаются как файлы с расширением .ipynb (нужно думать: IPython + notebook).
Все примеры-коды автор проделывает в виртуальных ноутбуках Jupyter (см. IPython + Jupyter).
ex1.png
Это уже становится ... трендом в машинном обучении и в Python, в частности, ... в Windows-мире, предполагаю, потому что у них там Python "через задницу".
Но это всё легко можно, при желании, экспортировать в .py файл:
ex2.png
После небольших правок кода, таких как имена файлов данных для обучения и тестов, всё это можно запускать и в терминале:

Код: Выделить всё

[olej@dell 1rashid_t_sozdaem_neyronnuyu_set]$ time python3 part2_neural_network_mnist_data.py 
performance =  0.6

real	0m2.218s
user	0m3.528s
sys	0m10.672s
Это результат - на самых малых выборках данных (100 образцов на обучении + 10 на тестах):

Код: Выделить всё

[olej@dell 1rashid_t_sozdaem_neyronnuyu_set]$ ls -l *10*.csv
-rw-r--r-- 1 olej olej  18006 фев 28 00:38 mnist_test_10.csv
-rw-r--r-- 1 olej olej 182023 фев 28 00:38 mnist_train_100.csv

Даже такой элементарно малый объём данных уже требует значительного времени + очень серьёзно нагружает компьютер (i7), так что он заметно тормозит на других операциях.
Но пока меня интересует только сама используемая техника работы и возможности использования образцов...

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 08 дек 2018, 19:06

Очень хороший перевод цикла статей по машинному обучению и бигдата ... вот 4-я часть цикла, наиболее мне интересная:
Распознавание лиц с помощью глубокого обучения
Posted on Апрель 19, 2017
...
Изображение
Сработало! Обратите внимание, как хорошо это работает даже в разных положениях лиц – даже боком!
...
Я назвал этот цикл очень хорошим потому, что автор приводит множество ссылок на GIT-ы, на коды, которые можно тут же попробовать и воспроизвести.
P.S. Там же ссылки на все остальные части цикла:
Часть цикла статей Adam Geitgey – “Машинное обучение это весело!”: ч.1, ч.2, ч.3, ч.4, ч.5, ч.6, ч.7, ч.8.

Ответить

Вернуться в «Программирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 3 гостя