Машинное обучение (нейронные сети)

Вопросы написания собственного программного кода (на любых языках)

Модератор: Olej

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 25 фев 2018, 12:55

Olej писал(а):Вот новый интересный для использования проект из той же области: Introduction and Use - Tensorflow Object Detection API Tutorial
Как оказывается, это очень модный инструмент :lol: , на слуху:
https://cdn.tproger.ru/wp-content/uploads/2018/01/twnsorflow-1-5-cover.jpg
28 января 2018 в 14:04, Новости
Изображение
26 января Google анонсировала выход очередной версии Python-библиотеки для машинного обучения TensorFlow под номером 1.5. Она включает в себя несколько нововведений, сокращающих код и упрощающих запуск готовых моделей.


Даже в срочном порядке :-o :lol: :oops: ... готовится к выходу книжка:
Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных систем
Орельен Жерон
Изображение
88, c ил стр., с ил.;
ISBN 978-5-9500296-2-2, 978-1-491-96229-9;
формат 70x100/16;
твердый переплет;
серия O'Reilly (Animals);
26.02.2018; Вильямс.
книга в типографии
:lol:
"Эта книга — замечательное введение в теорию и практику решения задач с помощью нейронных сетей. Она охватывает ключевые моменты, необходимые для построения эффективных приложений, а также обеспечивает достаточную основу для понимания результатов новых исследований по мере их появления. Я рекомендую эту книгу всем, кто заинтересован в освоении практического машинного обучения."
— Пит Уорден, технический руководитель направления TensorFlow
Нужно будет обязательно найти эту варёзную книгу, как только оно появится! :lol:

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 25 фев 2018, 16:13

Olej писал(а): Даже в срочном порядке :-o :lol: :oops: ... готовится к выходу книжка:
Ещё одна книга!
Изображение
Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными
Год издания: 2017
Автор: Андреас Мюллер, Сара Гвидо
Жанр или тематика: Python
Издательство: Самиздат
Язык: Русский
Формат: PDF
393 стр.
Качайте здесь!

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 25 фев 2018, 16:40

Здесь имеем рекламные предложения на покупку 28 книг по тематике компьютерного зрения, нейронных сетей и машинного обучения (изданных русскоязычных переводов)...
Спасибо, ребята! ;-)
Но я надеюсь, что, с вашей помощью, найду варёз всех этих книг (знать бы что искать!) и покажу их здесь в теме. :lol:

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 25 фев 2018, 16:51

Olej писал(а): Как оказывается, это очень модный инструмент :lol: , на слуху:
https://cdn.tproger.ru/wp-content/uploads/2018/01/twnsorflow-1-5-cover.jpg
...
26 января Google анонсировала выход очередной версии Python-библиотеки для машинного обучения TensorFlow под номером 1.5. Она включает в себя несколько нововведений, сокращающих код и упрощающих запуск готовых моделей.
Вот это очень важно:
Поддержка архитектуры CUDA 9 и усовершенствованной библиотеки cuDNN 7 для повышения вычислительной производительности с помощью графического процессора на Windows и Linux;
Полный перечень обновлений доступен в примечаниях к выпуску. Установить TensorFlow 1.5 можно в одну команду:

Код: Выделить всё

$  pip install --ignore-installed --upgrade tensorflow

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 25 фев 2018, 16:55

Olej писал(а): Вот это очень важно:
Поддержка архитектуры CUDA 9 и усовершенствованной библиотеки cuDNN 7 для повышения вычислительной производительности с помощью графического процессора на Windows и Linux;
И обязательно не пропустить вот эту публикацию Бесплатная GPU Tesla K80 для ваших экспериментов с нейросетями:
1 февраля в 18:21
Изображение
Около месяца назад Google сервис Colaboratory, предоставляющий доступ к Jupyter ноутбукам, включил возможность бесплатно использовать GPU Tesla K80 с 13 Гб видеопамяти на борту. Если до сих пор единственным препятствием для погружения в мир нейросетей могло быть отсутствие доступа к GPU, теперь Вы можете смело сказать, “Держись Deep Learning, я иду!”.
Наличие GPU ускорителя является критическим фактором для скорости обучения deep learning моделей. Без GPU обучение нейросети займет многие часы/дни и не позволит полноценно экспериментировать со структурой сети. Объем видеопамяти так же важен. Больше памяти — можно установить больший размер батча и использовать более сложные модели. На сегодняшний день 13G это хороший объем, если захотите получить примерно столько же у себя на столе, придется покупать GPU уровня GTX 1080 Ti.

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 26 фев 2018, 12:32

Olej писал(а): Полный перечень обновлений доступен в примечаниях к выпуску. Установить TensorFlow 1.5 можно в одну команду:

Код: Выделить всё

$  pip install --ignore-installed --upgrade tensorflow
Вот что из этого получилось (Fedora 25):

Код: Выделить всё

[olej@dell ~]$ sudo pip install --ignore-installed --upgrade tensorflow
[sudo] пароль для olej: 
Collecting tensorflow
  Downloading tensorflow-1.5.0-cp35-cp35m-manylinux1_x86_64.whl (44.4MB)
    100% |████████████████████████████████| 44.4MB 24kB/s 
Collecting six>=1.10.0 (from tensorflow)
  Using cached six-1.11.0-py2.py3-none-any.whl
Collecting wheel>=0.26 (from tensorflow)
  Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
    100% |████████████████████████████████| 51kB 2.3MB/s 
Collecting numpy>=1.12.1 (from tensorflow)
  Downloading numpy-1.14.1-cp35-cp35m-manylinux1_x86_64.whl (12.1MB)
    100% |████████████████████████████████| 12.1MB 89kB/s 
Collecting protobuf>=3.4.0 (from tensorflow)
  Downloading protobuf-3.5.1-cp35-cp35m-manylinux1_x86_64.whl (6.4MB)
    100% |████████████████████████████████| 6.4MB 167kB/s 
Collecting absl-py>=0.1.6 (from tensorflow)
  Downloading absl-py-0.1.10.tar.gz (79kB)
    100% |████████████████████████████████| 81kB 2.2MB/s 
Collecting tensorflow-tensorboard<1.6.0,>=1.5.0 (from tensorflow)
  Downloading tensorflow_tensorboard-1.5.1-py3-none-any.whl (3.0MB)
    100% |████████████████████████████████| 3.0MB 317kB/s 
Collecting setuptools (from protobuf>=3.4.0->tensorflow)
  Downloading setuptools-38.5.1-py2.py3-none-any.whl (489kB)
    100% |████████████████████████████████| 491kB 1.1MB/s 
Collecting werkzeug>=0.11.10 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
  Downloading Werkzeug-0.14.1-py2.py3-none-any.whl (322kB)
    100% |████████████████████████████████| 327kB 1.4MB/s 
Collecting html5lib==0.9999999 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
  Downloading html5lib-0.9999999.tar.gz (889kB)
    100% |████████████████████████████████| 890kB 665kB/s 
Collecting bleach==1.5.0 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
  Downloading bleach-1.5.0-py2.py3-none-any.whl
Collecting markdown>=2.6.8 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
  Downloading Markdown-2.6.11-py2.py3-none-any.whl (78kB)
    100% |████████████████████████████████| 81kB 1.8MB/s 
Installing collected packages: six, wheel, numpy, setuptools, protobuf, absl-py, werkzeug, html5lib, bleach, markdown, tensorflow-tensorboard, tensorflow
  Running setup.py install for absl-py ... done
  Running setup.py install for html5lib ... done
Successfully installed absl-py-0.1.10 bleach-1.5.0 html5lib-0.9999999 markdown-2.6.11 numpy-1.14.1 protobuf-3.5.1 setuptools-38.5.1 six-1.11.0 tensorflow-1.5.0 tensorflow-tensorboard-1.5.1 werkzeug-0.14.1 wheel-0.30.0
Пока всё достаточно просто и благополучно...

P.S. Кстати, вчера это же не получилось, с 3-х последовательных попыток - таймаут сокета ... наверное, очень многие по миру тянут ... на всех не хватает. :lol:

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 26 фев 2018, 13:27

Olej писал(а):Вот новый для меня интересный для использования проект из той же области: Introduction and Use - Tensorflow Object Detection API Tutorial
На этом сайте Tensorflow требуются зависимости:
Beyond this, the other Python dependencies are covered with:

Код: Выделить всё

pip install pillow
pip install lxml
pip install jupyter
pip install matplotlib

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 26 фев 2018, 13:40

Olej писал(а):

Код: Выделить всё

pip install jupyter
Это всё тянет множество зависимостей:

Код: Выделить всё

[olej@dell ~]$ sudo pip install jupyter
[sudo] пароль для olej: 
Collecting jupyter
  Downloading jupyter-1.0.0-py2.py3-none-any.whl
Collecting nbconvert (from jupyter)
  Downloading nbconvert-5.3.1-py2.py3-none-any.whl (387kB)
    100% |████████████████████████████████| 389kB 1.5MB/s 
Collecting notebook (from jupyter)
  Downloading notebook-5.4.0-py2.py3-none-any.whl (8.0MB)
    100% |████████████████████████████████| 8.0MB 138kB/s 
Collecting ipywidgets (from jupyter)
  Downloading ipywidgets-7.1.2-py2.py3-none-any.whl (68kB)
    100% |████████████████████████████████| 71kB 2.4MB/s 
Collecting qtconsole (from jupyter)
  Downloading qtconsole-4.3.1-py2.py3-none-any.whl (108kB)
    100% |████████████████████████████████| 112kB 2.7MB/s 
Collecting jupyter-console (from jupyter)
  Downloading jupyter_console-5.2.0-py2.py3-none-any.whl
Collecting ipykernel (from jupyter)
  Downloading ipykernel-4.8.2-py3-none-any.whl (108kB)
    100% |████████████████████████████████| 112kB 2.4MB/s 
Collecting mistune>=0.7.4 (from nbconvert->jupyter)
  Downloading mistune-0.8.3-py2.py3-none-any.whl
Collecting testpath (from nbconvert->jupyter)
  Downloading testpath-0.3.1-py2.py3-none-any.whl (161kB)
    100% |████████████████████████████████| 163kB 2.3MB/s 
Requirement already satisfied: bleach in /usr/lib/python3.5/site-packages (from nbconvert->jupyter)
Collecting traitlets>=4.2 (from nbconvert->jupyter)
  Downloading traitlets-4.3.2-py2.py3-none-any.whl (74kB)
    100% |████████████████████████████████| 81kB 2.4MB/s 
Collecting entrypoints>=0.2.2 (from nbconvert->jupyter)
  Downloading entrypoints-0.2.3-py2.py3-none-any.whl
Collecting pandocfilters>=1.4.1 (from nbconvert->jupyter)
  Downloading pandocfilters-1.4.2.tar.gz
Collecting jinja2 (from nbconvert->jupyter)
  Downloading Jinja2-2.10-py2.py3-none-any.whl (126kB)
    100% |████████████████████████████████| 133kB 2.4MB/s 
Collecting pygments (from nbconvert->jupyter)
  Downloading Pygments-2.2.0-py2.py3-none-any.whl (841kB)
    100% |████████████████████████████████| 849kB 1.2MB/s 
Collecting nbformat>=4.4 (from nbconvert->jupyter)
  Downloading nbformat-4.4.0-py2.py3-none-any.whl (155kB)
    100% |████████████████████████████████| 163kB 2.2MB/s 
Collecting jupyter-core (from nbconvert->jupyter)
  Downloading jupyter_core-4.4.0-py2.py3-none-any.whl (126kB)
    100% |████████████████████████████████| 133kB 2.5MB/s 
Collecting tornado>=4 (from notebook->jupyter)
  Downloading tornado-4.5.3.tar.gz (484kB)
    100% |████████████████████████████████| 491kB 1.4MB/s 
Collecting ipython-genutils (from notebook->jupyter)
  Downloading ipython_genutils-0.2.0-py2.py3-none-any.whl
Collecting Send2Trash (from notebook->jupyter)
  Downloading Send2Trash-1.5.0-py3-none-any.whl
Collecting jupyter-client>=5.2.0 (from notebook->jupyter)
  Downloading jupyter_client-5.2.2-py2.py3-none-any.whl (88kB)
    100% |████████████████████████████████| 92kB 2.3MB/s 
Collecting terminado>=0.8.1 (from notebook->jupyter)
  Downloading terminado-0.8.1-py2.py3-none-any.whl
Collecting ipython>=4.0.0; python_version >= "3.3" (from ipywidgets->jupyter)
  Downloading ipython-6.2.1-py3-none-any.whl (745kB)
    100% |████████████████████████████████| 747kB 1.0MB/s 
Collecting widgetsnbextension~=3.1.0 (from ipywidgets->jupyter)
  Downloading widgetsnbextension-3.1.4-py2.py3-none-any.whl (2.2MB)
    100% |████████████████████████████████| 2.2MB 458kB/s 
Collecting prompt-toolkit<2.0.0,>=1.0.0 (from jupyter-console->jupyter)
  Downloading prompt_toolkit-1.0.15-py3-none-any.whl (247kB)
    100% |████████████████████████████████| 256kB 2.0MB/s 
Requirement already satisfied: html5lib!=0.9999,!=0.99999,<0.99999999,>=0.999 in /usr/lib/python3.5/site-packages (from bleach->nbconvert->jupyter)
Requirement already satisfied: six in /usr/lib/python3.5/site-packages (from bleach->nbconvert->jupyter)
Requirement already satisfied: decorator in /usr/lib/python3.5/site-packages (from traitlets>=4.2->nbconvert->jupyter)
Collecting MarkupSafe>=0.23 (from jinja2->nbconvert->jupyter)
  Downloading MarkupSafe-1.0.tar.gz
Collecting jsonschema!=2.5.0,>=2.4 (from nbformat>=4.4->nbconvert->jupyter)
  Downloading jsonschema-2.6.0-py2.py3-none-any.whl
Requirement already satisfied: python-dateutil>=2.1 in /usr/lib/python3.5/site-packages (from jupyter-client>=5.2.0->notebook->jupyter)
Collecting pyzmq>=13 (from jupyter-client>=5.2.0->notebook->jupyter)
  Downloading pyzmq-17.0.0-cp35-cp35m-manylinux1_x86_64.whl (3.1MB)
    100% |████████████████████████████████| 3.1MB 327kB/s 
Collecting ptyprocess; os_name != "nt" (from terminado>=0.8.1->notebook->jupyter)
  Downloading ptyprocess-0.5.2-py2.py3-none-any.whl
Requirement already satisfied: setuptools>=18.5 in /usr/lib/python3.5/site-packages (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Collecting simplegeneric>0.8 (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
  Downloading simplegeneric-0.8.1.zip
Collecting pexpect; sys_platform != "win32" (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
  Downloading pexpect-4.4.0-py2.py3-none-any.whl (56kB)
    100% |████████████████████████████████| 61kB 2.3MB/s 
Collecting jedi>=0.10 (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
  Downloading jedi-0.11.1-py2.py3-none-any.whl (250kB)
    100% |████████████████████████████████| 256kB 2.1MB/s 
Collecting pickleshare (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
  Downloading pickleshare-0.7.4-py2.py3-none-any.whl
Collecting wcwidth (from prompt-toolkit<2.0.0,>=1.0.0->jupyter-console->jupyter)
  Downloading wcwidth-0.1.7-py2.py3-none-any.whl
Collecting parso==0.1.1 (from jedi>=0.10->ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
  Downloading parso-0.1.1-py2.py3-none-any.whl (91kB)
    100% |████████████████████████████████| 92kB 2.0MB/s 
Building wheels for collected packages: pandocfilters, tornado, MarkupSafe, simplegeneric
  Running setup.py bdist_wheel for pandocfilters ... done
  Stored in directory: /root/.cache/pip/wheels/08/5b/5b/66b3cde6f8215f8345479ef3699d6ddbb860f6ea7072008f8b
  Running setup.py bdist_wheel for tornado ... done
  Stored in directory: /root/.cache/pip/wheels/0c/21/02/8cdc6a381450df92b449ea7c57be653dd7aa80ba42c716212c
  Running setup.py bdist_wheel for MarkupSafe ... done
  Stored in directory: /root/.cache/pip/wheels/88/a7/30/e39a54a87bcbe25308fa3ca64e8ddc75d9b3e5afa21ee32d57
  Running setup.py bdist_wheel for simplegeneric ... done
  Stored in directory: /root/.cache/pip/wheels/7b/31/08/c85e74c84188cbec6a6827beec4d640f2bd78ae003dc1ec09d
Successfully built pandocfilters tornado MarkupSafe simplegeneric
Installing collected packages: mistune, testpath, ipython-genutils, traitlets, entrypoints, pandocfilters, MarkupSafe, jinja2, pygments, jsonschema, jupyter-core, nbformat, nbconvert, tornado, simplegeneric, wcwidth, prompt-toolkit, ptyprocess, pexpect, parso, jedi, pickleshare, ipython, pyzmq, jupyter-client, ipykernel, Send2Trash, terminado, notebook, widgetsnbextension, ipywidgets, qtconsole, jupyter-console, jupyter
Successfully installed MarkupSafe-1.0 Send2Trash-1.5.0 entrypoints-0.2.3 ipykernel-4.8.2 ipython-6.2.1 ipython-genutils-0.2.0 ipywidgets-7.1.2 jedi-0.11.1 jinja2-2.10 jsonschema-2.6.0 jupyter-1.0.0 jupyter-client-5.2.2 jupyter-console-5.2.0 jupyter-core-4.4.0 mistune-0.8.3 nbconvert-5.3.1 nbformat-4.4.0 notebook-5.4.0 pandocfilters-1.4.2 parso-0.1.1 pexpect-4.4.0 pickleshare-0.7.4 prompt-toolkit-1.0.15 ptyprocess-0.5.2 pygments-2.2.0 pyzmq-17.0.0 qtconsole-4.3.1 simplegeneric-0.8.1 terminado-0.8.1 testpath-0.3.1 tornado-4.5.3 traitlets-4.3.2 wcwidth-0.1.7 widgetsnbextension-3.1.4

Код: Выделить всё

[olej@dell ~]$ which jupyter
/usr/bin/jupyter


[olej@dell ~]$ jupyter --help
usage: jupyter [-h] [--version] [--config-dir] [--data-dir] [--runtime-dir]
               [--paths] [--json]
               [subcommand]

Jupyter: Interactive Computing

positional arguments:
  subcommand     the subcommand to launch

optional arguments:
  -h, --help     show this help message and exit
  --version      show the jupyter command's version and exit
  --config-dir   show Jupyter config dir
  --data-dir     show Jupyter data dir
  --runtime-dir  show Jupyter runtime dir
  --paths        show all Jupyter paths. Add --json for machine-readable
                 format.
  --json         output paths as machine-readable json

Available subcommands: bundlerextension console kernel kernelspec migrate
nbconvert nbextension notebook qtconsole run serverextension troubleshoot
trust


[olej@dell ~]$ jupyter --version
4.4.0

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: OpenCV и компьютерное зрение

Непрочитанное сообщение Olej » 26 фев 2018, 13:48

Olej писал(а): Beyond this, the other Python dependencies are covered with:

Код: Выделить всё

pip install pillow
pip install lxml
pip install jupyter
pip install matplotlib
В результате передыдущих установок (проверяем):

Код: Выделить всё

[olej@dell ~]$ python -m pip list | egrep 'matplotlib|lxml|pillow'
lxml (4.1.1)
matplotlib (1.5.2rc2)

Код: Выделить всё

[olej@dell ~]$ sudo pip install pillow
[sudo] пароль для olej: 
Requirement already satisfied: pillow in /usr/lib64/python3.5/site-packages

Аватара пользователя
Olej
Писатель
Сообщения: 21336
Зарегистрирован: 24 сен 2011, 14:22
Откуда: Харьков
Контактная информация:

Re: Машинное обучение (нейронные сети)

Непрочитанное сообщение Olej » 26 фев 2018, 14:07

Код: Выделить всё

[olej@dell ~]$ jupyter notebook
[I 12:56:47.658 NotebookApp] Writing notebook server cookie secret to /run/user/1000/jupyter/notebook_cookie_secret
[I 12:56:48.415 NotebookApp] Serving notebooks from local directory: /home/olej
[I 12:56:48.415 NotebookApp] 0 active kernels
[I 12:56:48.415 NotebookApp] The Jupyter Notebook is running at:
[I 12:56:48.415 NotebookApp] http://localhost:8888/?token=5173d05d3e8c37511d4c0ae1304b9374a757ddca24998b88
[I 12:56:48.416 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 12:56:48.420 NotebookApp] 
    
    Copy/paste this URL into your browser when you connect for the first time,
    to login with a token:
        http://localhost:8888/?token=5173d05d3e8c37511d4c0ae1304b9374a757ddca24998b88
[I 12:56:48.772 NotebookApp] Accepting one-time-token-authenticated connection from 127.0.0.1
[0226/125648.862143:ERROR:browser_gpu_channel_host_factory.cc(107)] Failed to launch GPU process.
...
Это консоль в браузере:
j2.png
Отмеченный - это созданный мной новый "ноутбук".
<имя>.ipynb - это расширение, которое имеют ноутбуки.

Ответить

Вернуться в «Программирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 6 гостей