Страница 1 из 4
Машинное обучение (нейронные сети)
Добавлено: 25 фев 2018, 12:55
Olej
Как оказывается, это очень
модный инструмент
, на слуху:
https://cdn.tproger.ru/wp-content/uploads/2018/01/twnsorflow-1-5-cover.jpg
28 января 2018 в 14:04, Новости
26 января Google анонсировала выход очередной версии Python-библиотеки для машинного обучения TensorFlow под номером 1.5. Она включает в себя несколько нововведений, сокращающих код и упрощающих запуск готовых моделей.
Даже в срочном порядке
... готовится к выходу
книжка:
Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных систем
Орельен Жерон
88, c ил стр., с ил.;
ISBN 978-5-9500296-2-2, 978-1-491-96229-9;
формат 70x100/16;
твердый переплет;
серия O'Reilly (Animals);
26.02.2018; Вильямс.
книга в типографии
"Эта книга — замечательное введение в теорию и практику решения задач с помощью нейронных сетей. Она охватывает ключевые моменты, необходимые для построения эффективных приложений, а также обеспечивает достаточную основу для понимания результатов новых исследований по мере их появления. Я рекомендую эту книгу всем, кто заинтересован в освоении практического машинного обучения."
— Пит Уорден, технический руководитель направления TensorFlow
Нужно будет обязательно найти эту варёзную книгу, как только оно появится!
Re: OpenCV и компьютерное зрение
Добавлено: 25 фев 2018, 16:13
Olej
Olej писал(а):
Даже в срочном порядке
... готовится к выходу
книжка:
Ещё одна книга!
Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными
Год издания: 2017
Автор: Андреас Мюллер, Сара Гвидо
Жанр или тематика: Python
Издательство: Самиздат
Язык: Русский
Формат: PDF
393 стр.
Качайте здесь!
Re: OpenCV и компьютерное зрение
Добавлено: 25 фев 2018, 16:40
Olej
Здесь имеем рекламные предложения
на покупку 28 книг по тематике компьютерного зрения, нейронных сетей и машинного обучения (изданных русскоязычных переводов)...
Спасибо, ребята!
Но я надеюсь, что, с вашей помощью, найду
варёз всех этих книг (знать бы что искать!) и
покажу их здесь в теме.
Re: OpenCV и компьютерное зрение
Добавлено: 25 фев 2018, 16:51
Olej
Вот это очень важно:
Поддержка архитектуры CUDA 9 и усовершенствованной библиотеки cuDNN 7 для повышения вычислительной производительности с помощью графического процессора на Windows и Linux;
Полный перечень обновлений доступен в примечаниях к выпуску. Установить TensorFlow 1.5 можно в одну команду:
Код: Выделить всё
$ pip install --ignore-installed --upgrade tensorflow
Re: OpenCV и компьютерное зрение
Добавлено: 25 фев 2018, 16:55
Olej
Olej писал(а):
Вот это очень важно:
Поддержка архитектуры CUDA 9 и усовершенствованной библиотеки cuDNN 7 для повышения вычислительной производительности с помощью графического процессора на Windows и Linux;
И
обязательно не пропустить вот эту публикацию
Бесплатная GPU Tesla K80 для ваших экспериментов с нейросетями:
1 февраля в 18:21
Около месяца назад Google сервис Colaboratory, предоставляющий доступ к Jupyter ноутбукам, включил возможность бесплатно использовать GPU Tesla K80 с 13 Гб видеопамяти на борту. Если до сих пор единственным препятствием для погружения в мир нейросетей могло быть отсутствие доступа к GPU, теперь Вы можете смело сказать, “Держись Deep Learning, я иду!”.
Наличие GPU ускорителя является критическим фактором для скорости обучения deep learning моделей. Без GPU обучение нейросети займет многие часы/дни и не позволит полноценно экспериментировать со структурой сети. Объем видеопамяти так же важен. Больше памяти — можно установить больший размер батча и использовать более сложные модели. На сегодняшний день 13G это хороший объем, если захотите получить примерно столько же у себя на столе, придется покупать GPU уровня GTX 1080 Ti.
Re: OpenCV и компьютерное зрение
Добавлено: 26 фев 2018, 12:32
Olej
Olej писал(а):
Полный перечень обновлений доступен в примечаниях к выпуску. Установить TensorFlow 1.5 можно в одну команду:
Код: Выделить всё
$ pip install --ignore-installed --upgrade tensorflow
Вот что из этого получилось (Fedora 25):
Код: Выделить всё
[olej@dell ~]$ sudo pip install --ignore-installed --upgrade tensorflow
[sudo] пароль для olej:
Collecting tensorflow
Downloading tensorflow-1.5.0-cp35-cp35m-manylinux1_x86_64.whl (44.4MB)
100% |████████████████████████████████| 44.4MB 24kB/s
Collecting six>=1.10.0 (from tensorflow)
Using cached six-1.11.0-py2.py3-none-any.whl
Collecting wheel>=0.26 (from tensorflow)
Downloading wheel-0.30.0-py2.py3-none-any.whl (49kB)
100% |████████████████████████████████| 51kB 2.3MB/s
Collecting numpy>=1.12.1 (from tensorflow)
Downloading numpy-1.14.1-cp35-cp35m-manylinux1_x86_64.whl (12.1MB)
100% |████████████████████████████████| 12.1MB 89kB/s
Collecting protobuf>=3.4.0 (from tensorflow)
Downloading protobuf-3.5.1-cp35-cp35m-manylinux1_x86_64.whl (6.4MB)
100% |████████████████████████████████| 6.4MB 167kB/s
Collecting absl-py>=0.1.6 (from tensorflow)
Downloading absl-py-0.1.10.tar.gz (79kB)
100% |████████████████████████████████| 81kB 2.2MB/s
Collecting tensorflow-tensorboard<1.6.0,>=1.5.0 (from tensorflow)
Downloading tensorflow_tensorboard-1.5.1-py3-none-any.whl (3.0MB)
100% |████████████████████████████████| 3.0MB 317kB/s
Collecting setuptools (from protobuf>=3.4.0->tensorflow)
Downloading setuptools-38.5.1-py2.py3-none-any.whl (489kB)
100% |████████████████████████████████| 491kB 1.1MB/s
Collecting werkzeug>=0.11.10 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
Downloading Werkzeug-0.14.1-py2.py3-none-any.whl (322kB)
100% |████████████████████████████████| 327kB 1.4MB/s
Collecting html5lib==0.9999999 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
Downloading html5lib-0.9999999.tar.gz (889kB)
100% |████████████████████████████████| 890kB 665kB/s
Collecting bleach==1.5.0 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
Downloading bleach-1.5.0-py2.py3-none-any.whl
Collecting markdown>=2.6.8 (from tensorflow-tensorboard<1.6.0,>=1.5.0->tensorflow)
Downloading Markdown-2.6.11-py2.py3-none-any.whl (78kB)
100% |████████████████████████████████| 81kB 1.8MB/s
Installing collected packages: six, wheel, numpy, setuptools, protobuf, absl-py, werkzeug, html5lib, bleach, markdown, tensorflow-tensorboard, tensorflow
Running setup.py install for absl-py ... done
Running setup.py install for html5lib ... done
Successfully installed absl-py-0.1.10 bleach-1.5.0 html5lib-0.9999999 markdown-2.6.11 numpy-1.14.1 protobuf-3.5.1 setuptools-38.5.1 six-1.11.0 tensorflow-1.5.0 tensorflow-tensorboard-1.5.1 werkzeug-0.14.1 wheel-0.30.0
Пока всё достаточно просто и благополучно...
P.S. Кстати, вчера это же не получилось, с 3-х последовательных попыток - таймаут сокета ... наверное, очень многие по миру тянут ... на всех не хватает.
Re: OpenCV и компьютерное зрение
Добавлено: 26 фев 2018, 13:27
Olej
На этом сайте Tensorflow требуются зависимости:
Beyond this, the other Python dependencies are covered with:
Код: Выделить всё
pip install pillow
pip install lxml
pip install jupyter
pip install matplotlib
Re: OpenCV и компьютерное зрение
Добавлено: 26 фев 2018, 13:40
Olej
Это всё тянет множество зависимостей:
Код: Выделить всё
[olej@dell ~]$ sudo pip install jupyter
[sudo] пароль для olej:
Collecting jupyter
Downloading jupyter-1.0.0-py2.py3-none-any.whl
Collecting nbconvert (from jupyter)
Downloading nbconvert-5.3.1-py2.py3-none-any.whl (387kB)
100% |████████████████████████████████| 389kB 1.5MB/s
Collecting notebook (from jupyter)
Downloading notebook-5.4.0-py2.py3-none-any.whl (8.0MB)
100% |████████████████████████████████| 8.0MB 138kB/s
Collecting ipywidgets (from jupyter)
Downloading ipywidgets-7.1.2-py2.py3-none-any.whl (68kB)
100% |████████████████████████████████| 71kB 2.4MB/s
Collecting qtconsole (from jupyter)
Downloading qtconsole-4.3.1-py2.py3-none-any.whl (108kB)
100% |████████████████████████████████| 112kB 2.7MB/s
Collecting jupyter-console (from jupyter)
Downloading jupyter_console-5.2.0-py2.py3-none-any.whl
Collecting ipykernel (from jupyter)
Downloading ipykernel-4.8.2-py3-none-any.whl (108kB)
100% |████████████████████████████████| 112kB 2.4MB/s
Collecting mistune>=0.7.4 (from nbconvert->jupyter)
Downloading mistune-0.8.3-py2.py3-none-any.whl
Collecting testpath (from nbconvert->jupyter)
Downloading testpath-0.3.1-py2.py3-none-any.whl (161kB)
100% |████████████████████████████████| 163kB 2.3MB/s
Requirement already satisfied: bleach in /usr/lib/python3.5/site-packages (from nbconvert->jupyter)
Collecting traitlets>=4.2 (from nbconvert->jupyter)
Downloading traitlets-4.3.2-py2.py3-none-any.whl (74kB)
100% |████████████████████████████████| 81kB 2.4MB/s
Collecting entrypoints>=0.2.2 (from nbconvert->jupyter)
Downloading entrypoints-0.2.3-py2.py3-none-any.whl
Collecting pandocfilters>=1.4.1 (from nbconvert->jupyter)
Downloading pandocfilters-1.4.2.tar.gz
Collecting jinja2 (from nbconvert->jupyter)
Downloading Jinja2-2.10-py2.py3-none-any.whl (126kB)
100% |████████████████████████████████| 133kB 2.4MB/s
Collecting pygments (from nbconvert->jupyter)
Downloading Pygments-2.2.0-py2.py3-none-any.whl (841kB)
100% |████████████████████████████████| 849kB 1.2MB/s
Collecting nbformat>=4.4 (from nbconvert->jupyter)
Downloading nbformat-4.4.0-py2.py3-none-any.whl (155kB)
100% |████████████████████████████████| 163kB 2.2MB/s
Collecting jupyter-core (from nbconvert->jupyter)
Downloading jupyter_core-4.4.0-py2.py3-none-any.whl (126kB)
100% |████████████████████████████████| 133kB 2.5MB/s
Collecting tornado>=4 (from notebook->jupyter)
Downloading tornado-4.5.3.tar.gz (484kB)
100% |████████████████████████████████| 491kB 1.4MB/s
Collecting ipython-genutils (from notebook->jupyter)
Downloading ipython_genutils-0.2.0-py2.py3-none-any.whl
Collecting Send2Trash (from notebook->jupyter)
Downloading Send2Trash-1.5.0-py3-none-any.whl
Collecting jupyter-client>=5.2.0 (from notebook->jupyter)
Downloading jupyter_client-5.2.2-py2.py3-none-any.whl (88kB)
100% |████████████████████████████████| 92kB 2.3MB/s
Collecting terminado>=0.8.1 (from notebook->jupyter)
Downloading terminado-0.8.1-py2.py3-none-any.whl
Collecting ipython>=4.0.0; python_version >= "3.3" (from ipywidgets->jupyter)
Downloading ipython-6.2.1-py3-none-any.whl (745kB)
100% |████████████████████████████████| 747kB 1.0MB/s
Collecting widgetsnbextension~=3.1.0 (from ipywidgets->jupyter)
Downloading widgetsnbextension-3.1.4-py2.py3-none-any.whl (2.2MB)
100% |████████████████████████████████| 2.2MB 458kB/s
Collecting prompt-toolkit<2.0.0,>=1.0.0 (from jupyter-console->jupyter)
Downloading prompt_toolkit-1.0.15-py3-none-any.whl (247kB)
100% |████████████████████████████████| 256kB 2.0MB/s
Requirement already satisfied: html5lib!=0.9999,!=0.99999,<0.99999999,>=0.999 in /usr/lib/python3.5/site-packages (from bleach->nbconvert->jupyter)
Requirement already satisfied: six in /usr/lib/python3.5/site-packages (from bleach->nbconvert->jupyter)
Requirement already satisfied: decorator in /usr/lib/python3.5/site-packages (from traitlets>=4.2->nbconvert->jupyter)
Collecting MarkupSafe>=0.23 (from jinja2->nbconvert->jupyter)
Downloading MarkupSafe-1.0.tar.gz
Collecting jsonschema!=2.5.0,>=2.4 (from nbformat>=4.4->nbconvert->jupyter)
Downloading jsonschema-2.6.0-py2.py3-none-any.whl
Requirement already satisfied: python-dateutil>=2.1 in /usr/lib/python3.5/site-packages (from jupyter-client>=5.2.0->notebook->jupyter)
Collecting pyzmq>=13 (from jupyter-client>=5.2.0->notebook->jupyter)
Downloading pyzmq-17.0.0-cp35-cp35m-manylinux1_x86_64.whl (3.1MB)
100% |████████████████████████████████| 3.1MB 327kB/s
Collecting ptyprocess; os_name != "nt" (from terminado>=0.8.1->notebook->jupyter)
Downloading ptyprocess-0.5.2-py2.py3-none-any.whl
Requirement already satisfied: setuptools>=18.5 in /usr/lib/python3.5/site-packages (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Collecting simplegeneric>0.8 (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Downloading simplegeneric-0.8.1.zip
Collecting pexpect; sys_platform != "win32" (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Downloading pexpect-4.4.0-py2.py3-none-any.whl (56kB)
100% |████████████████████████████████| 61kB 2.3MB/s
Collecting jedi>=0.10 (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Downloading jedi-0.11.1-py2.py3-none-any.whl (250kB)
100% |████████████████████████████████| 256kB 2.1MB/s
Collecting pickleshare (from ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Downloading pickleshare-0.7.4-py2.py3-none-any.whl
Collecting wcwidth (from prompt-toolkit<2.0.0,>=1.0.0->jupyter-console->jupyter)
Downloading wcwidth-0.1.7-py2.py3-none-any.whl
Collecting parso==0.1.1 (from jedi>=0.10->ipython>=4.0.0; python_version >= "3.3"->ipywidgets->jupyter)
Downloading parso-0.1.1-py2.py3-none-any.whl (91kB)
100% |████████████████████████████████| 92kB 2.0MB/s
Building wheels for collected packages: pandocfilters, tornado, MarkupSafe, simplegeneric
Running setup.py bdist_wheel for pandocfilters ... done
Stored in directory: /root/.cache/pip/wheels/08/5b/5b/66b3cde6f8215f8345479ef3699d6ddbb860f6ea7072008f8b
Running setup.py bdist_wheel for tornado ... done
Stored in directory: /root/.cache/pip/wheels/0c/21/02/8cdc6a381450df92b449ea7c57be653dd7aa80ba42c716212c
Running setup.py bdist_wheel for MarkupSafe ... done
Stored in directory: /root/.cache/pip/wheels/88/a7/30/e39a54a87bcbe25308fa3ca64e8ddc75d9b3e5afa21ee32d57
Running setup.py bdist_wheel for simplegeneric ... done
Stored in directory: /root/.cache/pip/wheels/7b/31/08/c85e74c84188cbec6a6827beec4d640f2bd78ae003dc1ec09d
Successfully built pandocfilters tornado MarkupSafe simplegeneric
Installing collected packages: mistune, testpath, ipython-genutils, traitlets, entrypoints, pandocfilters, MarkupSafe, jinja2, pygments, jsonschema, jupyter-core, nbformat, nbconvert, tornado, simplegeneric, wcwidth, prompt-toolkit, ptyprocess, pexpect, parso, jedi, pickleshare, ipython, pyzmq, jupyter-client, ipykernel, Send2Trash, terminado, notebook, widgetsnbextension, ipywidgets, qtconsole, jupyter-console, jupyter
Successfully installed MarkupSafe-1.0 Send2Trash-1.5.0 entrypoints-0.2.3 ipykernel-4.8.2 ipython-6.2.1 ipython-genutils-0.2.0 ipywidgets-7.1.2 jedi-0.11.1 jinja2-2.10 jsonschema-2.6.0 jupyter-1.0.0 jupyter-client-5.2.2 jupyter-console-5.2.0 jupyter-core-4.4.0 mistune-0.8.3 nbconvert-5.3.1 nbformat-4.4.0 notebook-5.4.0 pandocfilters-1.4.2 parso-0.1.1 pexpect-4.4.0 pickleshare-0.7.4 prompt-toolkit-1.0.15 ptyprocess-0.5.2 pygments-2.2.0 pyzmq-17.0.0 qtconsole-4.3.1 simplegeneric-0.8.1 terminado-0.8.1 testpath-0.3.1 tornado-4.5.3 traitlets-4.3.2 wcwidth-0.1.7 widgetsnbextension-3.1.4
Код: Выделить всё
[olej@dell ~]$ which jupyter
/usr/bin/jupyter
[olej@dell ~]$ jupyter --help
usage: jupyter [-h] [--version] [--config-dir] [--data-dir] [--runtime-dir]
[--paths] [--json]
[subcommand]
Jupyter: Interactive Computing
positional arguments:
subcommand the subcommand to launch
optional arguments:
-h, --help show this help message and exit
--version show the jupyter command's version and exit
--config-dir show Jupyter config dir
--data-dir show Jupyter data dir
--runtime-dir show Jupyter runtime dir
--paths show all Jupyter paths. Add --json for machine-readable
format.
--json output paths as machine-readable json
Available subcommands: bundlerextension console kernel kernelspec migrate
nbconvert nbextension notebook qtconsole run serverextension troubleshoot
trust
[olej@dell ~]$ jupyter --version
4.4.0
Re: OpenCV и компьютерное зрение
Добавлено: 26 фев 2018, 13:48
Olej
Olej писал(а):
Beyond this, the other Python dependencies are covered with:
Код: Выделить всё
pip install pillow
pip install lxml
pip install jupyter
pip install matplotlib
В результате передыдущих установок (проверяем):
Код: Выделить всё
[olej@dell ~]$ python -m pip list | egrep 'matplotlib|lxml|pillow'
lxml (4.1.1)
matplotlib (1.5.2rc2)
Код: Выделить всё
[olej@dell ~]$ sudo pip install pillow
[sudo] пароль для olej:
Requirement already satisfied: pillow in /usr/lib64/python3.5/site-packages
Re: Машинное обучение (нейронные сети)
Добавлено: 26 фев 2018, 14:07
Olej
Код: Выделить всё
[olej@dell ~]$ jupyter notebook
[I 12:56:47.658 NotebookApp] Writing notebook server cookie secret to /run/user/1000/jupyter/notebook_cookie_secret
[I 12:56:48.415 NotebookApp] Serving notebooks from local directory: /home/olej
[I 12:56:48.415 NotebookApp] 0 active kernels
[I 12:56:48.415 NotebookApp] The Jupyter Notebook is running at:
[I 12:56:48.415 NotebookApp] http://localhost:8888/?token=5173d05d3e8c37511d4c0ae1304b9374a757ddca24998b88
[I 12:56:48.416 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 12:56:48.420 NotebookApp]
Copy/paste this URL into your browser when you connect for the first time,
to login with a token:
http://localhost:8888/?token=5173d05d3e8c37511d4c0ae1304b9374a757ddca24998b88
[I 12:56:48.772 NotebookApp] Accepting one-time-token-authenticated connection from 127.0.0.1
[0226/125648.862143:ERROR:browser_gpu_channel_host_factory.cc(107)] Failed to launch GPU process.
...
Это консоль в браузере:
Отмеченный - это созданный мной новый "ноутбук".
<имя>.ipynb - это
расширение, которое имеют ноутбуки.