Головна/Як встановити R на сервер і автоматизувати рутинні завдання

ср, 13 червня 2018 р.

Як встановити R на сервер і автоматизувати рутинні завдання

Під час роботи з великими масивами інформації дуже часто доводиться використовувати мову програмування, у моєму випадку — це мова R, для збору, підготовки та подальшої обробки даних. Спочатку мені цілком вистачало десктопної версії RStudio і пакета taskscheduleR для автоматичного запуску скриптів на моєму комп’ютері. Але з часом кількість таких скриптів значно зросла, і всі оновлення залежали від того, чи увімкнений мій комп’ютер. У цей момент я й замислився про встановлення R на сервер. Для своїх потреб я вирішив використовувати сервер у Google Cloud Platform.

Справедливо буде зазначити, що під час встановлення R на сервер Google Cloud Platform і пошуку інформації про те, як це зробити, я натрапив на статтю в блозі Netpeak, у якій було описано, як реалізувати це завдання. Однак у процесі роботи з тією статтею я все одно зіткнувся з труднощами, про які в ній не згадувалося.

Про що ми поговоримо:

Створення віртуальної машини в Google Cloud Platform (GCP)
Встановлення додаткових пакетів на сервері
Налаштування автоматичного запуску скриптів

Створення віртуальної машини в Google Cloud Platform

Якщо ви вирішили створити сервер у Google Cloud Platform, то перше, що потрібно зробити — підібрати і налаштувати для цього віртуальну машину. Google надає величезний вибір конфігурацій, а також безкоштовний тестовий період тривалістю один рік.

Якщо ви вперше використовуєте GCP, то перед тим як створювати екземпляр віртуальної машини, потрібно створити проєкт і увімкнути білінг. Навіть якщо ви використовуєте тестовий період, все одно доведеться прив’язати свою банківську картку. Google обіцяє не списувати з неї кошти :) Картка потрібна лише для підтвердження, що ви — реальна людина.

Тепер, коли з формальностями покінчено, розпочнемо.

Переходимо в консоль GCP на сторінку віртуальних машин і обираємо пункт Create instance.

У вікні, що з’явиться, задаємо потрібні параметри:

Name — Вводимо назву віртуальної машини (допускаються літери, цифри та дефіс).
Region & Zone — Обираємо потрібний регіон і зону. Це вплине на доступні ресурси та розміщення даних.
Machine type — Підбираємо необхідну конфігурацію. В розширеному режимі можна обрати до 8 ядер і 52 ГБ оперативної пам’яті.

34.3 Choosing the type and specifications of a virtual machine

Boot Disk — Вибираємо ОС Ubuntu 16.04 LTS або Ubuntu 18.04 LTS.
Ідентифікація та доступ до API — Ми не плануємо створювати застосунки, які використовують обліковий запис служби для виклику хмарних API Google, тому нам достатньо стандартних налаштувань. Докладніше про цей пункт можна прочитати в довідці.
Firewall — У налаштуваннях брандмауера дозволяємо можливість взаємодії з сервером як через HTTP, так і через захищений протокол HTTPS.

Праворуч буде відображена приблизна вартість користування віртуальною машиною.

Не забудьте натиснути Create. Через деякий час машина буде створена.

Встановлення R і R Studio на сервер Google Cloud Platform

Щоб почати роботу зі щойно створеною віртуальною машиною, потрібно підключитися до неї через SSH (мережевий протокол, назва якого походить від слів Secure Shell). Він шифрує весь трафік, включно з переданими паролями. Для цього достатньо клікнути на відповідний пункт у меню:

34.4 Connecting to a virtual machine via SSH protocol

У новому вікні браузера відкриється… Матриця ))

34.5 What connecting to a GCP virtual machine looks like

Перше, що я подумав, побачивши це вікно: “ось вона — матриця”. Але поспілкувавшись із програмістами та дізнавшись у них деякі деталі, я зрозумів, що все не так страшно — і зараз ви в цьому переконаєтесь.

Цікаво: у більшості команд, які ми будемо використовувати далі, на початку буде команда sudo, що дозволяє запускати команди від імені суперкористувача root.

Потрібно розуміти, що, окрім головного репозиторію, який містить усі пакети від розробників дистрибутива Ubuntu, існує безліч інших джерел пакетів. Одним з таких є пакет R. Додавання такого стороннього пакета відбувається у 4 етапи:

Додати посилання на репозиторій у файл /etc/apt/sources.list
Додати в apt keyring публічний ключ репозиторію
Оновити кеш доступних пакетів
Встановити потрібний пакет

А теперь детальніше про кожен із цих пунктів:

Додавання посилання на репозиторій CRAN у /etc/apt/sources.list

Іншими словами, ми додаємо у файл /etc/apt/sources.list інформацію про те, звідки потрібно брати файли для встановлення R. Для цього, за допомогою наступної команди ми відкриємо потрібний файл через текстовий редактор nano. Ви можете використовувати інший текстовий редактор, наприклад vim.

bash

sudo nano /etc/apt/sources.list

У вікні, що відкрилося, опускаємося в кінець документа і додаємо рядок:

bash

deb https://cran.rstudio.com/bin/linux/ubuntu xenial/

34.6 Adding information about where to get files for R installation

Після цього натискаємо комбінацію Ctrl+X для виходу з редактора. У вікні, що відкриється, вводимо Y для збереження змін.

У останньому вікні натискаємо Enter, щоб записати дані у той самий файл, який ми редагували.

Додавання у apt keyring публічного ключа репозиторію CRAN

Ключ використовується для підтвердження автентичності та надійності репозиторію. Його додають за допомогою наступної команди:

bash

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E084DAB9

Ця команда запитує ключ безпосередньо у сервера сертифікації Ubuntu — keyserver.ubuntu.com

Оновлення кешу доступних пакетів

Виконується за допомогою команди:

bash

sudo apt update

Встановлення необхідного пакету R

Тепер можемо встановити необхідний нам пакет R за допомогою команди:

bash

sudo apt-get install r-base

Під час виконання команди потрібно буде підтвердити, що ви готові встановити програмне забезпечення, ввівши Y. Або ж одразу скористатись командою:

bash

sudo apt-get install r-base -y

Встановлення R Studio

Окрім встановлення R, для зручності роботи, нам потрібно встановити R Studio. І перше, що треба зробити — завантажити інсталяційний файл. Робимо це за допомогою команди wget:

bash

wget https://download2.rstudio.org/rstudio-server-1.0.136-amd64.deb

Тепер, щоб виконати встановлення R Studio, потрібно встановити ще один пакет — gdebi. Gdebi — програма для встановлення .deb пакетів.

bash

sudo apt-get install gdebi-core -y

І останньою командою встановлюємо R Studio із завантаженого файлу:

bash

sudo gdebi rstudio-server-1.0.136-amd64.deb

Тепер потрібно вказати порт, через який ви отримуватимете доступ до R Studio. Для цього потрібно внести інформацію у файл /etc/rstudio/rserver.conf. Робимо це за допомогою команди:

bash

sudo nano /etc/rstudio/rserver.conf

І додаємо у файл наступний рядок:

bash

www-port=80

Тепер задаємо пароль для доступу до R Studio

bash

sudo passwd user_name

де замість user_name вводимо ім’я користувача

Під час введення пароля вам здаватиметься, що нічого не відбувається, але насправді введені символи запам’ятовуються. Після другого успішного введення ви побачите приблизно таке:

34.10 Setting a password on the server from RStudio

Залишилося перезапустити R Studio Server і можна починати роботу.

bash

sudo service rstudio-server restart

Щоб потрапити в звичний інтерфейс R Studio, потрібно перейти за зовнішньою адресою:

34.11 To access the familiar RStudio interface, you need to follow the external address

Найімовірніше при вході ви побачите таку помилку:

34.12 Attempt to connect to the server with port 443 closed

Вона пов’язана з тим, що ви намагаєтесь підключитися через протокол HTTPS, а для роботи з R Studio ми відкривали порт 80 для протоколу HTTP. Прибравши зайву букву у адресному рядку — можна заходити:

https://22.222.222.22/ -> http://22.222.222.22/

У вікні, що відкриється, вводимо логін і пароль і насолоджуємось звичним виглядом R Studio — тільки тепер на сервері.

Встановлення додаткових пакетів R на сервері

Імовірно, базових пакетів R для роботи вам буде недостатньо, і доведеться встановлювати додаткові. Розглянемо встановлення на прикладі пакету googleAnalyticsR.

Якщо просто ввести в консолі R команду:

bash

install.packages("googleAnalyticsR")

швидше за все ви отримаєте помилку.

34.14 Error when entering an R package installation command in the console

Щоб цього уникнути, потрібно додатково встановити деякі пакети Ubuntu. Зробити це можна за допомогою команди:

bash

sudo apt-get install build-essential libcurl4-gnutls-dev libxml2-dev libssl-dev

Після цієї нехитрої маніпуляції ви можете встановлювати пакети в R Studio звичним способом або ж у консолі Ubuntu. Щоб запустити оболонку R як користувач root:

bash

sudo -i R

І тепер можна використовувати install.packages() прямо з консолі Ubuntu.

34.15 Installing required packages using the install.packages command from the Ubuntu console

Налаштування автоматичного запуску скриптів

Тепер розглянемо те, заради чого я власне і встановлював R на сервер — автоматичний запуск скриптів за розкладом. Для цього використовуємо пакет cronR. Спочатку встановлюємо його і підключаємо бібліотеку:

install.packages("cronR") 
library(cronR)

Тепер у вкладці аддонів з’явиться новий аддон “Schedule R scripts on...”

34.16 Adding the add-on Schedule R scripts on

При першому запуску з’явиться вікно:

34.17 Launching the add-on Schedule R scripts on

в якому сміливо можна тиснути кнопку Yes.

Після встановлення всіх потрібних пакетів побачимо наступне вікно:

34.18 Window for configuring automatic script execution on a schedule

У ньому потрібно вказати скрипт і параметри запуску:

Choose your Rscript — вибираємо потрібний скрипт;
Selected Rscript — показує вибраний скрипт;
Launch date — дата першого запуску;
Launch hour — час запуску;
Schedule — розклад;
Job description — опис завдання;
Кнопка “Create job” — натискаємо в кінці.

Щоб побачити всі заплановані завдання — відкрийте вкладку Manage existing jobs

34.19 How to see which tasks are already scheduled

і натисніть кнопку Show current crontab schedule.

34.20 Button Show current crontab schedule Display currently scheduled tasks

У консолі R Studio ви побачите заплановані скрипти та час запуску.

34.21 Displaying information in the RStudio console about which scripts are scheduled and at what time

От тепер все ;)

Замість заключення: R — це надзвичайно потужна мова програмування, яка ідеально підходить для вирішення завдань, пов’язаних зі збиранням, підготовкою та подальшою обробкою даних. Завдяки встановленню R на сервер ці можливості стають по-справжньому безмежними. А як ви використовуєте R?

Якщо вам сподобався матеріал — підписуйтесь на мій канал в Telegram та Facebook.

AdvancedR language

Автор

Макс Гапчук

Вебаналітик, Маркетолог