Під час роботи з даними легко припуститися помилки. На відміну від інших журналістських жанрів, навіть незначна неточність на початку процесу може дискредитувати увесь дата-проєкт. Ось кілька ідей, що допоможуть вберегтися від неприємних помилок. 

  • Знайомство з документацією та методологією. Це базовий та першочерговий крок будь-якого проєкту. Особливу увагу варто звернути на часові та географічні особливості даних та одиниці вимірювання. Чи можна судити про ті чи інші показники  в містах на основі регіональних даних? Відповідь майже завжди буде «ні». Агреговані дані можуть не відображати особливостей менших одиниць. Наприклад, рівень забруднення повітря може бути низьким на обласному рівні, однак неприпустимо високим у містечку з великою кількістю індустріальних об’єктів. При використанні кількох датасетів з різних джерел варто переконатися, що одиниці вимірювання, часові та географічні рамки збігаються або мають спільний знаменник.
  • Очистка даних. Дуже часто помилки трапляються у самих даних чи їх неправильному форматуванні. В роботі з текстовими даними (наприклад, назвами вулиць) особливу увагу варто звернути на одруківки, скорочення та повторення. В роботі з датами та числами варто переконатись, що формат даних відповідає їх типу. Якщо числа будуть відформатовані як текст, при статистичних обрахунках можуть виникнути помилки, як-от «1000 + 500 = 1000500» замість «1000 + 500 = 1500». Крім того, завжди варто перевіряти наявність статистичних викидів (значень, що виділяються від загальної вибірки, наприклад, містечко, де рівень забруднення повітря в кільканадцять разів більший, ніж в середньому в країні). Викиди можуть бути як і «родзинкою» даних, вартими окремого проєкту, так і банальними помилками. Саме тому їх завжди варто перевіряти і, за можливості, консультуватися з першоджерелами. Крім того, варто звернути увагу на відсутні дані (missing data). Чи не вплине це на результати аналізу і наскільки? Чи є об’єктивні причини для цього чи, можливо, це помилка при завантаженні/скрейпингу даних? Як відобразити це у візуалізації? 
  • «Перевірка здоровим глуздом» (sanity check). Іноді найпростіший спосіб знайти помилку — перевірити всі аспекти, які викликають навіть найменший сумнів. Чи справді це можливо? Чи не завелика/замала тут різниця значень? Чому це значення настільки відрізняється від інших? Такого типу питання часто допомагають виявити помилки ще на початковому етапі. 
  • Документація аналізу. Для більшої прозорості та відтворюваності аналізу необхідно вести щоденник з усіма математичними та статистичними операціями, що застосовувалися стосовно даних. Рекомендується перед публікацією матеріалу попросити когось із колег перевірити ці записи й спробувати відтворити аналіз. Якщо кінцеві результати будуть відрізнятися, це ще один привід уважно перевірити свої обрахунки і виявити помилки перед публікацією матеріалу. 

Для роботи з даними є безліч програм та бібліотек. Серед найбільш популярних:

  • Pandas (бібліотека на основі мови програмування Python) 
  • R-Studio (програмне забезпечення для аналізу даних та візуалізації на основі мови програмування R) 
  • Google Spreadsheet / Excel 
  • OpenRefine (онлайн-інструмент для очистки та аналізу даних) 
  • QGIS (програмне забезпечення для роботи з геоданими) 
  • Mapbox (онлайн-інструмент для створення карт) 

Для глибшого вивчення кожного з цих інструментів існує не один онлайн-курс. У рамках цього курсу ми пропонуємо ознайомитись з базовим статистичним аналізом за допомогою Google Sheets чи R на вибір.

Практичне завдання: 

Викладач детальніше знайомить студентів  із базовими аспектами аналізу даних в Google Spreadsheet чи R на вибір. Приклад основних завдань – на основі Google Sheets function list. 

Викладач демонструє, як:

  • форматувати дані;
  • фільтрувати та сортувати дані;
  • використовувати формули та рахувати відсотки;
  • використовувати функції MIN, MAX, MEAN, AVERAGE, MODE, PERCENTILE;
  • використовувати функції VLOOKUP, COUNTIF, TRANSPOSE;
  • використовувати функції IF, AND, OR;
  • використовувати функції SPLIT, JOIN, LEFT, RIGHT;
  • створювати Pivot tables (зведені таблиці);
  • встановлювати та використовувати плагіни (Awesome Tables для геокодування). 

Після цього студенти самостійно здійснюють схожий аналіз даних, які обрали для фінального проєкту. Якщо не вистачатиме часу зробити це під час заняття, цю роботу студенти можуть виконати вдома і презентувати результати роботи на наступному занятті. 

Джерела та література:

  • Інструкції від Google: