AI Создаем пет-проект по аналитике в связке с GitHub Actions. Часть 2

[AI]

Привет, Хабр! Продолжаю обозревать GitActions на примере пет проекта для аналитика.

Статья будет полезна начинающим аналитикам в поисках хорошего проекта для своего портфолио. В этой части разбираю подход к выбору проекта и источника данных, к сбору и анализу данных и представлении результатов своей работы.

В прошлый раз подробно описала гайд по работе с GitHub actions, перед прочтением этой части рекомендую ознакомиться сперва с ним.

Выбираем проект и проблему


Лучшим вариантом будет выбрать не просто проект по анализу данных с kaggle, а проект, приближенный к реальности. То есть тот, который включает в себя:

• 
  Реальные данные - те, которые можно получить в настоящий момент времени
  
  
• 
  Использование нескольких инструментов (sql, python, git, excel - в любой комбинации)
  
  
• 
  Наличие проблемы и решения этой конкретной проблемы
  
  
• 
  Корректные и применимые выводы
  

То есть идеальный проект - это по факту исследовательская задача по рабочему проекту, для которой ты сам выбираешь способ реализации.

Для выбора темы лучше всего ориентироваться на собственные интересы (так легче довести задачу до конца) и на возможность получать данные в реальном времени по этой интересующей теме.
Тут выручают API или парсинг данных с сайтов. Не всегда можно/ удобно это реализовывать, поэтому придется поискать лучший для себя вариант.

Для этой статьи я подобрала удобный пример - парсинг данных с тг каналов. Во первых, для меня эта тема актуальна из-за ведения тг канала, во вторых это вполне доступная история

Особой проблемы у меня нет, поэтому накручу ее себе - к примеру, я хочу понимать статистику по tg-каналам конкурентов. Для выстраивания стратегии по ведению мне необходимо понимать:

• 
  Как растут чужие tg-каналы (количество подписчиков, ежедневный рост)
  
  
• 
  Охваты постов
  
  
• 
  Частота публикации контента
  
  
• 
  Темы публикации
  
  
• 
  Вовлеченность пользователей в контент (комментарии, лайки, просмотры)
  
  
• 
  Топовые темы/ ключевые слова для публикаций, которые выходят в топ по метрикам вовлеченности
  
  
• 
  Наличие реклам
  

Делаю вид, что tg-stat в моей реальности не существует или там недостаточно глубокий анализ для моего запроса -> потому у меня есть потребность сделать этот проект вручную без использования уже существующих инструментов.

В этой статье разбираю только парсинг по количеству подписчиков и немного визуализации результатов, чтобы не раздувать статью. Но с помощью этого способа можно реализовать и остальные задачи.

Где брать данные?


Как уже упомянула ранее - данные нам можно доставать через API или парсинг сайтов/ страниц.
Вот несколько источников, которые можно использовать для своих проектов:

• 
  Apple store через официальный API
  
  
• 
  Google Play через библиотеку google-play-scraper
  
  
• 
  Telegram - через API или библиотеки (разберем ниже)
  
  
• 
  Alpha Vantage через API
  
  
• 
  World Bank по API
  
  
• 
  Faker по API
  

Так как я разбираю Tg, то данные буду брать из него.
Из телеграмма можно доставать данные через python библиотеки, а также через обходные пути (парсинг html страниц).
На что будем обращать внимание:

Интересующие нас параметры​	Telethon​	Парсинг​
Дата и время поста​	✅​	✅​
Просмотры​	✅​	✅​
Полный текст​	✅​	✅​
Реакции​	✅​	✅​
Количество подписчиков​		✅​
Официальный способ​	✅​
Сбор через личный tg аккаунт​	✅​
Сбор без логина в tg​		✅​
Отсутствие лимитов по запросам и времени между запросами​		✅​
Наличие риска бана аккаунта​	✅​
Простота реализации​		✅​

Моя первая попытка была именно через Telethon и, после пары первых успешных попыток, я постоянно начала ловить разлогирование со своего аккаунта. И эта проблема не решилась даже после добавления задержек между запросами.

Еще одной причиной этой проблемы были повторяющиеся запросы - tg их легко отлавливает и стопорит.

Когда мой акк в tg заблочили на ~30 минут первый раз я решила, что такого я больше не переживу и надо искать способ попроще для моих нервов.

С учетом того, что я настраивала ежедневный сбор данных, то у меня не было задачи смотреть в глубину канала и проверять посты годовой давности. Для такой постановки вопроса парсинг звучит проще и реализуемей (и головной боли тоже становится меньше).

Поэтому для этого проекта выбор остановила именно на простом парсинге html страниц tg-каналов (те самые, которые открываются в браузере, когда ты переходишь по ссылке).

Реализация и скрипты


Настроить сам парсинг довольно просто, на этом этапе нет серьезных подводных камней. Структура всех документов будет выглядеть следующим образом

TEST_REPO_FOR_HABR
│
├── .github
│ └── workflows
│ └── run_daily.yml
│
├── .gitignore
├── requirements.txt
│
├── parser.py
├── post_analysing.py
├── delete_old_data.py
│
├── channels.csv
├── parsed_data.csv
│
└── README.md

Создание технических файлов (.gitignore и requirements.txt) / файлов из .github описала в прошлой статье. А остальные разберем ниже подробнее.

Для проекта создадим три python файла:

• 
  parser.py - для парсинга нужных данных
  
  
• 
  post_analysing.py - для анализа данных/ подсчета метрик/ построения визуализации
  
  
• 
  delete_old_data.py - для удаления данных старше N месяцев
  

И создадим 2 csv файла:

• 
  channels.csv - список каналов, которые будем использовать для анализа
  
  
• 
  parsed_data.csv - данные, которые собираем через parser.py
  

Пример рабочего скрипта parser.py

Этот скрипт будет записывать количество подписчиков ежедневно по каждому каналу. Для того, чтобы пощупать этот способ и собрать свои первые данные первый раз - самое то.

import os
import csv
import re
import time
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

# Настраиваем драйвер для чтения страницы
options = Options()

# Без открытия окна браузера
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')

# Отключаем ненужные логи
options.add_argument('--log-level=3')

# Создаём сервис с подавлением логов
service = Service(ChromeDriverManager().install(), log_path='NULL')

# Настраиваем драйвер для запуска браузера
driver = webdriver.Chrome(service=service, options=options)

# Достаем список каналов
channel_list = []

with open('channels.csv', 'r', encoding='utf-8') as ch_file:
reader = csv.DictReader(ch_file)
for row in reader:
url = row['url'].strip().strip("'\"")
if url and url.startswith("https://t.me/"):
channel_list.append(url)

# Указываем файл, куда будем сохранять данные по каналу
csv_file = 'parsed_data.csv'
csv_exists = os.path.exists(csv_file)

# Получаем сегодняшнюю дату
date_today = datetime.now().strftime("%Y-%m-%d")

# Проверяем, есть ли уже данные за сегодня
already_parsed_today = False
saved_entries = set()

# Читаем ранее сохранённые username
if csv_exists:
with open(csv_file, 'r', encoding='utf-8', newline='') as f:
reader = csv.DictReader(f)
name_field = 'username' if 'username' in reader.fieldnames else 'channel_name'
for row in reader:
saved_entries.add((row['date'], row[name_field]))
if row['date'] == date_today:
already_parsed_today = True

if already_parsed_today:
print(f"\n🟡 Данные за {date_today} уже есть — парсинг не выполняется.")
driver.quit()
exit()

# Парсим и сохраняем данные

with open(csv_file, 'a', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
if not csv_exists:
writer.writerow(['date', 'channel_name', 'subscribers'])

print("\n🟢 Запуск парсинга и сохранение данных:\n" + "-" * 60)

for url in channel_list:
if (date_today, url) in saved_entries:
print(f"⏭️ Пропущено (уже есть): {url}")
continue

connect_status = "❌"
data_status = "❌"
clean_title = "—"
subs = "—"

try:
driver.get(url)
connect_status = "✅"
time.sleep(5)
text = driver.find_element("tag name", "body").text
lines = text.splitlines()

for i, line in enumerate(lines):
if "subscribers" in line.lower():
raw_title = lines[i - 1] if i > 0 else "—"
subs = re.sub(r'[^\d]', '', line).strip()
channel_name = re.sub(r'[^а-яА-Яa-zA-ZёЁ\s]', '', raw_title).strip()
data_status = "✅"
break

except Exception as e:
channel_name = f"⚠️ Ошибка: {str(e)}"

print(f"{channel_name} — {date_today} — {subs} ({url})")

if data_status == "✅":
writer.writerow([date_today, channel_name, subs])

driver.quit()

Можем переходить к следующему шагу - анализ данных и отправка результатов. Для отправки нам понадобится:

• 
  Создать приватный tg канал
  
  
• 
  Создать бота в tg
  
  
• 
  Раздать админские права боту в созданном tg канале
  
  
• 
  Получить токен бота и id tg канала
  
  
• 
  Добавить полученные данные в secrets в Git
  

Описывать эти действия тут не буду дабы не плодить кучу повторяющейся информации в интернете.
Но вообще для этих действий пригодится только бот BotFather - в нем уже есть встроенная инструкция по созданию бота.


Перейдем к написанию скрипта для анализа данных, визуализации и отправки в созданный приватный канал.

Пример несложного скрипта можно подсмотреть ниже.

import os
import requests
import pandas as pd
import matplotlib.pyplot as plt
from datetime import datetime, timedelta
from dotenv import load_dotenv
load_doten()

# Загружаем данные по каналам, которые мы уже собрали на предыдущем шаге
df = pd.read_csv('parsed_data.csv')
df['date'] = pd.to_datetime(df['date'])
df['subscribers'] = df['subscribers'].astype(int)

# Фильтруем данные за последние 30 дней
one_month_ago = datetime.now() - timedelta(days=30)
one_week_ago = datetime.now() - timedelta(weeks=1)
df = df[df['date'] >= one_month_ago]
df_week = df[df['date'] >= one_week_ago]

# Выбираем целевой канал, на который будем ориентироваться при построении визуализации.
# Условно - это канал, который для нас наиболее интересен.

# Выбираю канал по слову в его наименовании
target_channel = 'ANY_CHANNEL_NAME'
target_matches = df[df['channel_name'].str.contains(target_channel, case=False, na=False)]
if target_matches.empty:
raise ValueError(f"Не найден канал с ключом: {target_channel}")
main_channel_name = target_matches['channel_name'].iloc[0]

# Вычисляем прирост для всех каналов за 30 дней
growth = df.groupby('channel_name')['subscribers'].agg(['min', 'max'])
growth['delta'] = growth['max'] - growth['min']
growth = growth.reset_index()
main_subs = growth[growth['channel_name'] == main_channel_name]['max'].values[0]

# Отбираем ближайшие каналы к нашему целевому. Это сделано для того, чтобы снизить разброс между каналами на графике.

closest_above = growth[growth['max'] > main_subs].sort_values(by='max').head(10)
closest_below = growth[growth['max'] < main_subs].sort_values(by='max', ascending=False).head(3)
main_channel_row = growth[growth['channel_name'] == main_channel_name]
top_channels = pd.concat([closest_below, main_channel_row, closest_above])

# Формируем текст с метриками прироста
metrics_text = "\U0001F4CA <b>Метрики прироста за месяц:</b>\n"
metrics_text += "_________________________________\n\n"
for , row in topchannels.sort_values(by='max').iterrows():
start = row['min']
end = row['max']
delta = row['delta']
percent = (delta / start * 100) if start > 0 else 0
channel_label = row['channel_name']
icon = '\U0001F31D' if channel_label.strip().lower() == 'ANY_CHANNEL_NAME' else '\U0001F4AC'
metrics_text += (
f"{icon} <b>{channel_label}</b>\n"
f" Подписчиков: {end}\n"
f" Прирост за месяц: <b>{percent:.2f}%</b>\n\n"
)

# Фильтруем данные только для нужных каналов
df_plot = df[df['channel_name'].isin(top_channels['channel_name'])]

# Сортируем каналы по числу подписчиков
channel_order = (
top_channels.sort_values(by='max', ascending=False)['channel_name'].tolist()
)

# Строим график
def wrap_label(text, max_len=25):
words = text.split()
lines = []
current = ""
for word in words:
if len(current + " " + word) <= max_len:
current += " " + word if current else word
else:
lines.append(current)
current = word
if current:
lines.append(current)
return '\n'.join(lines)

plt.figure(figsize=(12, 6))

for name in channel_order:
group = df_plot[df_plot['channel_name'] == name].sort_values('date')
if name.strip().lower() == main_channel_name.strip().lower():
plt.plot(
group['date'],
group['subscribers'],
label=f'>> {name} <<',
color='red',
linewidth=2
)

else:
plt.plot(
group['date'],
group['subscribers'],
label=wrap_label(name),
linestyle='--',
linewidth=1.5,
alpha=0.8
)

plt.title('Динамика подписчиков за последние 30 дней')
plt.grid(True)
plt.legend(
loc='center left',
bbox_to_anchor=(1.0, 0.5),
borderaxespad=0.5,
fontsize=9,
frameon=False
)

plt.subplots_adjust(right=0.75)
min_date = df['date'].min()
max_date = df['date'].max()
tick_dates = pd.date_range(start=min_date, end=max_date, freq='5D')
plt.xticks(tick_dates, rotation=0)
plot_path = 'participants_growth.png'
plt.savefig(plot_path)

# Отправка текста и графика в Telegram
bot_token = os.getenv('bot_token')
channel_id = os.getenv('channel_id')
send_text_url = f"https://api.telegram.org/bot{bot_token}/sendMessage"
payload = {
'chat_id': channel_id,
'text': metrics_text,
'parse_mode': 'HTML'
}

requests.post(send_text_url, data=payload)
send_photo_url = f"https://api.telegram.org/bot{bot_token}/sendPhoto"
with open(plot_path, 'rb') as photo:
requests.post(
send_photo_url,
data={'chat_id': channel_id},
files={'photo': photo}
)
Результаты


Скрипт выдает довольно скромную визуализацию и текст, при наличии желания всё это можно подстроить под свои хотелки.

Такие полученные результаты полноценным проектом назвать нельзя, так как мы еще не закрыли остальные требования к хорошему проекту. Поэтому не рекомендую останавливаться на этом шаге. Как минимум тут нужны выводы, а только по росту каналов выводов особо не сделаешь . Поэтому, в любом случае, нужно добавлять дополнительные метрики и погружаться в дальнейший анализ.

Анализ текста, просмотров, наличие реклам и прочего оставлю на будущие разборы, но к тому моменту возможно у вас на руках уже будет доработанный проект

Итоги


Парсинг данных в сочетании с GitHub Actions - хороший и простой способ для создания своего небольшого проекта для портфолио.

Это точно лучше заезженных историй с "датасетом по Титанику", поэтому 100 % рекомендую для развития на старте.

Еще больше полезных материалов в моем TG-канале. Подписывайтесь и читайте контент по ссылке.