sample_size_reduction.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "dd850dc4",
   "metadata": {},
   "source": [
    "Этот алгоритм сначала сортирует все изображения в указанной директории по имени. Затем он проходит по списку и извлекает каждые shift-число кадров через один, перемещая их в папку \"deleted\" из директории с изображениями.\n",
    "\n",
    "Это нужно сделать в силу лимитов пространтсва Google Диска и для повышения уникальности кадров засчет удаления ближайших соседей. Так же способствует увеличению скорости обучения."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "848778ca",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import os\n",
    "import shutil\n",
    "\n",
    "def size_reduction(sample='train', shift=8):\n",
    "    \n",
    "    dlt_label = f'deleted_{sample}'\n",
    "    path = f'safety_helmet_object_detection/{sample}/'\n",
    "    \n",
    "    # путь к новой папке в директории deleted\n",
    "    unique_path = lambda folder_type: path + f'{dlt_label}/{folder_type}'\n",
    "\n",
    "    # список всех снимков в выборке\n",
    "    image_files = os.listdir(path + \"images\")\n",
    "    image_files.sort()\n",
    "    image_files = [x.split('.')[0] for x in image_files]\n",
    "\n",
    "    # Создаем директорию deleted\n",
    "    mk_folder = lambda folder: (os.makedirs(path+folder) \n",
    "                if not os.path.exists(path+folder) else None)\n",
    "    mk_folder(dlt_label)\n",
    "    mk_folder(f'{dlt_label}/images')\n",
    "    mk_folder(f'{dlt_label}/labels')\n",
    "\n",
    "    #список индексов на извлечение \n",
    "    indxs = list()\n",
    "    shift += 1\n",
    "    for i in range(0,len(image_files),shift):\n",
    "        for j in range(1,shift): indxs.append(i+j)\n",
    "\n",
    "    # список индексов на извлечение - каждый второй и третий кадры через один по всему списку image_files\n",
    "    image_files = [j for i,j in enumerate(image_files) if i in indxs]\n",
    "    \n",
    "    # функция извлечения кадра или аннотации\n",
    "    def move(src, folder_type='images', file_type='jpg'):\n",
    "        # Путь к исходному файлу\n",
    "        src = path + f'{folder_type}/{src}.{file_type}' \n",
    "        # Полный путь к целевому файлу\n",
    "        dst = os.path.join(unique_path(folder_type), os.path.basename(src))\n",
    "        # Перемещаем файл\n",
    "        shutil.move(src, dst)\n",
    "\n",
    "    # Цикл извлечения кадров\n",
    "    for i in image_files:\n",
    "        move(i, folder_type='images', file_type='jpg')\n",
    "        move(i, folder_type='labels', file_type='txt')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a058dc9b",
   "metadata": {},
   "outputs": [],
   "source": [
    "%%time\n",
    "shift = 6\n",
    "for sample in ['train', 'valid', 'test']:\n",
    "    size_reduction(sample, shift)\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}