Как работать с Django миграциями данных

Миграции данных в Django

Миграции данных позволяют изменять содержимое базы данных вместе со схемой. Они незаменимы для обновления существующих данных, заполнения новых полей или исправления данных в продакшене.

Создание миграции данных

Создай миграцию с помощью команды:

python manage.py makemigrations --empty myapp --name populate_books

Затем добавь логику в созданный файл:

from django.db import migrations

def populate_books(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')
    Author = apps.get_model('myapp', 'Author')

    # Получаем или создаем автора по умолчанию
    default_author, created = Author.objects.get_or_create(
        name='Default Author',
        defaults={'email': 'default@example.com'}
    )

    # Создаем книги
    for i in range(100):
        Book.objects.create(
            title=f'Book {i}',
            author=default_author,
            price=10.99 + i,
            is_available=True
        )

def reverse_populate_books(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')
    Book.objects.filter(author__name='Default Author').delete()

class Migration(migrations.Migration):
    dependencies = [
        ('myapp', '0001_initial'),
    ]

    operations = [
        migrations.RunPython(populate_books, reverse_populate_books),
    ]

Типы миграций данных

RunPython - выполнение Python кода:

def update_user_status(apps, schema_editor):
    User = apps.get_model('auth', 'User')

    # Обновляем статус пользователей
    User.objects.filter(is_active=True).update(
        date_joined=timezone.now()
    )

class Migration(migrations.Migration):
    operations = [
        migrations.RunPython(update_user_status),
    ]

RunSQL - выполнение SQL запросов:

class Migration(migrations.Migration):
    operations = [
        migrations.RunSQL(
            # SQL для применения
            sql="""
                UPDATE myapp_book
                SET price = price * 1.1
                WHERE category = 'fiction'
            """,
            # SQL для отката
            reverse_sql="""
                UPDATE myapp_book
                SET price = price / 1.1
                WHERE category = 'fiction'
            """
        ),
    ]

Работа с моделями в миграциях

Важно использовать apps.get_model() вместо прямого импорта:

def migrate_user_data(apps, schema_editor):
    # Правильно - получаем модель через apps
    User = apps.get_model('auth', 'User')
    Profile = apps.get_model('users', 'Profile')

    # Неправильно - прямой импорт
    # from users.models import Profile

    for user in User.objects.all():
        Profile.objects.get_or_create(
            user=user,
            defaults={
                'bio': f'Profile for {user.username}',
                'avatar': 'default.jpg'
            }
        )

Обработка ошибок в миграциях

Добавляй проверки и обработку ошибок:

def safe_update_books(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')

    try:
        # Проверяем, что поле существует
        if hasattr(Book, 'new_field'):
            for book in Book.objects.all():
                try:
                    book.new_field = 'default_value'
                    book.save()
                except Exception as e:
                    print(f"Ошибка обновления книги {book.id}: {e}")

    except Exception as e:
        print(f"Критическая ошибка в миграции: {e}")
        # Можно вызвать исключение для остановки миграции
        # raise e

Миграции с зависимостями

Указывай зависимости между миграциями:

class Migration(migrations.Migration):
    dependencies = [
        ('myapp', '0001_initial'),
        ('users', '0002_profile_model'),  # Зависимость от другой миграции
        ('contenttypes', '0001_initial'),  # Системная зависимость
    ]

    operations = [
        migrations.RunPython(populate_data),
    ]

Миграции с транзакциями

Используй транзакции для атомарности:

from django.db import migrations, transaction

def update_prices_in_transaction(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')

    with transaction.atomic():
        # Все операции выполняются в одной транзакции
        for book in Book.objects.all():
            book.price = book.price * 1.15
            book.save()

        # Если что-то пойдет не так, все изменения откатятся

Миграции с большими объемами данных

Для больших данных используй batch processing:

def update_large_dataset(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')
    batch_size = 1000

    # Обрабатываем данные батчами
    for offset in range(0, Book.objects.count(), batch_size):
        batch = Book.objects.all()[offset:offset + batch_size]

        for book in batch:
            book.status = 'active'
            book.save()

        print(f"Обработано {offset + len(batch)} книг")

Миграции с внешними данными

Импорт данных из внешних источников:

import csv
from django.core.files.base import ContentFile

def import_books_from_csv(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')
    Author = apps.get_model('myapp', 'Author')

    csv_file = ContentFile(b'''
    title,author,price
    "Book 1","Author 1",19.99
    "Book 2","Author 2",24.99
    ''')

    reader = csv.DictReader(csv_file.read().decode('utf-8').splitlines())

    for row in reader:
        author, created = Author.objects.get_or_create(
            name=row['author']
        )

        Book.objects.create(
            title=row['title'],
            author=author,
            price=float(row['price'])
        )

Миграции с валидацией данных

Проверяй данные перед сохранением:

def validate_and_update_books(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')

    for book in Book.objects.all():
        # Валидация данных
        if not book.title or len(book.title.strip()) == 0:
            book.title = f"Untitled Book {book.id}"

        if book.price < 0:
            book.price = 0

        if book.price > 1000:
            book.price = 1000

        book.save()

Откат миграций

Откатывай миграции пошагово:

# Откат к конкретной миграции
python manage.py migrate myapp 0003

# Откат на одну миграцию назад
python manage.py migrate myapp 0002

# Откат всех миграций приложения
python manage.py migrate myapp zero

# Просмотр статуса миграций
python manage.py showmigrations myapp

Тестирование миграций

Создавай тесты для миграций:

from django.test import TestCase
from django.db.migrations.executor import MigrationExecutor
from django.db import connection

class MigrationTestCase(TestCase):
    def test_migration_forward(self):
        # Применяем миграцию
        executor = MigrationExecutor(connection)
        executor.migrate([('myapp', '0002_populate_data')])

        # Проверяем результат
        Book = apps.get_model('myapp', 'Book')
        self.assertEqual(Book.objects.count(), 100)

        # Откатываем миграцию
        executor.migrate([('myapp', '0001_initial')])

Миграции в продакшене

Безопасное применение миграций:

def safe_production_migration(apps, schema_editor):
    Book = apps.get_model('myapp', 'Book')

    # Создаем резервную копию
    backup_data = []
    for book in Book.objects.all():
        backup_data.append({
            'id': book.id,
            'title': book.title,
            'price': book.price
        })

    # Применяем изменения
    try:
        for book in Book.objects.all():
            book.new_field = 'value'
            book.save()
    except Exception as e:
        # Восстанавливаем данные
        for backup in backup_data:
            Book.objects.filter(id=backup['id']).update(
                title=backup['title'],
                price=backup['price']
            )
        raise e

Лучшие практики

Всегда создавай функции отката для RunPython
Используй apps.get_model() вместо прямого импорта
Добавляй обработку ошибок и логирование
Тестируй миграции на тестовых данных
Используй транзакции для атомарности
Обрабатывай большие данные батчами
Создавай резервные копии перед критическими изменениями
Документируй сложную логику миграций

FAQ

Q: Как откатить миграцию данных?
A: Используй python manage.py migrate myapp 0001 для отката к предыдущей миграции.

Q: Можно ли изменять модели в миграциях данных?
A: Нет, миграции данных предназначены только для изменения содержимого, не структуры.

Q: Как обработать ошибки в миграциях?
A: Используй try-except блоки и логирование для безопасной обработки ошибок.

Q: Можно ли использовать внешние библиотеки в миграциях?
A: Да, но убедись, что они доступны в окружении, где выполняются миграции.

Q: Как тестировать миграции?
A: Создавай тесты, которые применяют и откатывают миграции, проверяя результат.

Q: Что делать, если миграция упала в продакшене?
A: Создавай резервные копии, используй транзакции и планируй стратегию отката.