Что такое декораторы в питоне
Декораторы в Python: зачем они нужны и как их создавать
Декораторы принимают функцию, добавляют в нее некоторую функциональность и возвращают ее обратно. Из данного пособия вы узнаете, как создавать декораторы и зачем это нужно делать.
Декораторы в Python
Для придания новой функциональности уже существующему коду в Python есть очень интересный инструмент под названием декоратор (decorator).
Это также можно назвать метапрограммированием, так как отдельные части программы меняют ее другие части в процессе компиляции.
Необходимые условия для понимания данного материала
Чтобы понять что такое декораторы, вы должны знать несколько базовых вещей в Python.
В первую очередь вас не должно удивлять, что в Python все (и даже классы!) является объектами. Задаваемые нами имена — это просто идентификаторы, привязанные к конкретным объектам. Функции также не являются исключением, это такие же объекты со своими атрибутами. К одной и той же функции может быть привязано несколько совершенно разных имен.
Теперь сгустим немного краски.
Функции могут быть переданы в качестве аргументов в другие функции!
Такие функции в Python называются функциями высшего порядка. Вот пример такой функции:
Мы вызываем такую функцию следующим образом:
Более того, функция может возвращать другую функцию.
Результат:
И еще, мы должны знать, как работают замыкания в Python.
Возвращаемся обратно к декораторам
Функции и методы в Python являются вызываемыми объектами, поскольку могут быть вызваны.
В общем и целом, декоратор принимает функцию, добавляет в нее некоторую функциональность и возвращает её.
Когда вы запускаете данный код в интерпретаторе, происходит следующее:
В данном примере функция make_pretty() является декоратором. Декорирование происходит вот на этом шаге:
Мы видим, что декоратор добавил некоторую новую функциональность в первоначальную функцию. Это напоминает упаковку для подарка. Декоратор играет роль такой упаковки. Суть самого объекта в результате декорирования не меняется. Но теперь этот объект выглядит симпатичнее (что не удивительно, он ведь был декорирован).
Обычно мы декорируем и переопределяем функцию следующим образом:
Это довольно частая конструкция, и поэтому в Python есть синтаксис для ее упрощения.
Мы используем символ @ перед названием функции и помещаем его прямо над объявлением функции, которая должна быть задекорирована. Например:
Это эквивалентно следующему коду:
Такой вот синтаксический сахар для реализации декораторов.
Декорирование функций с параметрами
Разобранный нами декоратор был очень простым и мог работать только с функциями без параметров. А как быть, если у функции есть параметры? Например, вот такие:
Теперь давайте сделаем декоратор, который будет проверять наличие нуля и предотвращать ошибку.
Таким образом мы можем декорировать функции, имеющие параметры.
Внимательный читатель может заметить, что вложенная внутри декоратора функция inner() имеет те же параметры, что и функция, которую мы декорируем. Приняв это во внимание, мы теперь можем построить декоратор для функции с произвольным количеством параметров.
Создание цепочек декораторов
В Python может последовательно применяться сразу несколько декораторов.
Иными словами, функция может быть декорирована несколько раз разными (или одними и теми же!) декораторами. Мы просто помещаем эти декораторы поверх функции, которую хотим задекорировать.
Результат:
Порядок, в котором мы применяем декораторы, имеет значение. Например, изменив порядок следующим образом:
О декораторах в Python
Перевод статьи подготовлен для студентов курса «Web-разработчик на Python». Интересно развиваться в данном направлении? Запишитесь на День Открытых Дверей курса и пообщайтесь вживую с преподавателем: онлайн-трансляция 23 июля в 20:00 по мск.!
Когда вы упражнялись в программировании на языке Python, вы, должно быть сталкивались с таким понятием, как декораторы. Они являются одним из самых элегантных и часто используемых инструментов в современных библиотеках и фреймворках. Декораторы — хороший способ инкапсулировать множество деталей реализации, оставляя на поверхности простой интерфейс.
Давайте рассмотрим пример простого декоратора логина, который проверяет, что пользователь вошел в систему, прежде чем давать ему возможности редактировать посты. Потом декоратор перенаправляет на страницу входа в систему или регистрации, а затем с помощью правильно заданных параметров возвращает обратно на ту же страницу после успешного прохождения идентификации. Чтобы воспользоваться данной функцией, вам нужно всего лишь написать @login_required перед целевой функцией.
С декораторами очень легко работать, но создание декораторов задача непростая даже для опытных Python-программистов. В этой статье мы с вами рассмотрим пошагово как работают декораторы в Python.
Функции
Функции также называются объектами первого класса в Python. Функции это такие же значения, как числа, списки и строки, как видно из следующего примера.
У функций есть свое собственное пространство имен, где происходит поиск имен переменных в первую очередь, когда они встречаются в теле функции. Давайте напишем простую функцию, чтобы понять разницу между глобальной и локальной областью видимостью.
Область видимости функции как переменная
Правило области видимости в Python гласит, что при создании переменной всегда создается новая локальная переменная, но доступ к переменной определяется в локальной области видимости при поиске по всем ближайшим областям совпадений имен переменных. Это не значит, что мы не можем получить доступ к глобальным переменным из нашей функции. Чтобы выводить глобальную переменную мы изменим функцию foo следующим образом:
Время жизни переменной
В пространстве имен живут не только переменные, но и они имеют время жизни, о котором важно помнить. Рассмотрим пример, который иллюстрирует не только правила области видимости и те проблемы, которые они могут вызвать, но и то, как они взаимодействуют с вызовом функции и то как они работают в Python и других языках.
Вложенные функции
В Python можно создавать вложенные функции, а это значит, что мы можем объявлять функции внутри функций, и все правила области видимости и времени жизни по-прежнему действуют.
Декораторы
Замыкание (closure), которое принимает функцию в качестве параметра и возвращает функцию, называется декоратором. Рассмотрим пример полезных декораторов.
Декорированная переменная представляет собой декорированную версию foo. На самом деле, мы могли бы заменить foo ее декорированной версией и не изучать новый синтаксис, просто переназначив переменную, содержащую нашу функцию:
Теперь для отслеживания вызовов функций у нас есть красивый декоратор. Декораторы могут использоваться для работы с любым языком программирования с помощью Python. Это крайне полезный инструмент, механизм работы которого необходимо понять, чтобы правильно их применять.
Ещё одна статья о декораторах в python, или немного о том, как они работают и как они могут поменять синтаксис языка
Декораторы в python являются одной из самых часто используемых возможностей языка. Множество библиотек и, особенно, веб-фреймворков предоставляют свой функционал в виде декораторов. У неопытного python разработчика уйдёт не так уж много времени, чтобы разобраться, как написать свой декоратор, благо существует огромное количество учебников и примеров, а опытный разработчик уже не раз писал свои декораторы, казалось бы, что ещё можно добавить и написать о них?
Определение статический метод или нет по сигнатуре, а не по декоратору
Базовое определение и простые примеры
Например, почти во всех веб-фрейморках авторизация и роутинг выполняется с помощью декораторов, вот пример из официальной документации FastAPI:
app.get в примере выше регистрирует функции и связывает их с определённым путём, при этом никак не меняя их реализацию.
Однако, можно изменить поведение функции, например, добавить игнорирование исключений
То есть это просто вызов функции, которой передаётся другая функция. Осознание этого процесса позволяет понять, как задать декоратор с параметрами. Например, мы хотим игнорировать не все исключения, а лишь некоторые.
Выглядит немного монструозно, но именно так и было принято писать декораторы с параметрами, пока кому-то в голову не пришла светлая идея, что декоратор можно создавать в виде класса.
Реализация декоратора с параметрами в виде класса
По сути нам необходимо разделить этапы создания с запоминанием переданных параметров и вызова, то есть сделать то, что делают классы, поэтому можно изначально использовать их, а не делать всё самому с двумя вложенными функциями.
Мне кажется этот код гораздо лучше читается, осталось теперь только смириться с именем класса, начинающимся с маленькой буквы или с именем декоратора, начинающимся с большой.
Декорирование классов
Декорировать можно не только функции, но и классы, например, можно реализовать декоратор, добавляющий метод преобразования класса в строку.
Реализовать декоратор, который позволяет менять формат выводимого сообщения, оставляется читателю в качестве самостоятельного упражнения.
Semantic Self
Реализация декораторов из стандартной библиотеки
Например, вот так выглядит получение статического метода:
А вот так, обычного:
В случае класс методов, всё тоже довольно предсказуемо:
Примеры декораторов
Декораторы не зря настолько популярны, они отлично помогают в огранизации кода, позволяют легко отделить одну часть логики от другой, например, бизнес логику от проверки прав, добавлять логирование и метрики без изменения тела функций, разделять базовый алгоритм и обработку ошибок или входных аргументов и результата. Например, существует библиотека, добавляющая контракты в язык, её синтаксис реализован именно в виде декораторов.
Есть библиотеки, реализующие некоторые элементы функционального программирования: например отделение чистого кода от side эффектов, преобразование функции, генерирующей исключения. В функцию, возвращающую тип Option/Maybe:
Или алгоритм от способа его выполнения, позволяет выбирать, хотите ли вы выполнять его синхронно или асинхронно:
Всё, что нужно знать о декораторах Python
Leo Matyushkin
В этом руководстве по декораторам мы рассмотрим, что они собой представляют, как их создавать и использовать. По определению, декоратор – это функция, которая принимает другую функцию и расширяет поведение последней, не изменяя ее явным образом. В этом туториале мы постараемся понять, что это значит и как реализуется.
Статья является сокращенным переводом публикации Гейра Арне Хьелле Primer on Python Decorators. Оригинальный код из этой статьи доступен в GitHub-репозитории.
Так как в коде много примеров, мы также подготовили Jupyter-блокнот с текстом перевода и адаптированным кодом, чтобы его было проще запускать интерактивно (о работе с Jupyter Библиотека программиста рассказывала в статье JupyterLab и Jupyter Notebook — мощные инструменты Data Science).
1. Предварительные соображения: функции
Прежде чем начать разбираться в декораторах, немного поговорим о важных для их понимания свойствах функций.
1.1. Передача функции в качестве аргумента
В Python функции можно передавать и использовать в качестве аргументов, как и любой другой объект. Рассмотрим следующие три функции:
1.2. Внутренние функции
Функции, определенные внутри других функций, называются внутренними (inner functions). Пример функции с двумя внутренними функциями:
Обратите внимание, что порядок, в котором определены внутренние функции, не имеет значения. Печать происходит только при вызове функции.
Внутренние функции не определены, пока не вызвана родительская функция. То есть они локально ограничены parent() и существуют только внутри нее, как локальные переменные. При вызове функции first_child() за пределами parent() мы получим ошибку:
1.3. Возврат функций из функций
Python позволяет использовать функции в качестве возвращаемых значений. В следующем примере возвращается одна из внутренних функций внешней функции parent() :
В инструкции return возвращается ссылка на функцию, то есть имя функции указывается без скобок (иначе бы возвращался результат выполнения функции).
2. Простые декораторы 💅
2.1. Общая идея: используем знания о функциях
Теперь, когда мы увидели, что функции в Python похожи на любые другие объекты, нам будет проще понять «магию» декораторов. Начнём с искусственного примера, поясняющего идею:
Чтобы понять, что происходит, оглянемся на предыдущие примеры. Мы просто применяем всё, что узнали до сих пор. Декорирование происходит в последней строчке:
Теперь имя say_whee указывает на внутреннюю функцию wrapper :
Добавим динамики. Рассмотрим второй пример, иллюстрирующий динамическое поведение декораторов. Сделаем так, чтобы наша функция кричала «Ура!» только в дневное время.
Декорированная функция say_whee() будет выводить «Ура» только, если она запущена в интервале c 8:00 до 22:00 (чтобы проверить разницу в поведении, «подкрутите стрелки» ⏰).
2.2. Немного синтаксического сахара! 🍭
2.3. Повторное использование декораторов
Как и любую другую функцию, декоратор можно поместить в отдельный модуль и использовать для различных целей. К примеру, создадим файл decorators.py со следующим содержанием:
Теперь импортируем функцию из модуля и используем как декоратор:
Вызвав декорированную функцию, мы получаем, что оригинальная функция выполняется дважды:
2.4. Декорирование функций, принимающих аргументы 📥
Пусть у нас есть функция, принимающая аргументы. Можем ли мы ее декорировать? Попробуем:
К сожалению, запуск кода вызовет ошибку:
Проблема в том, что внутренняя функция декоратора wrapper_do_twice() не принимает аргументов. Нужно добавить их обработку. Перепишем decorators.py следующим образом:
Теперь внутренняя функция декоратора принимает любое число аргументов и пересылает их декорируемой функции. Так обе декорированные функции будут работать корректно:
2.5. Возвращение значение из декорированных функций 📤
В декораторе можно описать, что делать со значением, возвращаемым декорированной функцией:
Попытаемся использовать декорированную функцию:
Сделаем так, чтобы внутренняя функция декоратора возвращала значение декорированной функции. Поправим файл decorators.py :
Проверим, как всё работает теперь:
2.6. Интроспекция: «кто ты такой, в самом деле?» 🕵
Большое удобство в работе с Python – его способность к интроспекции. У объекта есть доступ к собственным атрибутам. К примеру, у функции можно спросить её имя и вызвать документацию:
Интроспекция работает и для пользовательских функций:
В самой декорируемой функции ничего менять не придется:
Гораздо лучше! Теперь у функции say_whee() не наступает амнезии после декорирования.
3. Несколько примеров из реального мира🎈
Посмотрим на несколько полезных примеров декораторов. Как вы заметите, схема применения декораторов будет соответствовать тому паттерну, что мы получили в результате наших рассуждений:
Этот блок кода является хорошим шаблоном для создания более сложных декораторов.
3.1. Декоратор для тайминга кода ⌚
Декоратор сохраняет текущее время в переменной start_time непосредственно перед запуском декорируемой функции. Это значение впоследствии вычитается из текущего значения end_time после выполнения функции. Полученная разность run_time передается в форматированную строку. Пара примеров:
3.2. Отладочный декоратор 🐞🕵
Следующий декоратор @debug будет выводить аргументы, с которыми вызвана функция, а также возвращаемое функцией значение:
Отмеченные комментариями строки соответствуют следующим операциям:
Давайте посмотрим, как декоратор работает на практике, применив его к простой функции с одним позиционным аргументов и одним аргументом, передаваемым по ключу:
Пример не сразу покажется полезным – декоратор @debug просто повторяет то, что мы ему прислали. Но он гораздо эффективнее, если его применить к небольшим вспомогательным функциям. Следующий пример иллюстрирует аппроксимацию для нахождения числавычисления числа e.
Этот пример показывает, как вы можете применить декоратор к уже определенной функции. Аппроксимация нахождения числа е основана на следующем разложении в ряд:
При вызове функции approximate_e() мы увидим @debug за работой:
3.3. Замедление кода 🐌
Следующий пример вряд ли покажется полезным. Зачем нам вообще замедлять код Python? Например, мы хотим ограничить частоту, с которой функция проверяет обновление веб-ресурса. Декоратор @slow_down будет выжидать одну секунду перед запуском декорируемой функции:
Чтобы увидеть результат действия декоратора, запустите пример:
Декоратор @slow_down спит всегда лишь одну секунду. Позднее мы увидим, как передавать декоратору аргумент, чтобы контролировать его скорость.
3.4. Регистрация плагинов
Вообще декораторы не обязаны «оборачивать» функцию, которую они декорируют. Они могут просто регистрировать то, что функция существует и возвращать на нее ссылку. Это может использоваться для создания легковесной архитектуры:
Функция randomly_greet() случайным образом выбирает, какую из зарегистрированных функций использовать для поздравления. Удобство состоит в том, что словарь PLUGINS уже содержит ссылку для каждой функции, к которой был применен декоратор @register :
3.5. Залогинился ли пользователь? 🤔
Последний пример перед тем, как перейти к некоторым более изящным декораторам обычно используется при работе с веб-фреймворками. В этом примере мы используем Flask для настройки веб-страницы /secret – она должна быть видна только пользователям, вошедшим в систему:
4. Декораторы поинтереснее 👑
До сих пор мы видели довольно простые декораторы – нам нужно было понять, как они работают. Вы можете передохнуть и попрактиковаться в применении декораторов, чтобы позднее вернуться к этому разделу, посвященному продвинутым концепциям.
На текущий момент наш файл decorators.py имеет следующее содержание:
4.1. Декорирование классов 👨🏫️
Есть два способа применения декораторов к классам. Первый способ похож на то, что мы делали с функциями, – декорировать методы класса.
Давайте определим класс, в котором декорируем некоторые из методов с помощью вышеописанных декораторов @debug и @timer :
Воспользуемся классом, чтобы увидеть действие декораторов:
Другой подход – декорировать классы целиком. Написание декоратора класса очень похоже на написание декоратора функции. Разница лишь в том, что декоратор в качестве аргумента получит класс, а не функцию. Однако когда мы применяем декораторы функций к классам, их эффект может оказаться не таким, как предполагалось. В следующем примере мы применили декоратор @timer к классу:
Декорирование класса не приведет к декорированию его методов. В результате @timer измерит только время создания экземпляра класса:
Позднее мы покажем примеры правильного декорирования классов.
4.2. Вложенные декораторы 🎊
К функции можно применить несколько декораторов, накладывая их действие друг на друга:
Посмотрим, что будет, если поменять порядок вызова декораторов:
4.3. Декораторы, принимающие аргументы 📬
Иногда полезно передавать декораторам аргументы, чтобы управлять их поведением. Например, @do_twice может быть расширен до декоратора @repeat(num_times ). Число повторений декорируемой функции можно было бы указать в качестве аргумента:
Подумаем, как добиться такого поведения. Обычно декоратор создает и возвращает внутреннюю функцию-обертку. Мы могли бы дополнительно «обернуть» ее поведение с помощью другой внутренней функции:
Немного похоже на фильм Кристофера Нолана «Начало», но мы просто поместили один шаблон многократно выполняющего функцию декоратора в другой декоратор и добавили обработку значения аргумента.
Давайте проверим, работает ли, как задумано:
4.4. «И того, и другого, и можно без хлеба!»
Немного потрудившись, мы можем определить декоратор, который можно использовать как с аргументами, так и без них.
Поскольку ссылка на декорируемую функцию передается напрямую только в случае, если декоратор был вызван без аргументов, ссылка на функцию должна быть необязательным аргументом. То есть все аргументы декоратора должны передаваться по ключу. Для этого мы можем применить специальный синтаксис ( * ), указывающий, что все остальные аргументы передаются по ключу:
Здесь аргумент _func действует как маркер, отмечающий, был ли декоратор вызван с аргументами или без них.
То есть в сравнении с предыдущей версией к декоратору добавилось условие if-else :
4.5. Декораторы, хранящие состояние 💾
Иногда полезно иметь декораторы, отслеживающие состояние. В качестве простого примера мы создадим декоратор, который подсчитывает, сколько раз вызывалась функция.
В следующем разделе мы увидим, как использовать для сохранения состояния классы. Но в простых случаях достаточно декораторов функций:
4.6. Классы в качестве декораторов функций
Обычным способом хранения состояния является использование классов. Перепишем @count_calls из предыдущего раздела, используя в качестве декоратора класс.
Кроме того, класс должен быть вызван так, чтобы он его можно было вызвать вместо декорируемой функции. Для этого в нем должен быть описан метод __call__() :
Метод __call__() вызывается всякий раз, когда мы обращаемся к экземпляру класса:
Таким, образом типичная реализация класса декоратора должна содержать __init__ () и __call__ () :
Метод __init__() должен хранить ссылку на функцию и может выполнять любую другую необходимую инициализацию.
Метод __call__() будет вызываться вместо декорированной функции. По сути, он делает то же самое, что и функция wrapper() в наших предыдущих примерах.
Декоратор @CountCalls работает так же, как и в предыдущем разделе:
5. Ещё несколько примеров из реального мира 🧭
Мы прошли долгий путь и узнали, как создаются всевозможные декораторы. Давайте подведем итоги, применив полученные знания для анализа полезных на практике программных конструкций.
5.1. Вновь замедляем код, но уже по-умному 🐢
Наша предыдущая реализация замедлителя кода @slow_down всегда «усыпляла» декорируемую функцию на одно и то же время. Давайте воспользуемся нашими знаниями о передачи в декоратор аргументов:
Проверим на примере функции countdown() :
5.2. Создание синглтонов 🗿
Оператор is возвращает True только для объектов, представляющих одну и ту же сущность.
Описанный ниже декоратор @singleton превращает класс в одноэлементный, сохраняя первый экземпляр класса в качестве атрибута. Последующие попытки создания экземпляра просто возвращают сохраненный экземпляр:
Как видите, этот декоратор класса следует тому же шаблону, что и наши декораторы функций. Единственное отличие состоит в том, что мы используем cls вместо func в качестве имени параметра.
5.3. Кэширование возвращаемых значений ⏳
Декораторы предоставляют прекрасный механизм для кэширования и мемоизации. В качестве примера давайте рассмотрим рекурсивное определение последовательности Фибоначчи:
Хотя реализация и выглядит просто, с производительностью дела обстоят плохо:
Чтобы рассчитать десятое число в последовательности Фибоначчи, в действительности достаточно лишь вычислить предыдущие числа этого ряда. Однако указанная реализация требует выполнения 177 вычислений. И ситуация быстро ухудшается: для 30-го числа потребуется 2.7 млн. операций. Это объясняется тем, что код каждый раз пересчитывает числа последовательности, уже известные из предыдущих этапов.
Обычное решение состоит в том, чтобы находить числа Фибоначчи, используя цикл for и справочную таблицу. Тем не менее, можно просто добавить к рекурсии кэширование вычислений:
Кэш работает как справочная таблица, поэтому теперь fibonacci() выполняет необходимые вычисления только один раз:
5.4. Добавление единиц измерения ⚖️
Следующий пример похож на задачу о регистрации плагинов (функций) – здесь тоже не будет меняться поведение декорированной функции. Вместо этого к атрибутам функции будут добавляться единицы измерения:
В следующем примере вычисляется объем цилиндра по известному радиусу и высоте, указанных в сантиметрах:
Атрибут unit можно далее использовать по мере необходимости:
Обратите внимание, что подобного поведения можно добиться, используя аннотации функций:
Однако, использовать аннотации для единиц измерения несколько затруднительно, поскольку они обычно используются для статической проверки типов.
5.5. Валидация JSON 🗝
Рассмотрим последний пример практического применения декораторов. Взглянем на следующий обработчик маршрута Flask:
Здесь мы гарантируем, что ключ student_id является частью запроса. Хотя эта проверка работает, на деле она не относится к самой функции. Кроме того, могут быть другие маршруты, которые используют ту же самую проверку. Итак, давайте абстрагируем всю стороннюю логику с помощью декоратора @validate_json :
В приведенном выше коде декоратор принимает в качестве аргумента список переменной длины. Каждый аргумент представляет собой ключ, используемый для проверки данных JSON. Функция-обертка проверяет, присутствует ли каждый ожидаемый ключ в данных JSON. Теперь обработчик маршрута может сосредоточиться на своей главной работе – обновлении оценок студентов:
Заключение
Поздравляем, вы дошли до конца статьи! 🎖️
Итак, теперь вы знаете:
Декораторы очень удобны, чтобы модифицировать поведение функций и классов, создавать для их обработки дополнительную логику. При этом такие шаблоны модификации легко наслаивать друг на друга с помощью вложенных декораторов. Чтобы снять декорирование, достаточно просто удалить строчку с упоминанием декоратора.
Для ещё более глубокого погружения в декораторы, посмотрите исторический документ PEP 318, а также вики-страницу, посвященную декораторам Python.
Сторонний модуль decorator также поможет вам в создании собственных декораторов. Его документация содержит ещё больше примеров использования декораторов.
Если вам понравилась эта статья, вот ещё три родственных материала по важным темам Python: