В одном из интервью Роберт Олдрич объяснил, почему он решил сделать «Осенние листья»: «Я думаю, самовыживание заставило меня сделать эту картину. Меня довольно часто стали критиковать за насилие, ярость и гнев в моих картинах, после чего я решил, что пора сделать мыльную оперу. Кроме того, я был большим поклонником четы Батлеров — Джин Руверол и Хьюго Батлера — а это была изначально их история».
В июле 1954 года в Daily Variety отмечалось, что Олдрич купил права на оригинальный сценарий этого фильма, намереваясь стать его продюсером и режиссёром для собственной компании Associates and Aldrich Co., при этом предполагалось, что прокатом фильма займётся United Artists. Однако уже а октябре 1954 года Daily Variety сообщил, что финансированием и дистрибуцией фильма будет заниматься Distributors Corporation of America. В конечном итоге, права на фильм у Олдрича купил продюсер Уильям Гётц для компании Columbia Pictures.
Фильм делался под рабочим названием «Каковы мы есть» (англ. The Way We Are). Однако, согласно информации Daily Variety от января 1956 года, название было изменено на «Осенние листья», чтобы воспользоваться успехом песни Autumn Leaves, которая звучит в исполнении Нэта Кинга Коула в начале и в конце фильма. В изначальном французском варианте песня называлась «Опавшие листья» (фр. Les feuilles mortes), её авторами были композитор Жозеф Косма, и поэт Жак Превер, а первым её исполнил Ив Монтан во французском фильме «Врата ночи» (фр. Les portes de la nuit) (1946). Английский текст песни написал Джонни Мерсер, и, как отмечает историк кино Хэл Эриксон, «все, кто слушал Топ-40 по радио на протяжении последних четырёх десятилетий, знает эту песню в исполнении Нэта Кинга Коула».
В титрах картины автором сценария был указан Джек Джевн, который выступал прикрытием для сценаристов Джин Руверол и Хьюго Батлера, имена которых в тот момент были внесены в чёрный список, и они не имели возможности официально работать в Голливуде. Как отмечено в Daily Variety от апреля 1997 года, «Гильдия сценаристов Америки добилась восстановления в титрах имён сценаристов, попавших в „чёрные списки“ Руверол и Батлера, имена которых не были указаны в титрах фильма после выхода на экраны». Согласно пресс-релизу Гильдии, имена авторов сценария картины должны быть указаны следующим образом: «Джин Руверол и Хьюго Батлер, Льюис Мелтцер и Роберт Близ».
Олдрич пригласил на главную роль Джоан Кроуфорд, однако, по его словам, работать с ней было непросто. Он, в частности, вспоминал: «Я восхищался Кроуфорд, которая была актрисой, разработавшей собственный метод игры, но я никак не мог сделать из неё неряшливую стареющую женщину, что нарушало всю концепцию картины… Примерно за неделю до начала работы, Кроуфорд захотела, чтобы её собственный автор переписал сценарий, однако я отказался пойти на это. В 2 часа ночи в день, когда должны были начаться съёмки, по телефону мне сообщили, что она сегодня задержится, чтобы приехать вместе со своим автором. Я на это ответил, что если появится её автор, мы не будем снимать». Как далее замечает Олдрич, только таким образом с ней и можно было поладить. Он далее пишет: «В итоге её автор так и не появился. Зато пришла она, и мы приступили к работе. Однако она не разговаривала со мной четыре или пять дней. Она принимала моё руководство на съёмочной площадке, она делала то, что нужно, но между нами не было никакого личного контакта. Затем однажды она отработала в одной из сцен настолько сильно, что я был по-настоящему тронут. И когда она подняла глаза, закончив её, я смахнул слезу. Это разрушило лёд, и с этого момента на долгое время мы стали добрыми друзьями»[1].
Как отмечает Стаффорд, «хотя к 1956 году Кроуфорд уже не была той крупнейшей звездой, какой она была в своё время на MGM и Warner Bros., тем не менее, это не останавливало её от того, чтобы вести себя как примадонна с большей частью актёров и членов съёмочной группы». В биографии Шоуна Консидайна «Бетти и Джоан» содержатся воспоминания консультанта по сценарию Боба Шермана об общении с Кроуфорд: «Режиссёр Боб Олдрич попросил меня съездить в воскресенье днём домой к Кроуфорд и пройтись с ней по сценарию. Когда я приехал, меня провели через гостиную с белым диваном, белыми подушками и белыми коврами. В задней части дома две маленькие девочки, одетые в белые кринолиновые платья, играли с двумя белыми французскими пуделями. Мистер Пепси-Кола (муж Кроуфорд Эл Стил был вице-президентом компании „Пепси-Кола“) стоял около греческого белого бассейна с двумя былыми домиками с каждой стороны. И здесь я увидел Джоан. Она лежала на белом шезлонге в солнечных очках, ей делали маникюр и педикюр в то время, как она диктовала письма своему секретарю. Она указала на стул с другой стороны, и я сел, читая ей текст в те моменты, когда у неё появлялось время. Она играла „актрису-начальницу“ во всём».
Как отмечает Стаффорд, «первоначально Кроуфорд хотела, чтобы роль Берта сыграл Марлон Брандо, но ей отказали». На роль был выдвинут Клифф Робертсон, который только что сыграл роль второго плана в «Пикнике» (1955). Он должен был «лично проходить „смотрины“ дома у Кроуфорд до начала съёмок», прежде чем получить главную роль в «Осенних листьях».
Как далее пишет Стаффорд, «после первого столкновения между Кроуфорд и Олдричем по поводу сценаристов, дальнейшие съёмки фильма шли гладко, хотя Джоан всё время противоречила режиссёру относительно выбора прохладительных напитков». Как рассказывал Фил Стерн, Олдрич «любил пить Кока-Колу из бумажного стаканчика. Когда ему принесли целый ящик Кока-Колы, Джоан установила на съёмочной площадке машину, торгующую Пепси-Колой. Каждый раз, когда он отворачивался, она выбрасывала его Кока-Колу и заменяла её на стакан Пепси». В конце концов, Олдрич положил этому конец, но Джоан продолжала рассказывать о достоинствах Пепси каждому, кто был готов её слушать.
По информации Стаффорда, «фильм был снят за сорок дней и принёс Олдричу премию „Серебряный медведь“ как лучшему режиссёру на Берлинском кинофестивале 1956 года»..
Кроуфорд в дальнейшем говорила, что «Осенние листья» является «лучшим фильмом в истории на тему о зрелой женщине и молодом мужчине», добавив, что «всё сработало в „Осенних листьях“. Актёрский состав был идеальным, сценарий был хорошим, и я думаю, Боб хорошо всем руководил. Я действительно думаю, что Клифф сделал изумительную работу; другой актёр на его месте мог бы плеваться фразами и переигрывать, но он этого избежал. Я думаю, фильм в целом был намного лучше, чем некоторые романтические фильмы, которые я делала в прошлом, но почему-то он так и не стал особенно известен. Его затмила картина, которую я сделал с Бетти Дейвис».