В октябре 1943 года после освобождения Смоленщины от немецко-фашистких захватчиков была организованна библиотека, которую в народе называли «библиотечкой». Фонд этой библиотеки был невелик, но читателей было предостаточно. Со временем «маленькая библиотечка» переросла в избу-читальню, фонд которой уже насчитывал несколько тысяч книг. В мае 1953 года заведующей избой-читальней стала Устиненкова Варвара Андреевна. В избе-читальне не только читали книги, но и играли в настольные игры: домино, шашки, шахматы.

В 1955 году библиотека была участником смоленской областной сельскохозяйственной выставки, за активное обслуживание колхозников и механизаторов книгой, награждена почетной грамотой;
В 1956 году Досуговская библиотека была участником всесоюзной сельскохозяйственной выставки и награждена медалью;
В 1958 году библиотека стала победителем Всероссийского общественного смотра работы культурно-просветительных учреждений и награждена дипломом «Лучшая библиотека РСФСР»;

Заведующая библиотекой Устиненкова Варвара Андреевна была награждена двумя бронзовыми медалями и значком отличника культпросвет работника.

В связи с увеличение числа читателей, фонда, высокими показателями работы, в 1958 году областным управлением культуры было принято решение отпустить средства для строительства нового здания библиотеки, в котором, и в настоящее время находится библиотека. С 1958 года в библиотеке работало два библиотекаря: Устиненкова Варвара Андреевна и Коваленкова Мария Терентьевна.

Параллельно с сельской библиотекой работала колхозная библиотека. В 60-е годы фонд колхозной библиотеки был передан в сельскую библиотеку, которая в начале 60-х годов была реорганизована в зональную библиотеку.

40 лет проработала заведующей библиотекой Устиненкова Варвара Андреевна, лишь в 1993 году она ушла на заслуженный отдых. Её преемницей стала Покладова Ирина Геннадьевна, а в 1996 году библиотекарем Досуговской сельской библиотеки назначена Грибанова Елена Ивановна.

В августе 2004 года принято решение перевести библиотеку в выделенное помещение в Досуговской средней школе.