АНАЛИЗ ПЕРСПЕКТИВ ВНЕДРЕНИЯ КОМПОНОВЩИКА GOOGLE GOLD В ПРОГРАММНЫЕ ПРОДУКТЫ НА C++

Рассмотрено влияние компоновщиков на общее время компиляции программ. Показано, что Google gold компонует файлы минимум в два раза быстрее GNU ld вне зависимости от размера результирующего исполняемого файла. При этом на примере большого программного продукта, состоящего из порядка 200 библиотек и исполняемых файлов, реализованных на языке С++ в примерно 6000 файлах с исходным кодом суммарным размером около миллиона строк, экспериментально установлено, что при компиляции всех исходных файлов проекта использование компоновщика Google gold позволяет уменьшить общее время компиляции не более чем на 2% по сравнению с компоновщиком GNU ld.

Ключевые слова: компоновщик, компиляция, C++, ELF, Google gold, GNU ld.

Время и вычислительные ресурсы, затрачиваемые на компиляцию больших  программных продуктов, значительны. Поэтому помимо автоматизации и обеспечения кроссплатформенности основной задачей систем сборки и инструментов для разработки программного обеспечения является уменьшение времени компиляции [2, 4]. Это достигается преимущественно за счет трансляции только измененных файлов с исходным кодом при повторной компиляции. Кроме того, компиляция может выполняться параллельно на кластере машин [1]. В отличие от трансляции компоновка исполняемых файлов и библиотек осуществляется только последовательно и всегда включает обработку всех объектных файлов и библиотек, что может оказывать значительное влияние на общее время компиляции.

С целью уменьшить время компоновки в качестве замены GNU ld компания Google разработала компоновщик gold. В отличие от ld, работающего с разными форматами исполняемых файлов, в частности ELF, a.out и COFF, gold поддерживает только формат ELF, что скорее всего позволило разработчикам сосредоточиться на быстродействии, а не универсальности. Другой особенностью gold является многопоточность. Согласно заявлениям разработчиков Google, использование компоновщика gold позволяет уменьшить время компиляции отдельных программ на C++ от двух до пяти раз по сравнению c GNU ld [3], при этом не уточняется, в каких конкретно случаях достигается подобное преимущество.

В данной работе оценивается эффективность использования Google gold при полной компиляции больших программных продуктов, реализованных на C++, состоящих из значительного числа программ и библиотек. Для этого использован проект из примерно 2500 файлов с исходным кодом и 3500 заголовочных файлов общим размером ≈2.3 ГБ. Объем кода составляет порядка миллиона строк. Результатом компиляции являются около 200 библиотек и исполняемых файлов. Система сборки основана на GNU make, что позволяет выполнять компиляцию параллельно. Используются компилятор LLVM clang++ v. 3.4 и компоновщики gold v. 1.11 и ld v. 2.20 из пакетов GNU binutils версий 2.24 и 2.20 соответственно. Компиляция выполняется в 16 потоков на сервере с двумя восьмиядерными процессорами Intel Xeon E5-2690 с тактовой частотой 2.9 МГц. Функция Hyper- Threading процессора отключена. На сервере используются жесткие диски Hitachi с скоростью вращения 10000 об/мин и средним временем поиска 7.1 мс. Сервер работает под управлением операционной системы Oracle Linux 6.5 с ядром linux-3.8, для хранения данных используется файловая система ext4.

Значения среднего времени t компиляции всего проекта приведены в Табл.1. При компиляции для отладки (без оптимизации и с отладочными символами) преимущество при использование Google gold не превышает 2% по сравнению с GNU ld. При компиляции с оптимизацией разница составляет порядка 1%. Аналогичные результаты получены при компиляции проекта на файловой системе tmpfs, хранящей все файлы в оперативной памяти, что позволяет исключить влияние дискового ввода-вывода на общее время компиляции.

    Таблица 1

Среднее время компиляции всего проекта.

Для объяснения полученных результатов проанализирована зависимость времени, затрачиваемого только на компоновку, от размера результирующего исполняемого файла без учета других этапов компиляции (в частности, трансляции и оптимизации) и операций дискового ввода-вывода. Согласно результатам, приведенным в Табл.2, компоновщик gold работает почти в два раза быстрее ld вне зависимости от размера исполняемого файла. Очевидно, что данное преимущество сохранится при компиляции проекта, где изменено лишь несколько исходных файлов. Сопоставив данные результаты с результатами из Табл.1, можно сделать вывод, что время компоновки составляет лишь незначительную часть общего времени компиляции, поэтому при компиляции больших проектов не может сказываться на результатах.

Таблица 2

Среднее время компоновки исполняемых файлов.

В данной работе установлено, что среднее время компоновки при использовании Google gold уменьшается минимум в два раза по сравнению c GNU ld вне зависимости от размера результирующего исполняемого файла. Однако при компиляции больших программных продуктов на С++ использование компоновщика gold позволяет уменьшить среднее время компиляции не более, чем на 2% вне зависимости от скорости операций ввода-вывода. Это объясняется тем, что на время компиляции больших продуктов в большей степени влияет время трансляции и оптимизации. Таким образом, Google gold позволяет получить наиболее существенное преимущество при компиляции проекта с уже оттранслированными исходными файлами.

Авторы выражают признательность своему коллеге Косякову М.С. за плодотворное сотрудничество по тематике работы и полезные замечания.

Список литературы

1.     Hall J. Distributed computing with distcc // Linux Journal. – 2007. – November (163).

2.     Smith P. Software build systems: principles and experience. – Addison-Wesley Professional. – 2011. – 624 p.

3.     Taylor I.L. A New ELF Linker // In Proceedings of the GCC Developers Summit. – 2008. – P. 129-136.

4.     Ошурок Э.Э., Ежова К.В. Кроссплатформенный инструментарий разработки программных продуктов // Научно-технический вестник информационных технологий, механики и оптики. – 2012. – № 4 (80). – С. 153–155.