скрипты на bash github

Скрипты на bash github

Выкладываю полезные скрипты на bash с кратким описанием их работы. Заранее благодарю всех, кто советами, идеями и кодом помогал в создании скриптов.

Информация об окружении в котором выполняются скрипты.

На рабочих и домашнем компах установлены xubuntu 18.04, debian 9. Для выполнения скриптов предпочитаю bash. Если будут использоваться какие то специфические программы я их укажу.

Скрипты для задач конвертацией множества растровых файлов из формата в формат, всевозможные bmp, jpg, djvu, pdf, png. Для конвертации обычно нужен ImageMagick. Скрипты по работе с геопривязанными растрами, будут лежать отдельно.

Создает папку JPG в текущей, туда попадают конвертированные из BMP в jpg файлы. Файлы перебираются из текущей папки. Могут быть проблемы с пробелами в названиях файлов.

Похож на предыдущий скрипт. Создает папку small в текущей. Перебирает файлы в формате jpg и уменьшает их до размера в 2000px с качеством 90.

Подобен BMPtoJPG.

Этот скрипт сделан для Windows. Тоже требуется установленный imageMagick. Он ищет файлы bmp в текущей папке и в подпапках, и конвертирует их в jpg. Исходные файлы не удаляются.

Скрипт посложнее. Служит для оптимизации изображений в формате jpg и png. Например для размещения на сайте. Кроме ImageMagick требуются еще установленные jpegoptim и optipng. А также rsync.

В файле скрипта можно задать переменные с максимальным размером картинки и качеством сжатия для jpg.

Каталог с картинками должен называться all, кладется в текущий. В нем могут быть и другие файлы.

Скрипт создает каталог output. Копирует в него файлы форматов jpg и png, по возможности сохраняет структуру каталогов и права.

Меняет размер файлов, если он больше 1600px.

Затем оптимизирует файлы для веб.

Дополнительно делаются файлы с отчетам, логом, ошибками.

Комментарии кода есть в самом скрипте.

Скрипты на основе библиотек GDAL/OGR. Предназначены для работы с векторными и растровыми данными имеющими географичскую привязку.

Скрипт служит для подготовки новых растров к выгрузке на сервер.

Поясню некоторые параметры:

Описание работы:

Объединяем несколько файлов в формате shp в один. Все файлы должны быть в одной проекции MSK66 и с одним типом объектов.

Поясню один из длинных параметров

Описание работы

Скрипт выручал меня, сейчас файлы сшиваются в QGIS.(теперь это могут делать обычные пользователи)

Конвертируем файлы в формате shp в формат sql. Затем я с его помощью добавлял данные на сервер.

Требуется установленная программа shp2pgsql, обычно идет в комплекте с пакетом postgis

Скрипт работает примерно так:

Источник

Titiaiev / bash-guide-1.md

Бесплатная книга-сайт на русском, полный гайд
Advanced Bash-Scripting Guide

BASH — Bourne-Again SHell (что может переводится как «перерожденный шел», или «Снова шел Борна(создатель sh)»), самый популярный командный интерпретатор в юниксоподобных системах, в особенности в GNU/Linux. Ниже приведу ряд встроенных команд, которые мы будем использовать для создания своих скриптов.

break выход из цикла for, while или until
continue выполнение следующей итерации цикла for, while или until
echo вывод аргументов, разделенных пробелами, на стандартное устройство вывода
exit выход из оболочки
export отмечает аргументы как переменные для передачи в дочерние процессы в среде
hash запоминает полные имена путей команд, указанных в качестве аргументов, чтобы не искать их при следующем обращении
kill посылает сигнал завершения процессу
pwd выводит текущий рабочий каталог
read читает строку из ввода оболочки и использует ее для присвоения значений указанным переменным.\
return заставляет функцию оболочки выйти с указанным значением
shift перемещает позиционные параметры налево
test вычисляет условное выражение
times выводит имя пользователя и системное время, использованное оболочкой и ее потомками
trap указывает команды, которые должны выполняться при получении оболочкой сигнала
unset вызывает уничтожение переменных оболочки
wait ждет выхода из дочернего процесса и сообщает выходное состояние.

И конечно же кроме встроенных команд мы будем использовать целую кучу внешних, отдельных команд-программ, с которыми мы познакомимся уже в процессе

Что необходимо знать с самого начала

в этой строке после #! указывается путь к bash-интерпретатору, поэтому если он у вас установлен в другом месте(где, вы можете узнать набрав whereis bash ) поменяйте её на ваш путь.

Переменные и параметры скрипта

Приведу как пример небольшой пример, который мы разберем:

Результат выполнения скрипта:

После того как мы познакомились как использовать переменные и передавать скрипту параметры, время познакомиться с зарезервированными переменными:

Условные операторы, думаю, знакомы практически каждому, кто хоть раз пытался на чем-то писать программы. В bash условия пишутся след. образом (как обычно на примере):

#!/bin/bash
#в переменную source засовываем первый параметр скрипта
source=$1
#в переменную dest засовываем второй параметр скрипта
dest=$2

Результат выполнения скрипта:

Структура if-then-else используется следующим образом:

для построения многоярусных условий вида:

для краткости и читаемости кода, можно использовать структуру:

Условия. Множественный выбор

Если необходимо сравнивать какоую-то одну переменную с большим количеством параметров, то целесообразней использовать оператор case.

esac #окончание оператора case.

После выбор цифры и нажатия Enter запуститься тот редактор, который вы выбрали(если конечно все пути указаны правильно, и у вас установлены эти редакторы 🙂 )

Прведу список логических операторв, которые используются для конструкции if-then-else-fi:

-z # строка пуста
-n # строка не пуста
=, (==) # строки равны
!= # строки неравны
-eq # равно
-ne # неравно
-lt,( # меньше
-le,( # меньше или равно
-gt,(>) #больше
-ge,(>=) #больше или равно
! #отрицание логического выражения
-a,(&&) #логическое «И»
-o,(||) # логическое «ИЛИ»

С основами языка и условиями мы разобрались, чтобы не перегружать статью, разобью её на несколько частей(допустим на 3). Во второй части разберем операторы цикла и выполнение математических операций.

Оператор for-in предназначен для поочередного обращения к значениям перечисленным в списке. Каждое значение поочередно в списке присваивается переменной.
Синтаксис следующий:

Рассмотрим небольшой пример:

Цикл while сложнее цикла for-in и используется для повторения команд, пока какое-то выражение истинно( код возврата = 0).
Синтаксис оператора следующий:

Пример работы цикла рассмотрим на следующем примере:

А теперь результат работы скрипта:

Как видим цикл выполняется до тех пор, пока мы не введем что-то отличное от «yes». Между do и done можно описывать любые структуры, операторы и т.п., все они будут выполнятся в цикле.Но следует быть осторожным с этим циклом, если вы запустите на выполнение в нём какую-либо команду, без изменения переменной выражения, вы можете попасть в бесконечный цикл.

Рассмотрим еще один пример, я взял его из книги Advanced Bash Scripting. Уж очень он мне понравился :), но я его немного упростил. В этом примере мы познакомимся с еще одним типом циклов UNTIL-DO. Эта практически полный аналог цикла WHILE-DO, только выполняется пока какое-то выражение ложно.
Вот пример:

Результат выполнения скрипта:

Ну вот, как видите ничего сложного, список математических операций стандартный:

+ — сложение
— — вычитание
* — умножение
/ — деление
** — возведение в степень
% — модуль(деление по модулю), остаток от деления
let позволяет использовать сокращения арифметических команд, тем самым сокращая кол-во используемых переменных. Например: a = a+b эквивалентно a +=b и т.д

Работа с внешними программами при написании shell-скриптов

Для начала немного полезной теории.

Если есть необходимость дописывать в файл(при использовании » > » он заменятеся), необходимо вместо » > » использовать » >> «

после просьбы sudo ввести пароль, он возьмется из файла my_password, как будто вы его ввели с клавиатуры.
Если необходимо записать в файл только ошибки, которые могли возникнуть при работе программы, то можно использовать:

символ » & » означает указатель на дескриптор 1(stdout)
(Поумолчанию stderr пишет на ту консоль, в котрой работает пользователь(вренее пишет на дисплей)).

Конвеер — очень мощный инструмент для работы с консолью Bash. Синтаксис простой:
команда1 | команда 2 — означает, что вывод команды 1 передастся на ввод команде 2
Конвееры можно группировать в цепочки и выводить с помощью перенаправления в файл, например:

Чаще всего скрипты на Bash используются в качестве автоматизации каких-то рутинных операций в консоли, отсюда иногда возникает необходимость в обработке stdout одной команды и передача на stdin другой команде, при этом результат выполнения одной команды должен быть неким образом обработан. В этом разделе я постораюсь объяснить основные принципы работы с внешними командами внутри скрипта. Думаю что примеров я привел достаточно и можно теперь писать только основные моменты.

1. Передача вывода в переменную.

Для того чтобы записать в переменную вывод какой-либо команды, достаточно заключить команду в « ковычки, например

Результат работы: qwerty

Однако если вы захотите записать в переменную список директорий, то необходимо, должным образом обработать результат для помещения данных в переменную. Рассмотрим небольшой, пример:

Источник

Скрипты на bash github

Git Shell Scripts for Windows (Batch Files)

Simple Windows Batch files for common Git operations.

Welcome, Let’s get Productive with Git on Windows!

If you are completely new to Git and you are on the Windows platform you’re in luck, because I’m about to walk you through the steps to get productive with Git quickly!

And in the process of getting you up-to-speed with Git I’ll also provide some recommendations for overall dev machine setup on Windows as well.

My first word of advice is to familiarize yourself with using Git from the command-line. Yes, Git integration is available in most graphical code editors/IDEs, but it would be impossible to describe how to use them all, they change their interfaces from time-to-time, and you won’t always be able to use your favorite editor. So learn the command-line and you’ll have a solid foundation in Git skills.

On Windows I highly recommend the Cmder console emulator (Full download with Git for Windows) instead of the built-in command-line (Git Bash shell and the Hyper shell by Zeit are also popular and useful cmd.exe alternatives). So before proceeding please download and install Cmder.

Cmder can be used inside the Visual Studio Code (VSCode) integrated terminal. See here for details. See below for help installing VSCode and other tools.

Verify that Git for Windows was Installed

Cmder installed Git for Windows, so let’s verify that. First, do Start, Run, cmder and at the command prompt type:

If Git for Windows responded, you’re all set to move on to the next step.

So now you are in Cmder at the C:\Users\. prompt. So change directory into your root C:\ folder.

And make a directory for all of the projects and source code that you’ll be working on. I recommend:

Why use your root C:\ folder and abbreviate the folder name? I recommend this because you’ll often end up with extremely long/deep nested folder hierarchies when working with source code and it’s best to start with something very short.

Clone Your First Repo

So you’re at the C:\src prompt in Cmder and here’s where the good stuff begins.

When you «clone» a source code repository (repo) Git will remember the original master location of the code, and thus allow you to easily check-in and «push» your changes/contributions back to that location (e.g., GitHub).

But if you simply download code (from GitHub, for example) instead of cloning it, there is no link established (and no tracking of changes by Git at all) and you will have a harder time configuring your folder to push your contributions to the original location.

If you are in that situation where you have downloaded code and made some minor changes, I’d recommend that you follow these steps to actually clone the repo, and then copy your previous changes from the download folder to this new, cloned folder.

So here goes, let’s clone this git-scripts-win repo as an example. Here’s the command:

(You can also read the GitHub documentation here for more details on this command.)

You’ll notice that Cmder has added some Git information to the command-prompt:

Cmder knows that Git is setup to track changes in this folder, and that you are currently working on the «master» branch.

Congratulations, you have cloned your first Git repo!

Installation and Use of Windows Batch Scripts

Now that you have cloned this repo, add your local repo folder ( C:\src\git-scripts-win if you followed the example above) to your PATH environment variable.

After editing your PATH environment variable, you’ll need to exit Cmder and re-run it to allow the PATH change to be seen by Cmder. So do that now before continuing with the next step.

Practice Switching Between Branches

You may have been asked to make contributions to, say, a dev branch instead of the master branch. So how do you do that? Using the batch files (*.bat) in this repo makes it easy. Enter this command:

And you’ll see a list of available branches:

Make Your First Contribution

Assuming you are working against a repo to which you have write access, making your first contribution to the repo is easy. After cloning, simply add/edit files as needed, or copy files from other locations into your local, cloned folder structure.

And then you can type:

You’ll be prompted for a short «commit message» (no quotes are needed in the message). Type it in and press ENTER.

Congratulations, you’ve made your first contribution to a git repo!

Additional Nice-to-Have Setup for Devs on Windows

For software development on Windows you’ll want to install a number of popular tools. The Windows Package Manager Chocolatey makes it very easy to install these tools.

When setting-up a Windows 10 machine from scratch, here’s my recommended routine.

Chocolatey Package Manager and Recommended Installs

From the Cmder (or other) command prompt, install Chocolatey (this is the cmd.exe method recommended on the Chocolatey website) by pasting and executing this command.

And here are the Chocolatey install ( cinst ) commands for installing popular dev tools.

Additional Chocolatey packages can be discovered by using the list (aka search ) command.

Recommended Git Configuration

Some of the batch files in this repo assume that you have installed WinMerge and that you have configured git to use it as your merge tool.

It’s also a good idea to establish your identity with git using these two commands:

Finally, if you need to sign-in to GitHub repos with different credentials (say, with a work account to access private repos and also with a personal account to access public repos) you’ll need to tell the Credential Manager to use the full path of the repo instead of just the host (Github.com). And you may need to set the name of the credential helper too.

And if you ever need to clear any previously-cached credentials for GitHub to force prompting for new credentials (on your next git action requiring a login) you can run this command:

Batch File Documentation

To use a batch file, simply enter its name at the Windows command prompt. The Cmder console emulator (Full download with Git for Windows) is recommended over the built-in cmd.exe shell.

These batch scripts are designed to prompt you before taking any action against your repo. So you may always press CTRL+C to exit a script after launching it but before it performs any actions.

Displays information about the branches in the current repo.

Prompts you for the path to a file for which you would like to review the changes and launches your diff tool (e.g., WinMerge) to allow you to review the changes.

Walks you through the process of picking a commit from another branch and merging it into your current branch

Walks you through deleting a local branch.

Walks you through deleting a remote branch.

Walks you through merging a branch to master.

When git fails to auto-merge your changes with other commits, use this command to launch the diff tool (e.g., WinMerge) to review each change and make the decisions necessary to complete the merge.

Walks you through the process of creating a new branch. For example, you may want to create a branch for a new or experimental feature. It is recommended that you not use a branch for refactoring existing code that might also be touched by others while you are working on it.

Walks you through switching from your current branch to a different branch so that you can work there.

Walks you through committing your changes locally and then syncing those changes with the remote repo.

When your branch has had no intervening changes since it was branched from, rebased against, or merged with master, and you simply want to bring your branch even with the latest changes in master, this does the job.

When your branch does have intervening changes that cause it to differ from master, and commits have been applied to master that you want to be applied to your branch as well, this will do the job. This script is formulated to minimize merge conflicts and «just work» most of the time by favoring the changes in the local branch over otherwise conflicting changes in master.

Merge master locally into your current branch, favoring the current branch’s changes over master however. This avoids the duplicate «replay» of commits that can occur with rebasing.

Display a simple list of the latest commits.

Источник

Bash-скрипты: начало

Сегодня поговорим о bash-скриптах. Это — сценарии командной строки, написанные для оболочки bash. Существуют и другие оболочки, например — zsh, tcsh, ksh, но мы сосредоточимся на bash. Этот материал предназначен для всех желающих, единственное условие — умение работать в командной строке Linux.

Сценарии командной строки — это наборы тех же самых команд, которые можно вводить с клавиатуры, собранные в файлы и объединённые некоей общей целью. При этом результаты работы команд могут представлять либо самостоятельную ценность, либо служить входными данными для других команд. Сценарии — это мощный способ автоматизации часто выполняемых действий.

Итак, если говорить о командной строке, она позволяет выполнить несколько команд за один раз, введя их через точку с запятой:

На самом деле, если вы опробовали это в своём терминале, ваш первый bash-скрипт, в котором задействованы две команды, уже написан. Работает он так. Сначала команда pwd выводит на экран сведения о текущей рабочей директории, потом команда whoami показывает данные о пользователе, под которым вы вошли в систему.

Используя подобный подход, вы можете совмещать сколько угодно команд в одной строке, ограничение — лишь в максимальном количестве аргументов, которое можно передать программе. Определить это ограничение можно с помощью такой команды:

Командная строка — отличный инструмент, но команды в неё приходится вводить каждый раз, когда в них возникает необходимость. Что если записать набор команд в файл и просто вызывать этот файл для их выполнения? Собственно говоря, тот файл, о котором мы говорим, и называется сценарием командной строки.

Как устроены bash-скрипты

Команды оболочки отделяются знаком перевода строки, комментарии выделяют знаком решётки. Вот как это выглядит:

Тут, так же, как и в командной строке, можно записывать команды в одной строке, разделяя точкой с запятой. Однако, если писать команды на разных строках, файл легче читать. В любом случае оболочка их обработает.

Установка разрешений для файла сценария

Попытка запуска файла сценария с неправильно настроенными разрешениями

Сделаем файл исполняемым:

Теперь попытаемся его выполнить:

После настройки разрешений всё работает как надо.

Успешный запуск bash-скрипта

Вывод сообщений

Вот что получится после запуска обновлённого скрипта.

Вывод сообщений из скрипта

Использование переменных

Переменные позволяют хранить в файле сценария информацию, например — результаты работы команд для использования их другими командами.

Нет ничего плохого в исполнении отдельных команд без хранения результатов их работы, но возможности такого подхода весьма ограничены.

Существуют два типа переменных, которые можно использовать в bash-скриптах:

Переменные среды

Иногда в командах оболочки нужно работать с некими системными данными. Вот, например, как вывести домашнюю директорию текущего пользователя:

Использование переменной среды в сценарии

А что если надо вывести на экран значок доллара? Попробуем так:

В подобной ситуации поможет использование управляющего символа, обратной косой черты, перед знаком доллара:

Теперь сценарий выведет именно то, что ожидается.

Использование управляющей последовательности для вывода знака доллара

Пользовательские переменные

В дополнение к переменным среды, bash-скрипты позволяют задавать и использовать в сценарии собственные переменные. Подобные переменные хранят значение до тех пор, пока не завершится выполнение сценария.

Как и в случае с системными переменными, к пользовательским переменным можно обращаться, используя знак доллара:

Вот что получится после запуска такого сценария.

Пользовательские переменные в сценарии

Подстановка команд

Одна из самых полезных возможностей bash-скриптов — это возможность извлекать информацию из вывода команд и назначать её переменным, что позволяет использовать эту информацию где угодно в файле сценария.

Сделать это можно двумя способами.

При втором подходе то же самое записывают так:

А скрипт, в итоге, может выглядеть так:

Скрипт, сохраняющий результаты работы команды в переменной

Математические операции

Математические операции в сценарии

Управляющая конструкция if-then

А вот рабочий пример:

В данном случае, если выполнение команды pwd завершится успешно, в консоль будет выведен текст «it works».

Вот что получается после запуска этого скрипта.

В этом примере, если пользователь найден, скрипт выведет соответствующее сообщение. А если найти пользователя не удалось? В данном случае скрипт просто завершит выполнение, ничего нам не сообщив. Хотелось бы, чтобы он сказал нам и об этом, поэтому усовершенствуем код.

Управляющая конструкция if-then-else

Напишем такой скрипт:

Запуск скрипта с конструкцией if-then-else

Ну что же, продолжаем двигаться дальше и зададимся вопросом о более сложных условиях. Что если надо проверить не одно условие, а несколько? Например, если нужный пользователь найден, надо вывести одно сообщение, если выполняется ещё какое-то условие — ещё одно сообщение, и так далее. В подобной ситуации нам помогут вложенные условия. Выглядит это так:

Сравнение чисел

В скриптах можно сравнивать числовые значения. Ниже приведён список соответствующих команд.

В качестве примера опробуем один из операторов сравнения. Обратите внимание на то, что выражение заключено в квадратные скобки.

Вот что выведет эта команда.

Сравнение чисел в скриптах

Значение переменной val1 больше чем 5, в итоге выполняется ветвь then оператора сравнения и в консоль выводится соответствующее сообщение.

Сравнение строк

В сценариях можно сравнивать и строковые значения. Операторы сравнения выглядят довольно просто, однако у операций сравнения строк есть определённые особенности, которых мы коснёмся ниже. Вот список операторов.

Вот пример сравнения строк в сценарии:

В результате выполнения скрипта получим следующее.

Сравнение строк в скриптах

Вот одна особенность сравнения строк, о которой стоит упомянуть. А именно, операторы «>» и « » как команду перенаправления вывода.

Вот как работа с этими операторами выглядит в коде:

Вот результаты работы скрипта.

Сравнение строк, выведенное предупреждение

Обратите внимание на то, что скрипт, хотя и выполняется, выдаёт предупреждение:

Теперь всё работает как надо.

Она отсортирует строки из файла так:

Если его запустить, окажется, что всё наоборот — строчная буква теперь больше прописной.

Команда sort и сравнение строк в файле сценария

В командах сравнения прописные буквы меньше строчных. Сравнение строк здесь выполняется путём сравнения ASCII-кодов символов, порядок сортировки, таким образом, зависит от кодов символов.

Проверки файлов

Пожалуй, нижеприведённые команды используются в bash-скриптах чаще всего. Они позволяют проверять различные условия, касающиеся файлов. Вот список этих команд.

Эти команды, как впрочем, и многие другие рассмотренные сегодня, несложно запомнить. Их имена, являясь сокращениями от различных слов, прямо указывают на выполняемые ими проверки.

Опробуем одну из команд на практике:

Этот скрипт, для существующей директории, выведет её содержимое.

Вывод содержимого директории

Полагаем, с остальными командами вы сможете поэкспериментировать самостоятельно, все они применяются по тому же принципу.

Итоги

Сегодня мы рассказали о том, как приступить к написанию bash-скриптов и рассмотрели некоторые базовые вещи. На самом деле, тема bash-программирования огромна. Эта статья является переводом первой части большой серии из 11 материалов. Если вы хотите продолжения прямо сейчас — вот список оригиналов этих материалов. Для удобства сюда включён и тот, перевод которого вы только что прочли.

Уважаемые читатели! Просим гуру bash-программирования рассказать о том, как они добрались до вершин мастерства, поделиться секретами, а от тех, кто только что написал свой первый скрипт, ждём впечатлений.

Источник