Результаты поиска: Valid MB-500 Test Pattern 🤕 MB-500 Valid Test Tutorial ➕ Latest MB-500 Braindumps 🤥 Immediately open ⮆ www.pdfvce.com ⮄ and search for ▛ MB-500 ▟ to obtain a free download 🧑New MB-500 Exam Cram

Как автоматически скачивать сериалы и субтитры к ним

  Автор: | |
Комментарии к записи Как автоматически скачивать сериалы и субтитры к ним отключены

Довольно долгое время искал какие-то решения, позволяющие «подписаться» на торренты с интересными сериалами, но так как для меня важно наличие русский сабов (а их буржуи не раздают, как это ни странно), то часто реально оказывалось проще дождаться раздачи на наших сайтах, где все уже подбито. Но наконец, закинув в очередной раз невод в море, я выудил нечто похожее на золотую рыбку. Состоит рыбка из трех компонентов…

Торрент-клиент

В основе сервера будет transmission-daemon — идеальный для этого случая клиент. Примерный конфиг для него будет такой:

settings.json
 
  1. {
  2. "alt-speed-down": 50,
  3. "alt-speed-enabled": false,
  4. "alt-speed-time-begin": 540,
  5. "alt-speed-time-day": 127,
  6. "alt-speed-time-enabled": false,
  7. "alt-speed-time-end": 1020,
  8. "alt-speed-up": 50,
  9. "bind-address-ipv4": "0.0.0.0",
  10. "bind-address-ipv6": "::",
  11. "blocklist-enabled": true,
  12. "blocklist-url": "http://list.iblocklist.com/?list=bt_level1&fileformat=p2p&archiveformat=gz",
  13. "cache-size-mb": 4,
  14. "dht-enabled": true,
  15. "download-dir": "/share/torrents",
  16. "download-queue-enabled": true,
  17. "download-queue-size": 5,
  18. "encryption": 2,
  19. "idle-seeding-limit": 30,
  20. "idle-seeding-limit-enabled": false,
  21. "incomplete-dir": "/share/torrents/inc",
  22. "incomplete-dir-enabled": true,
  23. "lpd-enabled": true,
  24. "message-level": 1,
  25. "peer-congestion-algorithm": "",
  26. "peer-id-ttl-hours": 6,
  27. "peer-limit-global": 500,
  28. "peer-limit-per-torrent": 20,
  29. "peer-port": 59648,
  30. "peer-port-random-high": 65535,
  31. "peer-port-random-low": 49152,
  32. "peer-port-random-on-start": false,
  33. "peer-socket-tos": "default",
  34. "pex-enabled": true,
  35. "port-forwarding-enabled": true,
  36. "preallocation": 0,
  37. "prefetch-enabled": true,
  38. "queue-stalled-enabled": true,
  39. "queue-stalled-minutes": 30,
  40. "ratio-limit": 2,
  41. "ratio-limit-enabled": false,
  42. "rename-partial-files": true,
  43. "rpc-authentication-required": false,
  44. "rpc-bind-address": "0.0.0.0",
  45. "rpc-enabled": true,
  46. "rpc-host-whitelist": "",
  47. "rpc-host-whitelist-enabled": false,
  48. "rpc-password": "",
  49. "rpc-port": 9091,
  50. "rpc-url": "/transmission/",
  51. "rpc-username": "admin",
  52. "rpc-whitelist": "127.0.0.1",
  53. "rpc-whitelist-enabled": false,
  54. "scrape-paused-torrents-enabled": true,
  55. "script-torrent-done-enabled": false,
  56. "script-torrent-done-filename": "",
  57. "seed-queue-enabled": false,
  58. "seed-queue-size": 10,
  59. "speed-limit-down": 100,
  60. "speed-limit-down-enabled": false,
  61. "speed-limit-up": 100,
  62. "speed-limit-up-enabled": false,
  63. "start-added-torrents": true,
  64. "trash-original-torrent-files": false,
  65. "umask": 0,
  66. "upload-slots-per-torrent": 14,
  67. "utp-enabled": true,
  68. "watch-dir": "/share/torrents/watch",
  69. "watch-dir-enabled": true
  70. }

Этот конфиг подразумевает что у нас есть каталог ​/share/torrents, в который будут падать торренты, а также два подкаталога — inc и watch. Первый  для размещения файлов в процессе скачивания, второй для скачивания торрентов, вручную кинутых в этот каталог.

Вебморда: http://IP:9091/transmission/web/, логин admin без пароля

Граббилка торрентов

Шикарный проект torrentwatch-xa,  который мониторит RSS-фиды различных трекеров (есть набор дефолтных и возможность добавить свои), выцепляет названия, интересующие нас. и добавляет их на скачивание. Как правило сериалы выкладываются по сериям, так что свежие всегда будут появляться у нас как только так сразу.

Установка описана на гитхабе, так что сразу к настройкам. Прописываем настройки подключения к торрент-клиенту — он может быть как локальным, так и удаленным. Указываем корневую папку в которую будут скачиваться сериалы.

Указываем чтобы сериалы качались каждый в свою папку по названию сериала, и выставляем лимит раздачи (в данном случае 20 к 1, то есть гиг скачали — 20 раздали и остановились)

Вкладка Favorites отвечает за настройки мониторинга тех сериалов, которые мы захотим скачать. Использовать регулярные выражения для вычленения имени сериала, искать во всех фидах, качать только торренты с номерами сезона и эпизода в названии, скачивать только новые эпизоды (об этом ниже)

Теперь о том как выглядит наше избранное и как добавить сериал. Ну, примерно так

Разберем на примере доктора кто, имя торрента с его серией будет примерно таким: doctor.who.2005.s12e07.720p.hdtv.x264-mtb[eztv]

Имя — это просто имя, может быть произвольным; фильтр — как правило совпадает с именем указанным в имени торрента, но игнорирует точки; quality — качество, которое кодируется или как разрешение (720p), или как тип рипа (webrip/hdtv и т.д.), можно указывать или так или эдак; Last Downloaded — последний добавленный в скачивание эпизод (это поле обновляется автоматически, но его можно поменять и вручную, если часть эпизодов у нас уже есть и мы хотим качать только новое), при добавлении нового сериала это поле заполняется в формате SSxEE (SS — номер сезона, EE — номер эпизода, напр. 02×08)

Скачиватель субтитров

Как правило, для большинства сериалов субтитры рано или поздно находятся на opensubtitles.org, и было бы логично искать их там. Но хотелось бы делать это автоматически. И есть такой скрипт: https://github.com/emericg/OpenSubtitlesDownload

/opt/OpenSubtitlesDownload.py
 
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-
  4. # OpenSubtitlesDownload.py / Version 4.1
  5. # This software is designed to help you find and download subtitles for your favorite videos!
  7. # You can browse the project's GitHub page:
  8. # https://github.com/emericg/OpenSubtitlesDownload
  9. # Learn much more about OpenSubtitlesDownload.py on its wiki:
  10. # https://github.com/emericg/OpenSubtitlesDownload/wiki
  11. # You can also browse the official website:
  12. # https://emeric.io/OpenSubtitlesDownload
  14. # Copyright (c) 2020 by Emeric GRANGE <emeric.grange@gmail.com>
  15. #
  16. # This program is free software: you can redistribute it and/or modify
  17. # it under the terms of the GNU General Public License as published by
  18. # the Free Software Foundation, either version 3 of the License, or
  19. # (at your option) any later version.
  20. #
  21. # This program is distributed in the hope that it will be useful,
  22. # but WITHOUT ANY WARRANTY; without even the implied warranty of
  23. # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  24. # GNU General Public License for more details.
  25. #
  26. # You should have received a copy of the GNU General Public License
  27. # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  29. # Contributors / special thanks:
  30. # Thiago Alvarenga Lechuga <thiagoalz@gmail.com> for his work on the 'Windows CLI' and the 'folder search'
  31. # jeroenvdw for his work on the 'subtitles automatic selection' and the 'search by filename'
  32. # Gui13 for his work on the arguments parsing
  33. # Tomáš Hnyk <tomashnyk@gmail.com> for his work on the 'multiple language' feature
  34. # Carlos Acedo <carlos@linux-labs.net> for his work on the original script
  36. import os
  37. import re
  38. import sys
  39. import time
  40. import gzip
  41. import struct
  42. import argparse
  43. import mimetypes
  44. import subprocess
  46. if sys.version_info >= (3, 0):
  47.     import shutil
  48.     import urllib.request
  49.     from xmlrpc.client import ServerProxy, Error
  50. else: # python2
  51.     import urllib
  52.     from xmlrpclib import ServerProxy, Error
  54. # ==== Opensubtitles.org server settings =======================================
  56. # XML-RPC server domain for opensubtitles.org:
  57. osd_server = ServerProxy('https://api.opensubtitles.org/xml-rpc')
  59. # You can use your opensubtitles.org account to avoid "in-subtitles" advertisment
  60. # and bypass download limits. Be careful about your password security, it will be
  61. # stored right here in plain text... You can also change opensubtitles.org language,
  62. # it will be used for error codes and stuff.
  63. osd_username = ''
  64. osd_password = ''
  65. osd_language = 'en'
  67. # ==== Language settings =======================================================
  69. # 1/ Change the search language by using any supported 3-letter (ISO 639-2) language codes:
  70. #    > Supported ISO codes: https://www.opensubtitles.org/addons/export_languages.php
  71. # 2/ Search for subtitles in several languages at once by using multiple codes separated by a comma:
  72. #    > Exemple: opt_languages = ['eng,fre']
  73. opt_languages = ['eng']
  75. # Write 2-letter language code (ex: _en) at the end of the subtitles file. 'on', 'off' or 'auto'.
  76. # If you are regularly searching for several language at once, you sould use 'on'.
  77. opt_language_suffix = 'auto'
  78. opt_language_separator = '_'
  80. # ==== Search settings =========================================================
  82. # Subtitles search mode. Can be overridden at run time with '-s' argument.
  83. # - hash (search by hash)
  84. # - filename (search by filename)
  85. # - hash_then_filename (search by hash, then filename if no results)
  86. # - hash_and_filename (search using both methods)
  87. opt_search_mode = 'hash_then_filename'
  89. # Search and download a subtitles even if a subtitles file already exists.
  90. opt_search_overwrite = 'on'
  92. # Subtitles selection mode. Can be overridden at run time with '-t' argument.
  93. # - manual (always let you choose the subtitles you want)
  94. # - default (in case of multiple results, let you choose the subtitles you want)
  95. # - auto (automatically select the best subtitles found)
  96. opt_selection_mode = 'default'
  98. # Customize subtitles download path. Can be overridden at run time with '-o' argument.
  99. # By default, subtitles are downloaded next to their video file.
  100. opt_output_path = ''
  102. # ==== GUI settings ============================================================
  104. # Select your GUI. Can be overridden at run time with '--gui=xxx' argument.
  105. # - auto (autodetection, fallback on CLI)
  106. # - gnome (GNOME/GTK based environments, using 'zenity' backend)
  107. # - kde (KDE/Qt based environments, using 'kdialog' backend)
  108. # - cli (Command Line Interface)
  109. opt_gui = 'auto'
  111. # Change the subtitles selection GUI size:
  112. opt_gui_width  = 720
  113. opt_gui_height = 320
  115. # Various GUI options. You can set them to 'on', 'off' or 'auto'.
  116. opt_selection_hi       = 'auto'
  117. opt_selection_language = 'auto'
  118. opt_selection_match    = 'auto'
  119. opt_selection_rating   = 'off'
  120. opt_selection_count    = 'off'
  122. # ==== Exit codes ==============================================================
  124. # Exit code returned by the software. You can use them to improve scripting behaviours.
  125. # 0: Success, and subtitles downloaded
  126. # 1: Success, but no subtitles found
  127. # 2: Failure
  129. # ==== Super Print =============================================================
  130. # priority: info, warning, error
  131. # title: only for zenity and kdialog messages
  132. # message: full text, with tags and breaks (tags will be cleaned up for CLI)
  134. def superPrint(priority, title, message):
  135.     """Print messages through terminal, zenity or kdialog"""
  136.     if opt_gui == 'gnome':
  137.         subprocess.call(['zenity', '--width=' + str(opt_gui_width), '--' + priority, '--title=' + title, '--text=' + message])
  138.     elif opt_gui == 'kde':
  139.         # Adapt to kdialog
  140.         message = message.replace("\n", "<br>")
  141.         message = message.replace('\\"', '"')
  142.         if priority == 'warning':
  143.             priority = 'sorry'
  144.         elif priority == 'info':
  145.             priority = 'msgbox'
  147.         subprocess.call(['kdialog', '--geometry=' + str(opt_gui_width) + 'x' + str(opt_gui_height), '--title=' + title, '--' + priority + '=' + message])
  148.     else:
  149.         # Clean up formating tags from the zenity messages
  150.         message = message.replace("\n\n", "\n")
  151.         message = message.replace("<i>", "")
  152.         message = message.replace("</i>", "")
  153.         message = message.replace("<b>", "")
  154.         message = message.replace("</b>", "")
  155.         message = message.replace('\\"', '"')
  157.         print(">> " + message)
  159. # ==== Check file path & type ==================================================
  161. def checkFileValidity(path):
  162.     """Check mimetype and/or file extension to detect valid video file"""
  163.     if os.path.isfile(path) is False:
  164.         return False
  166.     fileMimeType, encoding = mimetypes.guess_type(path)
  167.     if fileMimeType is None:
  168.         fileExtension = path.rsplit('.', 1)
  169.         if fileExtension[1] not in ['avi', 'mp4', 'mov', 'mkv', 'mk3d', 'webm', \
  170.                                     'ts', 'mts', 'm2ts', 'ps', 'vob', 'evo', 'mpeg', 'mpg', \
  171.                                     'm1v', 'm2p', 'm2v', 'm4v', 'movhd', 'movx', 'qt', \
  172.                                     'mxf', 'ogg', 'ogm', 'ogv', 'rm', 'rmvb', 'flv', 'swf', \
  173.                                     'asf', 'wm', 'wmv', 'wmx', 'divx', 'x264', 'xvid']:
  174.             #superPrint("error", "File type error!", "This file is not a video (unknown mimetype AND invalid file extension):\n<i>" + path + "</i>")
  175.             return False
  176.     else:
  177.         fileMimeType = fileMimeType.split('/', 1)
  178.         if fileMimeType[0] != 'video':
  179.             #superPrint("error", "File type error!", "This file is not a video (unknown mimetype):\n<i>" + path + "</i>")
  180.             return False
  182.     return True
  184. # ==== Check for existing subtitles file =======================================
  186. def checkSubtitlesExists(path):
  187.     """Check if a subtitles already exists for the current file"""
  189.     for ext in ['srt', 'sub', 'sbv', 'smi', 'ssa', 'ass', 'usf']:
  190.         subPath = path.rsplit('.', 1)[0] + '.' + ext
  191.         if os.path.isfile(subPath) is True:
  192.             superPrint("info", "Subtitles already downloaded!", "A subtitles file already exists for this file:\n<i>" + subPath + "</i>")
  193.             return True
  194.         # With language code? Only check the first language (and probably using the wrong language suffix format)
  195.         if opt_language_suffix in ('on', 'auto'):
  196.             if len(opt_languages) == 1:
  197.                 splitted_languages_list = opt_languages[0].split(',')
  198.             else:
  199.                 splitted_languages_list = opt_languages
  200.             subPath = path.rsplit('.', 1)[0] + opt_language_separator + splitted_languages_list[0] + '.' + ext
  201.             if os.path.isfile(subPath) is True:
  202.                 superPrint("info", "Subtitles already downloaded!", "A subtitles file already exists for this file:\n<i>" + subPath + "</i>")
  203.                 return True
  205.     return False
  207. # ==== Hashing algorithm =======================================================
  208. # Info: https://trac.opensubtitles.org/projects/opensubtitles/wiki/HashSourceCodes
  209. # This particular implementation is coming from SubDownloader: https://subdownloader.net
  211. def hashFile(path):
  212.     """Produce a hash for a video file: size + 64bit chksum of the first and
  213.     last 64k (even if they overlap because the file is smaller than 128k)"""
  214.     try:
  215.         longlongformat = 'Q' # unsigned long long little endian
  216.         bytesize = struct.calcsize(longlongformat)
  217.         fmt = "<%d%s" % (65536//bytesize, longlongformat)
  219.         f = open(path, "rb")
  221.         filesize = os.fstat(f.fileno()).st_size
  222.         filehash = filesize
  224.         if filesize < 65536 * 2:
  225.             superPrint("error", "File size error!", "File size error while generating hash for this file:\n<i>" + path + "</i>")
  226.             return "SizeError"
  228.         buf = f.read(65536)
  229.         longlongs = struct.unpack(fmt, buf)
  230.         filehash += sum(longlongs)
  232.         f.seek(-65536, os.SEEK_END) # size is always > 131072
  233.         buf = f.read(65536)
  234.         longlongs = struct.unpack(fmt, buf)
  235.         filehash += sum(longlongs)
  236.         filehash &= 0xFFFFFFFFFFFFFFFF
  238.         f.close()
  239.         returnedhash = "%016x" % filehash
  240.         return returnedhash
  242.     except IOError:
  243.         superPrint("error", "I/O error!", "Input/Output error while generating hash for this file:\n<i>" + path + "</i>")
  244.         return "IOError"
  246. # ==== GNOME selection window ==================================================
  248. def selectionGnome(subtitlesList):
  249.     """GNOME subtitles selection window using zenity"""
  250.     subtitlesSelected = ''
  251.     subtitlesItems = ''
  252.     subtitlesMatchedByHash = 0
  253.     subtitlesMatchedByName = 0
  254.     columnHi = ''
  255.     columnLn = ''
  256.     columnMatch = ''
  257.     columnRate = ''
  258.     columnCount = ''
  260.     # Generate selection window content
  261.     for item in subtitlesList['data']:
  262.         if item['MatchedBy'] == 'moviehash':
  263.             subtitlesMatchedByHash += 1
  264.         else:
  265.             subtitlesMatchedByName += 1
  267.         subtitlesItems += '"' + item['SubFileName'] + '" '
  269.         if opt_selection_hi == 'on':
  270.             columnHi = '--column="HI" '
  271.             if item['SubHearingImpaired'] == '1':
  272.                 subtitlesItems += '"✔" '
  273.             else:
  274.                 subtitlesItems += '"" '
  275.         if opt_selection_language == 'on':
  276.             columnLn = '--column="Language" '
  277.             subtitlesItems += '"' + item['LanguageName'] + '" '
  278.         if opt_selection_match == 'on':
  279.             columnMatch = '--column="MatchedBy" '
  280.             if item['MatchedBy'] == 'moviehash':
  281.                 subtitlesItems += '"HASH" '
  282.             else:
  283.                 subtitlesItems += '"" '
  284.         if opt_selection_rating == 'on':
  285.             columnRate = '--column="Rating" '
  286.             subtitlesItems += '"' + item['SubRating'] + '" '
  287.         if opt_selection_count == 'on':
  288.             columnCount = '--column="Downloads" '
  289.             subtitlesItems += '"' + item['SubDownloadsCnt'] + '" '
  291.     if subtitlesMatchedByName == 0:
  292.         tilestr = ' --title="Subtitles for: ' + videoTitle + '"'
  293.         textstr = ' --text="<b>Video title:</b> ' + videoTitle + '\n<b>File name:</b> ' + videoFileName + '"'
  294.     elif subtitlesMatchedByHash == 0:
  295.         tilestr = ' --title="Subtitles for: ' + videoFileName + '"'
  296.         textstr = ' --text="Search results using file name, NOT video detection. <b>May be unreliable...</b>\n<b>File name:</b> ' + videoFileName + '" '
  297.     else: # a mix of the two
  298.         tilestr = ' --title="Subtitles for: ' + videoTitle + '"'
  299.         textstr = ' --text="Search results using file name AND video detection.\n<b>Video title:</b> ' + videoTitle + '\n<b>File name:</b> ' + videoFileName + '"'
  301.     # Spawn zenity "list" dialog
  302.     process_subtitlesSelection = subprocess.Popen('zenity --width=' + str(opt_gui_width) + ' --height=' + str(opt_gui_height) + ' --list' + tilestr + textstr \
  303.         + ' --column="Available subtitles" ' + columnHi + columnLn + columnMatch + columnRate + columnCount + subtitlesItems, shell=True, stdout=subprocess.PIPE)
  305.     # Get back the result
  306.     result_subtitlesSelection = process_subtitlesSelection.communicate()
  308.     # The results contain a subtitles?
  309.     if result_subtitlesSelection[0]:
  310.         if sys.version_info >= (3, 0):
  311.             subtitlesSelected = str(result_subtitlesSelection[0], 'utf-8').strip("\n")
  312.         else: # python2
  313.             subtitlesSelected = str(result_subtitlesSelection[0]).strip("\n")
  315.         # Hack against recent zenity version?
  316.         if len(subtitlesSelected.split("|")) > 1:
  317.             if subtitlesSelected.split("|")[0] == subtitlesSelected.split("|")[1]:
  318.                 subtitlesSelected = subtitlesSelected.split("|")[0]
  319.     else:
  320.         if process_subtitlesSelection.returncode == 0:
  321.             subtitlesSelected = subtitlesList['data'][0]['SubFileName']
  323.     # Return the result
  324.     return subtitlesSelected
  326. # ==== KDE selection window ====================================================
  328. def selectionKde(subtitlesList):
  329.     """KDE subtitles selection window using kdialog"""
  330.     subtitlesSelected = ''
  331.     subtitlesItems = ''
  332.     subtitlesMatchedByHash = 0
  333.     subtitlesMatchedByName = 0
  335.     # Generate selection window content
  336.     # TODO doesn't support additional columns
  337.     index = 0
  338.     for item in subtitlesList['data']:
  339.         if item['MatchedBy'] == 'moviehash':
  340.             subtitlesMatchedByHash += 1
  341.         else:
  342.             subtitlesMatchedByName += 1
  344.         # key + subtitles name
  345.         subtitlesItems += str(index) + ' "' + item['SubFileName'] + '" '
  346.         index += 1
  348.     if subtitlesMatchedByName == 0:
  349.         tilestr = ' --title="Subtitles for ' + videoTitle + '"'
  350.         menustr = ' --menu="<b>Video title:</b> ' + videoTitle + '<br><b>File name:</b> ' + videoFileName + '" '
  351.     elif subtitlesMatchedByHash == 0:
  352.         tilestr = ' --title="Subtitles for ' + videoFileName + '"'
  353.         menustr = ' --menu="Search results using file name, NOT video detection. <b>May be unreliable...</b><br><b>File name:</b> ' + videoFileName + '" '
  354.     else: # a mix of the two
  355.         tilestr = ' --title="Subtitles for ' + videoTitle + '" '
  356.         menustr = ' --menu="Search results using file name AND video detection.<br><b>Video title:</b> ' + videoTitle + '<br><b>File name:</b> ' + videoFileName + '" '
  358.     # Spawn kdialog "radiolist"
  359.     process_subtitlesSelection = subprocess.Popen('kdialog --geometry=' + str(opt_gui_width) + 'x' + str(opt_gui_height) + tilestr + menustr + subtitlesItems, shell=True, stdout=subprocess.PIPE)
  361.     # Get back the result
  362.     result_subtitlesSelection = process_subtitlesSelection.communicate()
  364.     # The results contain the key matching a subtitles?
  365.     if result_subtitlesSelection[0]:
  366.         if sys.version_info >= (3, 0):
  367.             keySelected = int(str(result_subtitlesSelection[0], 'utf-8').strip("\n"))
  368.         else: # python2
  369.             keySelected = int(str(result_subtitlesSelection[0]).strip("\n"))
  371.         subtitlesSelected = subtitlesList['data'][keySelected]['SubFileName']
  373.     # Return the result
  374.     return subtitlesSelected
  376. # ==== CLI selection mode ======================================================
  378. def selectionCLI(subtitlesList):
  379.     """Command Line Interface, subtitles selection inside your current terminal"""
  380.     subtitlesIndex = 0
  381.     subtitlesItem = ''
  383.     # Print video infos
  384.     print("\n>> Title: " + videoTitle)
  385.     print(">> Filename: " + videoFileName)
  387.     # Print subtitles list on the terminal
  388.     print(">> Available subtitles:")
  389.     for item in subtitlesList['data']:
  390.         subtitlesIndex += 1
  391.         subtitlesItem = '"' + item['SubFileName'] + '" '
  393.         if opt_selection_hi == 'on' and item['SubHearingImpaired'] == '1':
  394.             subtitlesItem += '> "HI" '
  395.         if opt_selection_language == 'on':
  396.             subtitlesItem += '> "Language: ' + item['LanguageName'] + '" '
  397.         if opt_selection_match == 'on':
  398.             subtitlesItem += '> "MatchedBy: ' + item['MatchedBy'] + '" '
  399.         if opt_selection_rating == 'on':
  400.             subtitlesItem += '> "SubRating: ' + item['SubRating'] + '" '
  401.         if opt_selection_count == 'on':
  402.             subtitlesItem += '> "SubDownloadsCnt: ' + item['SubDownloadsCnt'] + '" '
  404.         if item['MatchedBy'] == 'moviehash':
  405.             print("\033[92m[" + str(subtitlesIndex) + "]\033[0m " + subtitlesItem)
  406.         else:
  407.             print("\033[93m[" + str(subtitlesIndex) + "]\033[0m " + subtitlesItem)
  409.     # Ask user selection
  410.     print("\033[91m[0]\033[0m Cancel search")
  411.     sub_selection = -1
  412.     while(sub_selection < 0 or sub_selection > subtitlesIndex):
  413.         try:
  414.             if sys.version_info >= (3, 0):
  415.                 sub_selection = int(input(">> Enter your choice (0-" + str(subtitlesIndex) + "): "))
  416.             else: # python 2
  417.                 sub_selection = int(raw_input(">> Enter your choice (0-" + str(subtitlesIndex) + "): "))
  418.         except:
  419.             sub_selection = -1
  421.     # Return the result
  422.     if sub_selection == 0:
  423.         print("Cancelling search...")
  424.         return ""
  426.     return subtitlesList['data'][sub_selection-1]['SubFileName']
  428. # ==== Automatic selection mode ================================================
  430. def selectionAuto(subtitlesList):
  431.     """Automatic subtitles selection using filename match"""
  433.     if len(opt_languages) == 1:
  434.         splitted_languages_list = list(reversed(opt_languages[0].split(',')))
  435.     else:
  436.         splitted_languages_list = opt_languages
  438.     videoFileParts = videoFileName.replace('-', '.').replace(' ', '.').replace('_', '.').lower().split('.')
  439.     maxScore = -1
  441.     for subtitle in subtitlesList['data']:
  442.         score = 0
  443.         # points to respect languages priority
  444.         score += splitted_languages_list.index(subtitle['SubLanguageID']) * 100
  445.         # extra point if the sub is found by hash
  446.         if subtitle['MatchedBy'] == 'moviehash':
  447.             score += 1
  448.         # points for filename mach
  449.         subFileParts = subtitle['SubFileName'].replace('-', '.').replace(' ', '.').replace('_', '.').lower().split('.')
  450.         for subPart in subFileParts:
  451.             for filePart in videoFileParts:
  452.                 if subPart == filePart:
  453.                     score += 1
  454.         if score > maxScore:
  455.             maxScore = score
  456.             subtitlesSelected = subtitle['SubFileName']
  458.     return subtitlesSelected
  460. # ==== Check dependencies ======================================================
  462. def dependencyChecker():
  463.     """Check the availability of tools used as dependencies"""
  465.     if opt_gui != 'cli':
  466.         if sys.version_info >= (3, 3):
  467.             for tool in ['gunzip', 'wget']:
  468.                 path = shutil.which(tool)
  469.                 if path is None:
  470.                     superPrint("error", "Missing dependency!", "The <b>'" + tool + "'</b> tool is not available, please install it!")
  471.                     return False
  473.     return True
  475. # ==============================================================================
  476. # ==== Main program (execution starts here) ====================================
  477. # ==============================================================================
  479. ExitCode = 2
  481. # ==== Argument parsing
  483. # Get OpenSubtitlesDownload.py script absolute path
  484. if os.path.isabs(sys.argv[0]):
  485.     scriptPath = sys.argv[0]
  486. else:
  487.     scriptPath = os.getcwd() + "/" + str(sys.argv[0])
  489. # Setup ArgumentParser
  490. parser = argparse.ArgumentParser(prog='OpenSubtitlesDownload.py',
  491.                                  description='Automatically find and download the right subtitles for your favorite videos!',
  492.                                  formatter_class=argparse.RawTextHelpFormatter)
  494. parser.add_argument('--cli', help="Force CLI mode", action='store_true')
  495. parser.add_argument('-g', '--gui', help="Select the GUI you want from: auto, kde, gnome, cli (default: auto)")
  496. parser.add_argument('-l', '--lang', help="Specify the language in which the subtitles should be downloaded (default: eng).\nSyntax:\n-l eng,fre: search in both language\n-l eng -l fre: download both language", nargs='?', action='append')
  497. parser.add_argument('-i', '--skip', help="Skip search if an existing subtitles file is detected", action='store_true')
  498. parser.add_argument('-s', '--search', help="Search mode: hash, filename, hash_then_filename, hash_and_filename (default: hash_then_filename)")
  499. parser.add_argument('-t', '--select', help="Selection mode: manual, default, auto")
  500. parser.add_argument('-a', '--auto', help="Trigger automatic selection and download of the best subtitles found", action='store_true')
  501. parser.add_argument('-o', '--output', help="Override subtitles download path, instead of next their video file")
  503. parser.add_argument('filePathListArg', help="The video file(s) for which subtitles should be searched and downloaded", nargs='+')
  505. # Only use ArgumentParser if we have arguments...
  506. if len(sys.argv) > 1:
  507.     result = parser.parse_args()
  509.     # Handle results
  510.     if result.cli:
  511.         opt_gui = 'cli'
  512.     if result.gui:
  513.         opt_gui = result.gui
  514.     if result.search:
  515.         opt_search_mode = result.search
  516.     if result.skip:
  517.         opt_search_overwrite = 'off'
  518.     if result.select:
  519.         opt_selection_mode = result.select
  520.     if result.auto:
  521.         opt_selection_mode = 'auto'
  522.     if result.output:
  523.         opt_output_path = result.output
  524.     if result.lang:
  525.         if opt_languages != result.lang:
  526.             opt_languages = result.lang
  527.             opt_selection_language = 'on'
  528.             if opt_language_suffix != 'off':
  529.                 opt_language_suffix = 'on'
  531. # GUI auto detection
  532. if opt_gui == 'auto':
  533.     # Note: "ps cax" only output the first 15 characters of the executable's names
  534.     ps = str(subprocess.Popen(['ps', 'cax'], stdout=subprocess.PIPE).communicate()[0]).split('\n')
  535.     for line in ps:
  536.         if ('gnome-session' in line) or ('cinnamon-sessio' in line) or ('mate-session' in line) or ('xfce4-session' in line):
  537.             opt_gui = 'gnome'
  538.             break
  539.         elif 'ksmserver' in line:
  540.             opt_gui = 'kde'
  541.             break
  543. # Sanitize settings
  544. if opt_search_mode not in ['hash', 'filename', 'hash_then_filename', 'hash_and_filename']:
  545.     opt_search_mode = 'hash_then_filename'
  547. if opt_selection_mode not in ['manual', 'default', 'auto']:
  548.     opt_selection_mode = 'default'
  550. if opt_gui not in ['gnome', 'kde', 'cli']:
  551.     opt_gui = 'cli'
  552.     opt_search_mode = 'hash_then_filename'
  553.     opt_selection_mode = 'auto'
  554.     print("Unknown GUI, falling back to an automatic CLI mode")
  556. # ==== Check for the necessary tools (must be done after GUI auto detection)
  558. if dependencyChecker() is False:
  559.     sys.exit(2)
  561. # ==== Get valid video paths
  563. videoPathList = []
  565. if 'result' in locals():
  566.     # Go through the paths taken from arguments, and extract only valid video paths
  567.     for i in result.filePathListArg:
  568.         filePath = os.path.abspath(i)
  569.         if os.path.isdir(filePath):
  570.             # If it is a folder, check all of its files
  571.             for item in os.listdir(filePath):
  572.                 localPath = os.path.join(filePath, item)
  573.                 if checkFileValidity(localPath):
  574.                     videoPathList.append(localPath)
  575.         elif checkFileValidity(filePath):
  576.             # If it is a valid file, use it
  577.             videoPathList.append(filePath)
  578. else:
  579.     superPrint("error", "No file provided!", "No file provided!")
  580.     sys.exit(2)
  582. # If videoPathList is empty, abort!
  583. if not videoPathList:
  584.     parser.print_help()
  585.     sys.exit(1)
  587. # Check if the subtitles files already exists
  588. if opt_search_overwrite == 'off':
  589.     videoPathList = [path for path in videoPathList if not checkSubtitlesExists(path)]
  591.     # If videoPathList is empty, exit!
  592.     if not videoPathList:
  593.         sys.exit(1)
  595. # ==== Instances dispatcher ====================================================
  597. # The first video file will be processed by this instance
  598. videoPath = videoPathList[0]
  599. videoPathList.pop(0)
  601. # The remaining file(s) are dispatched to new instance(s) of this script
  602. for videoPathDispatch in videoPathList:
  604.     # Handle current options
  605.     command = sys.executable + " " + scriptPath + " -g " + opt_gui + " -s " + opt_search_mode + " -t " + opt_selection_mode
  606.     if not (len(opt_languages) == 1 and opt_languages[0] == 'eng'):
  607.         for resultlangs in opt_languages:
  608.             command += " -l " + resultlangs
  610.     # Split command string
  611.     command_splitted = command.split()
  612.     # The videoPath filename can contain spaces, but we do not want to split that, so add it right after the split
  613.     command_splitted.append(videoPathDispatch)
  615.     # Do not spawn too many instances at once
  616.     time.sleep(0.33)
  618.     if opt_gui == 'cli' and opt_selection_mode != 'auto':
  619.         # Synchronous call
  620.         process_videoDispatched = subprocess.call(command_splitted)
  621.     else:
  622.         # Asynchronous call
  623.         process_videoDispatched = subprocess.Popen(command_splitted)
  625. # ==== Search and download subtitles ===========================================
  627. try:
  628.     # ==== Connection to OpenSubtitlesDownload
  629.     try:
  630.         session = osd_server.LogIn(osd_username, osd_password, osd_language, 'opensubtitles-download 4.1')
  631.     except Exception:
  632.         # Retry once after a delay (could just be a momentary overloaded server?)
  633.         time.sleep(3)
  634.         try:
  635.             session = osd_server.LogIn(osd_username, osd_password, osd_language, 'opensubtitles-download 4.1')
  636.         except Exception:
  637.             superPrint("error", "Connection error!", "Unable to reach opensubtitles.org servers!\n\nPlease check:\n- Your Internet connection status\n- www.opensubtitles.org availability\n- Your downloads limit (200 subtitles per 24h)\n\nThe subtitles search and download service is powered by opensubtitles.org. Be sure to donate if you appreciate the service provided!")
  638.             sys.exit(2)
  640.     # Connection refused?
  641.     if session['status'] != '200 OK':
  642.         superPrint("error", "Connection error!", "Opensubtitles.org servers refused the connection: " + session['status'] + ".\n\nPlease check:\n- Your Internet connection status\n- www.opensubtitles.org availability\n- Your downloads limit (200 subtitles per 24h)\n\nThe subtitles search and download service is powered by opensubtitles.org. Be sure to donate if you appreciate the service provided!")
  643.         sys.exit(2)
  645.     # Count languages marked for this search
  646.     searchLanguage = 0
  647.     searchLanguageResult = 0
  648.     for SubLanguageID in opt_languages:
  649.         searchLanguage += len(SubLanguageID.split(','))
  651.     searchResultPerLanguage = [searchLanguage]
  653.     # ==== Get file hash, size and name
  654.     videoTitle = ''
  655.     videoHash = hashFile(videoPath)
  656.     videoSize = os.path.getsize(videoPath)
  657.     videoFileName = os.path.basename(videoPath)
  659.     # ==== Search for available subtitles on OpenSubtitlesDownload
  660.     for SubLanguageID in opt_languages:
  661.         searchList = []
  662.         subtitlesList = {}
  664.         if opt_search_mode in ('hash', 'hash_then_filename', 'hash_and_filename'):
  665.             searchList.append({'sublanguageid':SubLanguageID, 'moviehash':videoHash, 'moviebytesize':str(videoSize)})
  666.         if opt_search_mode in ('filename', 'hash_and_filename'):
  667.             searchList.append({'sublanguageid':SubLanguageID, 'query':videoFileName})
  669.         ## Primary search
  670.         try:
  671.             subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  672.         except Exception:
  673.             # Retry once after a delay (we are already connected, the server may be momentary overloaded)
  674.             time.sleep(3)
  675.             try:
  676.                 subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  677.             except Exception:
  678.                 superPrint("error", "Search error!", "Unable to reach opensubtitles.org servers!\n<b>Search error</b>")
  680.         #if (opt_search_mode == 'hash_and_filename'):
  681.         #    TODO Cleanup duplicate between moviehash and filename results
  683.         ## Fallback search
  684.         if ((opt_search_mode == 'hash_then_filename') and (('data' in subtitlesList) and (not subtitlesList['data']))):
  685.             searchList[:] = [] # searchList.clear()
  686.             searchList.append({'sublanguageid':SubLanguageID, 'query':videoFileName})
  687.             subtitlesList.clear()
  688.             try:
  689.                 subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  690.             except Exception:
  691.                 # Retry once after a delay (we are already connected, the server may be momentary overloaded)
  692.                 time.sleep(3)
  693.                 try:
  694.                     subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  695.                 except Exception:
  696.                     superPrint("error", "Search error!", "Unable to reach opensubtitles.org servers!\n<b>Search error</b>")
  698.         ## Parse the results of the XML-RPC query
  699.         if ('data' in subtitlesList) and (subtitlesList['data']):
  701.             # Mark search as successful
  702.             searchLanguageResult += 1
  703.             subtitlesSelected = ''
  705.             # If there is only one subtitles (matched by file hash), auto-select it (except in CLI mode)
  706.             if (len(subtitlesList['data']) == 1) and (subtitlesList['data'][0]['MatchedBy'] == 'moviehash'):
  707.                 if opt_selection_mode != 'manual':
  708.                     subtitlesSelected = subtitlesList['data'][0]['SubFileName']
  710.             # Get video title
  711.             videoTitle = subtitlesList['data'][0]['MovieName']
  713.             # Title and filename may need string sanitizing to avoid zenity/kdialog handling errors
  714.             if opt_gui != 'cli':
  715.                 videoTitle = videoTitle.replace('"', '\\"')
  716.                 videoTitle = videoTitle.replace("'", "\'")
  717.                 videoTitle = videoTitle.replace('`', '\`')
  718.                 videoTitle = videoTitle.replace("&", "&")
  719.                 videoFileName = videoFileName.replace('"', '\\"')
  720.                 videoFileName = videoFileName.replace("'", "\'")
  721.                 videoFileName = videoFileName.replace('`', '\`')
  722.                 videoFileName = videoFileName.replace("&", "&")
  724.             # If there is more than one subtitles and opt_selection_mode != 'auto',
  725.             # then let the user decide which one will be downloaded
  726.             if not subtitlesSelected:
  727.                 # Automatic subtitles selection?
  728.                 if opt_selection_mode == 'auto':
  729.                     subtitlesSelected = selectionAuto(subtitlesList)
  730.                 else:
  731.                     # Go through the list of subtitles and handle 'auto' settings activation
  732.                     for item in subtitlesList['data']:
  733.                         if opt_selection_match == 'auto':
  734.                             if opt_search_mode == 'hash_and_filename':
  735.                                 opt_selection_match = 'on'
  736.                         if opt_selection_language == 'auto':
  737.                             if searchLanguage > 1:
  738.                                 opt_selection_language = 'on'
  739.                         if opt_selection_hi == 'auto':
  740.                             if item['SubHearingImpaired'] == '1':
  741.                                 opt_selection_hi = 'on'
  742.                         if opt_selection_rating == 'auto':
  743.                             if item['SubRating'] != '0.0':
  744.                                 opt_selection_rating = 'on'
  745.                         if opt_selection_count == 'auto':
  746.                             opt_selection_count = 'on'
  748.                     # Spaw selection window
  749.                     if opt_gui == 'gnome':
  750.                         subtitlesSelected = selectionGnome(subtitlesList)
  751.                     elif opt_gui == 'kde':
  752.                         subtitlesSelected = selectionKde(subtitlesList)
  753.                     else: # CLI
  754.                         subtitlesSelected = selectionCLI(subtitlesList)
  756.             # If a subtitles has been selected at this point, download it!
  757.             if subtitlesSelected:
  758.                 subIndex = 0
  759.                 subIndexTemp = 0
  761.                 # Select the subtitles file to download
  762.                 for item in subtitlesList['data']:
  763.                     if item['SubFileName'] == subtitlesSelected:
  764.                         subIndex = subIndexTemp
  765.                         break
  766.                     else:
  767.                         subIndexTemp += 1
  769.                 subLangId = opt_language_separator  + subtitlesList['data'][subIndex]['ISO639']
  770.                 subLangName = subtitlesList['data'][subIndex]['LanguageName']
  771.                 subURL = subtitlesList['data'][subIndex]['SubDownloadLink']
  772.                 subEncoding = subtitlesList['data'][subIndex]['SubEncoding']
  773.                 subPath = videoPath.rsplit('.', 1)[0] + '.' + subtitlesList['data'][subIndex]['SubFormat']
  774.                 if opt_output_path and os.path.isdir(os.path.abspath(opt_output_path)):
  775.                     subPath = os.path.abspath(opt_output_path) + "/" + subPath.rsplit('/', 1)[1]
  777.                 # Write language code into the filename?
  778.                 if ((opt_language_suffix == 'on') or (opt_language_suffix == 'auto' and searchLanguageResult > 1)):
  779.                     subPath = videoPath.rsplit('.', 1)[0] + subLangId + '.' + subtitlesList['data'][subIndex]['SubFormat']
  781.                 # Escape non-alphanumeric characters from the subtitles path
  782.                 if opt_gui != 'cli':
  783.                     subPath = re.escape(subPath)
  785.                 # Make sure we are downloading an UTF8 encoded file
  786.                 downloadPos = subURL.find("download/")
  787.                 if downloadPos > 0:
  788.                     subURL = subURL[:downloadPos+9] + "subencoding-utf8/" + subURL[downloadPos+9:]
  790.                 ## Download and unzip the selected subtitles (with progressbar)
  791.                 if opt_gui == 'gnome':
  792.                     process_subtitlesDownload = subprocess.call("(wget -q -O - " + subURL + " | gunzip > " + subPath + ") 2>&1" + ' | (zenity --auto-close --progress --pulsate --title="Downloading subtitles, please wait..." --text="Downloading <b>' + subtitlesList['data'][subIndex]['LanguageName'] + '</b> subtitles for <b>' + videoTitle + '</b>...")', shell=True)
  793.                 elif opt_gui == 'kde':
  794.                     process_subtitlesDownload = subprocess.call("(wget -q -O - " + subURL + " | gunzip > " + subPath + ") 2>&1", shell=True)
  795.                 else: # CLI
  796.                     print(">> Downloading '" + subtitlesList['data'][subIndex]['LanguageName'] + "' subtitles for '" + videoTitle + "'")
  798.                     if sys.version_info >= (3, 0):
  799.                         tmpFile1, headers = urllib.request.urlretrieve(subURL)
  800.                         tmpFile2 = gzip.GzipFile(tmpFile1)
  801.                         byteswritten = open(subPath, 'wb').write(tmpFile2.read())
  802.                         if byteswritten > 0:
  803.                             process_subtitlesDownload = 0
  804.                         else:
  805.                             process_subtitlesDownload = 1
  806.                     else: # python 2
  807.                         tmpFile1, headers = urllib.urlretrieve(subURL)
  808.                         tmpFile2 = gzip.GzipFile(tmpFile1)
  809.                         open(subPath, 'wb').write(tmpFile2.read())
  810.                         process_subtitlesDownload = 0
  812.                 # If an error occurs, say so
  813.                 if process_subtitlesDownload != 0:
  814.                     superPrint("error", "Subtitling error!", "An error occurred while downloading or writing <b>" + subtitlesList['data'][subIndex]['LanguageName'] + "</b> subtitles for <b>" + videoTitle + "</b>.")
  815.                     osd_server.LogOut(session['token'])
  816.                     sys.exit(2)
  818.     ## Print a message if no subtitles have been found, for any of the languages
  819.     if searchLanguageResult == 0:
  820.         superPrint("info", "No subtitles available :-(", '<b>No subtitles found</b> for this video:\n<i>' + videoFileName + '</i>')
  821.         ExitCode = 1
  822.     else:
  823.         ExitCode = 0
  825. except (OSError, IOError, RuntimeError, TypeError, NameError, KeyError):
  827.     # Do not warn about remote disconnection # bug/feature of python 3.5?
  828.     if "http.client.RemoteDisconnected" in str(sys.exc_info()[0]):
  829.         sys.exit(ExitCode)
  831.     # An unknown error occur, let's apologize before exiting
  832.     superPrint("error", "Unexpected error!", "OpenSubtitlesDownload encountered an <b>unknown error</b>, sorry about that...\n\n" + \
  833.                "Error: <b>" + str(sys.exc_info()[0]).replace('<', '[').replace('>', ']') + "</b>\n" + \
  834.                "Line: <b>" + str(sys.exc_info()[-1].tb_lineno) + "</b>\n\n" + \
  835.                "Just to be safe, please check:\n- www.opensubtitles.org availability\n- Your downloads limit (200 subtitles per 24h)\n- Your Internet connection status\n- That are using the latest version of this software ;-)")
  837. except Exception:
  839.     # Catch unhandled exceptions but do not spawn an error window
  840.     print("Unexpected error (line " + str(sys.exc_info()[-1].tb_lineno) + "): " + str(sys.exc_info()[0]))
  842. # Disconnect from opensubtitles.org server, then exit
  843. if session and session['token']:
  844.     osd_server.LogOut(session['token'])
  846. sys.exit(ExitCode)

Все что ему нужно — указать файл для которого мы хотим найти сабы, и пару параметров отвечающих за сами сабы (язык, обновлять не обновлять и т.д.). Так как мы исходим из того, что торрент-файлы у нас качаются автоматически, то и этот скрипт применять к файлам лучше скриптом, добавленным в крон. Скрипт простецкий:

/etc/cron.daily/download-subtitle
 
  1. #!/bin/bash
  2. path="/share/torrents/xa/"
  3. download_sub="/opt/OpenSubtitlesDownload.py --cli --lang eng --lang rus --skip  --auto "
  4. rmd="rm -rf "
  5. find "${path}" -size  50M -type f  -exec ${download_sub} {} \;
  6. find "${path}" -empty -type d  -exec ${rmd} {} \;

Этот скрипт проверяет все файлы в нашем каталоге /share/torrents/xa/, находит файлы больше 50 мегабайт (потому что иногда в торрентах содержится не только видеофайл, но и какой-нибудь сопровождающий файл с описанием релиза, да и сами субтитры, которые скачались в прошлый раз, нас не интересуют) и натравливает на каждый их них скрипт поиска субтитров. Если субтитры указанных языков (русский английский) найдены — они скачиваются. Также скрипт удаляет пустые каталоги, которые иногда образуются лично у меня после переноса новых серий на постоянное место жительства.

В итоге

Мы получаем уютный сервачок, который сам по себе живет и поставляет к нашему столу свежие серии. Работает исправно на все 95%, осечки случаются, но как правило это связано с некорректным названием торрентов (рукожопы случаются) или отсутствием субтитров на opensubtitles (если я нахожу сабы на стороне, стараюсь их добавить и туда).

fail2ban не добавляет правила nftables (Ubuntu 16), чиним!

  Автор: | |
Комментарии к записи fail2ban не добавляет правила nftables (Ubuntu 16), чиним! отключены

Внезапно — в Ubuntu 16 корявый пакет fail2ban (10.2), которому не доложили конфигов! Поэтому ключевое:

 
 
  1. # идем куда нeдосыпали
  2. cd /etc/fail2ban/action.d/
  4. # бэкапим штатные (хоть и кривые) конфиги
  5. mv nftables-multiport.conf nftables-multiport.conf.bak
  6. mv nftables-allports.conf nftables-allports.conf.bak
  8. # качаем правильные конфиги
  9. wget https://raw.githubusercontent.com/fail2ban/fail2ban/master/config/action.d/nftables-allports.conf
  10. wget https://raw.githubusercontent.com/fail2ban/fail2ban/master/config/action.d/nftables-multiport.conf
  11. # вот этого вообще не было!:
  12. wget https://raw.githubusercontent.com/fail2ban/fail2ban/master/config/action.d/nftables.conf

 

Что я делал дальше:

  1. Убедился что у меня есть штатный конфиг «/etc/fail2ban/jail.conf», полученный копированием «jail.conf.dpkg-dist» с последующим вырезанием секции с тюрьмами (для них у меня «/jail.d/» есть и незачем их смешивать)
    /etc/fail2ban/jail.conf
     
    1. #
    2. # WARNING: heavily refactored in 0.9.0 release. Please review and
    3. # customize settings for your setup.
    4. #
    5. # Changes: in most of the cases you should not modify this
    6. # file, but provide customizations in jail.local file,
    7. # or separate .conf files under jail.d/ directory, e.g.:
    8. #
    9. # HOW TO ACTIVATE JAILS:
    10. #
    11. # YOU SHOULD NOT MODIFY THIS FILE.
    12. #
    13. # It will probably be overwritten or improved in a distribution update.
    14. #
    15. # Provide customizations in a jail.local file or a jail.d/customisation.local.
    16. # For example to change the default bantime for all jails and to enable the
    17. # ssh-iptables jail the following (uncommented) would appear in the .local file.
    18. # See man 5 jail.conf for details.
    19. #
    20. # [DEFAULT]
    21. # bantime = 1h
    22. #
    23. # [sshd]
    24. # enabled = true
    25. #
    26. # See jail.conf(5) man page for more information
    27. # Comments: use '#' for comment lines and ';' (following a space) for inline comments
    28. [INCLUDES]
    29. #before = paths-distro.conf
    30. before = paths-debian.conf
    31. # The DEFAULT allows a global definition of the options. They can be overridden
    32. # in each jail afterwards.
    33. [DEFAULT]
    34. #
    35. # MISCELLANEOUS OPTIONS
    36. #
    37. # "ignorself" specifies whether the local resp. own IP addresses should be ignored
    38. # (default is true). Fail2ban will not ban a host which matches such addresses.
    39. #ignorself = true
    40. # "ignoreip" can be a list of IP addresses, CIDR masks or DNS hosts. Fail2ban
    41. # will not ban a host which matches an address in this list. Several addresses
    42. # can be defined using space (and/or comma) separator.
    43. #ignoreip = 127.0.0.1/8 ::1
    44. # External command that will take an tagged arguments to ignore, e.g. <ip>,
    45. # and return true if the IP is to be ignored. False otherwise.
    46. #
    47. # ignorecommand = /path/to/command <ip>
    48. ignorecommand =
    49. # "bantime" is the number of seconds that a host is banned.
    50. bantime = 10m
    51. # A host is banned if it has generated "maxretry" during the last "findtime"
    52. # seconds.
    53. findtime = 10m
    54. # "maxretry" is the number of failures before a host get banned.
    55. maxretry = 5
    56. # "backend" specifies the backend used to get files modification.
    57. # Available options are "pyinotify", "gamin", "polling", "systemd" and "auto".
    58. # This option can be overridden in each jail as well.
    59. #
    60. # pyinotify: requires pyinotify (a file alteration monitor) to be installed.
    61. # If pyinotify is not installed, Fail2ban will use auto.
    62. # gamin: requires Gamin (a file alteration monitor) to be installed.
    63. # If Gamin is not installed, Fail2ban will use auto.
    64. # polling: uses a polling algorithm which does not require external libraries.
    65. # systemd: uses systemd python library to access the systemd journal.
    66. # Specifying "logpath" is not valid for this backend.
    67. # See "journalmatch" in the jails associated filter config
    68. # auto: will try to use the following backends, in order:
    69. # pyinotify, gamin, polling.
    70. #
    71. # Note: if systemd backend is chosen as the default but you enable a jail
    72. # for which logs are present only in its own log files, specify some other
    73. # backend for that jail (e.g. polling) and provide empty value for
    74. # journalmatch. See https://github.com/fail2ban/fail2ban/issues/959#issuecomment-74901200
    75. backend = auto
    76. # "usedns" specifies if jails should trust hostnames in logs,
    77. # warn when DNS lookups are performed, or ignore all hostnames in logs
    78. #
    79. # yes: if a hostname is encountered, a DNS lookup will be performed.
    80. # warn: if a hostname is encountered, a DNS lookup will be performed,
    81. # but it will be logged as a warning.
    82. # no: if a hostname is encountered, will not be used for banning,
    83. # but it will be logged as info.
    84. # raw: use raw value (no hostname), allow use it for no-host filters/actions (example user)
    85. usedns = warn
    86. # "logencoding" specifies the encoding of the log files handled by the jail
    87. # This is used to decode the lines from the log file.
    88. # Typical examples: "ascii", "utf-8"
    89. #
    90. # auto: will use the system locale setting
    91. logencoding = auto
    92. # "enabled" enables the jails.
    93. # By default all jails are disabled, and it should stay this way.
    94. # Enable only relevant to your setup jails in your .local or jail.d/*.conf
    95. #
    96. # true: jail will be enabled and log files will get monitored for changes
    97. # false: jail is not enabled
    98. enabled = false
    99. # "mode" defines the mode of the filter (see corresponding filter implementation for more info).
    100. mode = normal
    101. # "filter" defines the filter to use by the jail.
    102. # By default jails have names matching their filter name
    103. #
    104. filter = %(__name__)s[mode=%(mode)s]
    105. #
    106. # ACTIONS
    107. #
    108. # Some options used for actions
    109. # Destination email address used solely for the interpolations in
    110. # jail.{conf,local,d/*} configuration files.
    111. destemail = root@localhost
    112. # Sender email address used solely for some actions
    113. sender = root@<fq-hostname>
    114. # E-mail action. Since 0.8.1 Fail2Ban uses sendmail MTA for the
    115. # mailing. Change mta configuration parameter to mail if you want to
    116. # revert to conventional 'mail'.
    117. mta = sendmail
    118. # Default protocol
    119. protocol = tcp
    120. # Specify chain where jumps would need to be added in ban-actions expecting parameter chain
    121. chain = <known/chain>
    122. # Ports to be banned
    123. # Usually should be overridden in a particular jail
    124. port = 0:65535
    125. # Format of user-agent https://tools.ietf.org/html/rfc7231#section-5.5.3
    126. fail2ban_agent = Fail2Ban/%(fail2ban_version)s
    127. #
    128. # Action shortcuts. To be used to define action parameter
    129. # Default banning action (e.g. iptables, iptables-new,
    130. # iptables-multiport, shorewall, etc) It is used to define
    131. # action_* variables. Can be overridden globally or per
    132. # section within jail.local file
    133. banaction = nftables-multiport
    134. banaction_allports = nftables-allports
    135. # The simplest action to take: ban only
    136. action_ = %(banaction)s[name=%(__name__)s, bantime="%(bantime)s", port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]
    137. # ban & send an e-mail with whois report to the destemail.
    138. action_mw = %(banaction)s[name=%(__name__)s, bantime="%(bantime)s", port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]
    139. %(mta)s-whois[name=%(__name__)s, sender="%(sender)s", dest="%(destemail)s", protocol="%(protocol)s", chain="%(chain)s"]
    140. # ban & send an e-mail with whois report and relevant log lines
    141. # to the destemail.
    142. action_mwl = %(banaction)s[name=%(__name__)s, bantime="%(bantime)s", port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]
    143. %(mta)s-whois-lines[name=%(__name__)s, sender="%(sender)s", dest="%(destemail)s", logpath=%(logpath)s, chain="%(chain)s"]
    144. # See the IMPORTANT note in action.d/xarf-login-attack for when to use this action
    145. #
    146. # ban & send a xarf e-mail to abuse contact of IP address and include relevant log lines
    147. # to the destemail.
    148. action_xarf = %(banaction)s[name=%(__name__)s, bantime="%(bantime)s", port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]
    149. xarf-login-attack[service=%(__name__)s, sender="%(sender)s", logpath=%(logpath)s, port="%(port)s"]
    150. # ban IP on CloudFlare & send an e-mail with whois report and relevant log lines
    151. # to the destemail.
    152. action_cf_mwl = cloudflare[cfuser="%(cfemail)s", cftoken="%(cfapikey)s"]
    153. %(mta)s-whois-lines[name=%(__name__)s, sender="%(sender)s", dest="%(destemail)s", logpath=%(logpath)s, chain="%(chain)s"]
    154. # Report block via blocklist.de fail2ban reporting service API
    155. #
    156. # See the IMPORTANT note in action.d/blocklist_de.conf for when to use this action.
    157. # Specify expected parameters in file action.d/blocklist_de.local or if the interpolation
    158. # `action_blocklist_de` used for the action, set value of `blocklist_de_apikey`
    159. # in your `jail.local` globally (section [DEFAULT]) or per specific jail section (resp. in
    160. # corresponding jail.d/my-jail.local file).
    161. #
    162. action_blocklist_de = blocklist_de[email="%(sender)s", service=%(filter)s, apikey="%(blocklist_de_apikey)s", agent="%(fail2ban_agent)s"]
    163. # Report ban via badips.com, and use as blacklist
    164. #
    165. # See BadIPsAction docstring in config/action.d/badips.py for
    166. # documentation for this action.
    167. #
    168. # NOTE: This action relies on banaction being present on start and therefore
    169. # should be last action defined for a jail.
    170. #
    171. action_badips = badips.py[category="%(__name__)s", banaction="%(banaction)s", agent="%(fail2ban_agent)s"]
    172. #
    173. # Report ban via badips.com (uses action.d/badips.conf for reporting only)
    174. #
    175. action_badips_report = badips[category="%(__name__)s", agent="%(fail2ban_agent)s"]
    176. # Report ban via abuseipdb.com.
    177. #
    178. # See action.d/abuseipdb.conf for usage example and details.
    179. #
    180. action_abuseipdb = abuseipdb
    181. # Choose default action. To change, just override value of 'action' with the
    182. # interpolation to the chosen action shortcut (e.g. action_mw, action_mwl, etc) in jail.local
    183. # globally (section [DEFAULT]) or per specific section
    184. action = %(action_)s
  2. Создал файл «/etc/fail2ban/jail.local», который читается после «/etc/fail2ban/jail.conf» и служит для переопределения параметров
    /etc/fail2ban/jail.local
     
    1. [DEFAULT]
    2. banaction = nftables-multiport
    3. banaction_allports = nftables-allports

Все! В инете есть еще варианты назначить конкретную таблицу для правил f2b, но вот с такой конфигурацией он и сам прекрасно добавляет таблицу имени себя:

 
 
  1. table inet f2b-table {
  2.         set addr-set-sshd {
  3.                 type ipv4_addr
  4.                 elements = { 31.220.1.210, 37.49.226.161 }
  5.         }
  7.         set addr-set-wp-qiwichupa-net {
  8.                 type ipv4_addr
  9.                 elements = { 34.76.172.157, 34.82.91.206,
  10.                              35.183.87.236, 35.220.162.15 }
  11.         }
  13.         chain f2b-chain {
  14.                 type filter hook input priority -1; policy accept;
  15.                 tcp dport { ssh } ip saddr @addr-set-sshd reject
  16.                 tcp dport { http, https } ip saddr @addr-set-wp-qiwichupa-net reject
  17.         }
  18. }

Единственное что имеет смысл, создать файлик /etc/fail2ban/action.d/nftables-common.local:

 
 
  1. [Init]
  2. blocktype = drop

Он также будет читаться как конфиг nftables и заставит дропать, а не реджектить пакеты с заблокированных айпишников.

И на эту дичь было убито 4 часа -_-

Разворачивание syslog-сервера с веб-интерфейсом

  Автор: | |
2 комментария

Невероятно странно, но попытки нагуглить хоть какой-нибудь веб-интерфейс для сислога приводят в основном в дебри топов коммерческих интерфейсов, среди которых, может, и есть бесплатные версии, но будьте любезны сами ковыряться и  разбираться насколько оно убого или нет, и какой функционал там порезан.

Мне же от вебморды много не надо — мне надо чтобы она лог показывала,  фильтры имела, и было бы неплохо чтобы составляла с сервером полностью FOSS-решение. И сам я давно уже использую под это дело LogAnalyzer, который с поставленной задачей — презентовать лог сислог-сервера, собирающего в базу данных логи с различного оборудования — справляется весьма неплохо.

И так как в целом задача развертывания сислог-сервера с веб-мордой не решается автоматически установкой какого-нибудь пакета в этом нашем дебиане, я решил во-первых написать скрипт, который сделает все за вас, ну а попутно еще расписать как в целом все это инсталлируется и настраивается руками.

Итак, скрипт писался и проверялся на Debian 10 «Buster», его актуальная версия находится на гитхабе, а текущую я оставлю здесь:

loganalyzer_install.sh
 
  1. #!/bin/bash
  2. # Syslog server with web interface for Debian 10
  3. # LAMP + phpmyadmin + rsyslog + Log Analyzer
  5. PHPMYADMINUSER="pma"
  6. PHPMYADMINPASS="321"
  7. SYSLOGDBPASSWORD="Qwerty"
  8. PMAVER="4.9.2"
  9. LAVERSION="4.1.7"
  11. export LANG="en_US.UTF-8"
  15. function check_packages {
  16.     notinstalled=""
  17.     if [ $# -eq 0 ]; then echo "Package name(s) required"; fi
  18.     if [ $# -gt 0 ]; then
  19.         for packagename in $@; do
  20.             if [[ "" == $(dpkg-query  -W --showformat='${Status}\n' ${packagename}  2>&1 | grep "install ok") ]]; then
  21.                 notinstalled=${notinstalled}${packagename}" "
  22.             fi
  23.         done
  24.     fi
  25.     if [[ "" == ${notinstalled} ]]; then
  26.         echo "true"
  27.     else
  28.         echo "${notinstalled}"
  29.     fi
  30. }
  34. ######## MARIA DB
  35. function check_sql {
  36.     if [[ "true" != $( check_packages  mariadb-server ) && "true" != $( check_packages  mysql-server) ]]; then
  37.         echo "false"
  38.     fi
  39.     if  [[ "true" == $( check_packages  mariadb-server ) ]]; then echo "mariadb"; fi
  40.     if  [[ "true" == $( check_packages  mysql-server ) ]]; then echo "mysql"; fi
  41. }
  43. function install_sql {
  44.     apt -y install mariadb-server
  45. #    mysql -uroot -e "UPDATE mysql.user SET Password=PASSWORD('${MYSQLROOTPASS}') WHERE User='root';\
  46. #    DELETE FROM mysql.user WHERE User='';\
  47. #    DELETE FROM mysql.user WHERE User='root' AND Host NOT IN ('localhost', '127.0.0.1', '::1');\
  48. #    DROP DATABASE test;\
  49. #    DELETE FROM mysql.db WHERE Db='test' OR Db='test\_%';\
  50. #    FLUSH PRIVILEGES;"
  51. }
  56. ######### PHP
  57. function check_php {
  58.     phpnotinstalled=$( check_packages php libapache2-mod-php php-mysql php-common php-cli  php-json php-gd php-opcache php-readline php-mbstring )
  59.     if [[ "true" != ${phpnotinstalled} ]]; then
  60.         echo "${phpnotinstalled}"
  61.     else
  62.         echo "true"
  63.     fi
  64. }
  67. ######### PHPMYADMIN
  68. function check_phpmyadmin {
  69.     if [[ ! -d /usr/share/phpmyadmin/ ]]; then
  70.         echo "false"
  71.     fi
  72. }
  74. function install_phpmyadmin {
  75. IFS='' read -r -d '' SITECONFIG  <<"EOF"
  76. Alias /phpmyadmin /usr/share/phpmyadmin
  78. <Directory /usr/share/phpmyadmin>
  79.     Options SymLinksIfOwnerMatch
  80.     DirectoryIndex index.php
  82.     <IfModule mod_php5.c>
  83.         <IfModule mod_mime.c>
  84.             AddType application/x-httpd-php .php
  85.         </IfModule>
  86.         <FilesMatch ".+\.php$">
  87.             SetHandler application/x-httpd-php
  88.         </FilesMatch>
  90.         php_value include_path .
  91.         php_admin_value upload_tmp_dir /var/lib/phpmyadmin/tmp
  92.         php_admin_value open_basedir /usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/:/usr/share/php/php-gettext/:/usr/share/php/php-php-gettext/:/usr/share/javascript/:/usr/share/php/tcpdf/:/usr/share/doc/phpmyadmin/:/usr/share/php/phpseclib/
  93.         php_admin_value mbstring.func_overload 0
  94.     </IfModule>
  95.     <IfModule mod_php.c>
  96.         <IfModule mod_mime.c>
  97.             AddType application/x-httpd-php .php
  98.         </IfModule>
  99.         <FilesMatch ".+\.php$">
  100.             SetHandler application/x-httpd-php
  101.         </FilesMatch>
  103.         php_value include_path .
  104.         php_admin_value upload_tmp_dir /var/lib/phpmyadmin/tmp
  105.         php_admin_value open_basedir /usr/share/phpmyadmin/:/etc/phpmyadmin/:/var/lib/phpmyadmin/:/usr/share/php/php-gettext/:/usr/share/php/php-php-gettext/:/usr/share/javascript/:/usr/share/php/tcpdf/:/usr/share/doc/phpmyadmin/:/usr/share/php/phpseclib/
  106.         php_admin_value mbstring.func_overload 0
  107.     </IfModule>
  109. </Directory>
  111. # Authorize for setup
  112. <Directory /usr/share/phpmyadmin/setup>
  113.     <IfModule mod_authz_core.c>
  114.         <IfModule mod_authn_file.c>
  115.             AuthType Basic
  116.             AuthName "phpMyAdmin Setup"
  117.             AuthUserFile /etc/phpmyadmin/htpasswd.setup
  118.         </IfModule>
  119.         Require valid-user
  120.     </IfModule>
  121. </Directory>
  123. # Disallow web access to directories that don't need it
  124. <Directory /usr/share/phpmyadmin/templates>
  125.     Require all denied
  126. </Directory>
  127. <Directory /usr/share/phpmyadmin/libraries>
  128.     Require all denied
  129. </Directory>
  130. <Directory /usr/share/phpmyadmin/setup/lib>
  131.     Require all denied
  132. </Directory>
  133. EOF
  136. if [ ! -f phpMyAdmin-${PMAVER}-all-languages.tar.gz ]; then wget https://files.phpmyadmin.net/phpMyAdmin/${PMAVER}/phpMyAdmin-${PMAVER}-all-languages.tar.gz; fi
  137. tar -xf phpMyAdmin-${PMAVER}-all-languages.tar.gz
  138. mkdir /usr/share/phpmyadmin
  139. cp -r phpMyAdmin-${PMAVER}-all-languages/* /usr/share/phpmyadmin
  140. mkdir -p /var/lib/phpmyadmin/tmp
  141. chown -R www-data:www-data /var/lib/phpmyadmin
  142. mkdir /etc/phpmyadmin/
  143. cp /usr/share/phpmyadmin/config.sample.inc.php  /usr/share/phpmyadmin/config.inc.php
  144. ln -s /usr/share/phpmyadmin/config.inc.php /etc/phpmyadmin/
  146. echo "\$cfg['TempDir'] ='/var/lib/phpmyadmin/tmp';" >> /usr/share/phpmyadmin/config.inc.php
  147. r="\$cfg\['blowfish_secret'\] = '"
  148. sed -i  "s/${r}/${r}$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c 32)/g" /usr/share/phpmyadmin/config.inc.php
  152. echo "$SITECONFIG" >  /etc/apache2/sites-available/phpmyadmin.conf
  153. ln -s /etc/apache2/sites-available/phpmyadmin.conf /etc/apache2/sites-enabled/
  154. service  apache2 restart
  155. mysql -uroot -e "use mysql; CREATE USER ${PHPMYADMINUSER}@localhost IDENTIFIED BY '${PHPMYADMINPASS}'; GRANT ALL ON *.* TO ${PHPMYADMINUSER}@localhost WITH GRANT OPTION;"
  156. service mysql restart
  158. }
  161. ######### SYSLOG
  163. function install_rsyslog_mysql {
  164. debconf-set-selections << END
  165. rsyslog-mysql      rsyslog-mysql/mysql/admin-pass      password
  166. # MySQL application password for rsyslog-mysql:
  167. rsyslog-mysql      rsyslog-mysql/mysql/app-pass      password ${SYSLOGDBPASSWORD}
  168. rsyslog-mysql      rsyslog-mysql/password-confirm      password ${SYSLOGDBPASSWORD}
  169. rsyslog-mysql      rsyslog-mysql/app-password-confirm      password ${SYSLOGDBPASSWORD}
  170. # MySQL username for rsyslog-mysql:
  171. rsyslog-mysql      rsyslog-mysql/db/app-user      string      rsyslog@localhost
  172. # Back up the database for rsyslog-mysql before upgrading?
  173. rsyslog-mysql      rsyslog-mysql/upgrade-backup      boolean      true
  174. # Host running the MySQL server for rsyslog-mysql:
  175. rsyslog-mysql      rsyslog-mysql/remote/newhost      string
  176. # MySQL database name for rsyslog-mysql:
  177. rsyslog-mysql      rsyslog-mysql/db/dbname      string      Syslog
  178. # Reinstall database for rsyslog-mysql?
  179. rsyslog-mysql      rsyslog-mysql/dbconfig-reinstall      boolean      false
  180. rsyslog-mysql      rsyslog-mysql/missing-db-package-error      select      abort
  181. rsyslog-mysql      rsyslog-mysql/remote/port      string
  182. # Perform upgrade on database for rsyslog-mysql with dbconfig-common?
  183. rsyslog-mysql      rsyslog-mysql/dbconfig-upgrade      boolean      true
  184. # Host name of the MySQL database server for rsyslog-mysql:
  185. rsyslog-mysql      rsyslog-mysql/remote/host      select      localhost
  186. # Deconfigure database for rsyslog-mysql with dbconfig-common?
  187. rsyslog-mysql      rsyslog-mysql/dbconfig-remove      boolean      true
  188. # Database type to be used by rsyslog-mysql:
  189. rsyslog-mysql      rsyslog-mysql/database-type      select      mysql
  190. rsyslog-mysql      rsyslog-mysql/upgrade-error      select      abort
  191. rsyslog-mysql      rsyslog-mysql/remove-error      select      abort
  192. rsyslog-mysql      rsyslog-mysql/install-error      select      abort
  193. rsyslog-mysql      rsyslog-mysql/passwords-do-not-match      error
  194. rsyslog-mysql      rsyslog-mysql/internal/skip-preseed      boolean      false
  195. # Delete the database for rsyslog-mysql?
  196. rsyslog-mysql      rsyslog-mysql/purge      boolean      false
  197. # Connection method for MySQL database of rsyslog-mysql:
  198. rsyslog-mysql      rsyslog-mysql/mysql/method      select      Unix socket
  199. rsyslog-mysql      rsyslog-mysql/mysql/admin-user      string      root
  200. rsyslog-mysql      rsyslog-mysql/internal/reconfiguring      boolean      false
  201. # Configure database for rsyslog-mysql with dbconfig-common?
  202. rsyslog-mysql      rsyslog-mysql/dbconfig-install      boolean      true
  203. END
  204. DEBIAN_FRONTEND=noninteractive apt-get install -y rsyslog-mysql
  206. echo "Creating /etc/rsyslog.d/enable-remote.conf"
  207. echo "module(load=\"imudp\")" > /etc/rsyslog.d/enable-remote.conf
  208. echo "input(type=\"imudp\" port=\"514\")" >> /etc/rsyslog.d/enable-remote.conf
  209. echo "module(load=\"imtcp\")" >> /etc/rsyslog.d/enable-remote.conf
  210. echo "input(type=\"imtcp\" port=\"514\")" >> /etc/rsyslog.d/enable-remote.conf
  211. service rsyslog restart
  213. echo "17 2     * * *     root mysql -uroot -e 'use Syslog; DELETE FROM SystemEvents WHERE ReceivedAt < DATE_SUB(CURRENT_TIMESTAMP, INTERVAL 365 DAY);'" > /etc/cron.d/rsyslog_mysql
  215. #mysql -uroot -e "CREATE DATABASE Syslog_template;"
  216. #mysqldump -uroot Syslog > /tmp/sql.sql
  217. #mysql -uroot Syslog_template < /tmp/sql.sql
  218. #mysql -uroot -e "TRUNCATE TABLE Syslog_template.SystemEvents"
  219. }
  221. ######### LOG ANALYZER
  222. function install_loganalyzer {
  223. if [ ! -f loganalyzer-${LAVERSION}.tar.gz ]; then wget http://download.adiscon.com/loganalyzer/loganalyzer-${LAVERSION}.tar.gz; fi
  224. tar -xf loganalyzer-${LAVERSION}.tar.gz
  225. cp -r loganalyzer-${LAVERSION}/src/* /var/www/html/
  226. rm -rf ./loganalyzer-${LAVERSION}/
  227. rm /var/www/html/index.html
  228. chown www-data:www-data -R /var/www/html/
  230. #create new db for loganalyzer user and settings with rsyslog user as admin
  231. mysql -uroot -e "create database loganalyzer; grant all privileges on loganalyzer.* to rsyslog@localhost"
  233. #disable new version check during logon into admin panel
  234. r="\$content\['UPDATEURL'\] = \"http://loganalyzer.adiscon.com/files/version.txt\";"
  235. sed -i  "s|${r}|\$content\['UPDATEURL'\] = \"\";|g"  /var/www/html/include/functions_common.php
  236. }
  239. ####
  240. ## MAIN
  241. ####
  242. instaldebconf="false"
  243. installmariadb="false"
  244. installapache="false"
  245. installphp="false"
  246. instalphpmyadmin="false"
  247. installrsyslog="false"
  250. printf "Checking debconf-utils..."
  251. check=$( check_packages debconf-utils )
  252. if [[ $check != "true" ]]; then
  253.     echo "......will be installed"
  254.     instaldebconf="true"
  255. else
  256.     echo "......found!"
  257. fi
  259. printf "Checking sql..."
  260. check=$( check_sql )
  261. case ${check} in
  262.     false)
  263.         echo "................will be installed: MariaDB"
  264.         installmariadb="true"
  265.         ;;
  266.     mysql)
  267.         echo "................MySQL found, it will be used during installation"
  268.         ;;
  269.     mariadb)
  270.         echo "................MariaDB found, it will be used during installation"
  271.         ;;
  272. esac
  274. printf "Checking apache..."
  275. check=$( check_packages apache2 )
  276. if [[ $check != "true" ]]; then
  277.     echo ".............will be installed"
  278.     installapache="true"
  279. else
  280.     echo ".............found!"
  281. fi
  284. printf "Checking php..."
  285. check=$( check_php )
  286. if [[ $check != "true" ]]; then
  287.     echo "................will be installed: ${check}"
  288.     installphp="true"
  289.     phptoinstall=${check}
  290. else
  291.     echo "................found!"
  292. fi
  294. printf "Checking rsyslog-mysql..."
  295. check=$( check_packages rsyslog-mysql )
  296. if [[ $check != "true" ]]; then
  297.     echo "......will be installed"
  298.     installrsyslog="true"
  299. else
  300.     echo "......found!"
  301. fi
  304. printf "Checking phpmyadmin..."
  305. check=$( check_phpmyadmin )
  306. if [[ $check == "false" ]]; then
  307.     echo ".........not found in /usr/share/phpmyadmin/"
  308.     echo
  309.     while true; do
  310.         read -p "Do you wish to install phpmyadmin? (y/n): " yn
  311.         case $yn in
  312.             [Yy] ) instalphpmyadmin="true"; break;;
  313.             [Nn] ) break;;
  314.             * ) echo "Please answer [y]es or [n]o.";;
  315.         esac
  316.     done
  317. else
  318.     echo ".........found!"
  319. fi
  322. echo
  323. echo "This file(s) should be downloaded:"
  324. if [[ ${instalphpmyadmin} != "false" ]]; then echo "https://files.phpmyadmin.net/phpMyAdmin/${PMAVER}/phpMyAdmin-${PMAVER}-all-languages.tar.gz" ; fi
  325. echo "http://download.adiscon.com/loganalyzer/loganalyzer-${LAVERSION}.tar.gz"
  326. echo "You can place this file(s) into current directory manually if you have not an Internet connection."
  327. echo "Debian repository must be accessible!"
  329. echo
  330. read -p "Ok, let's do it. Press ENTER to install, CTRL-C - to abort."
  334. # INSTALL
  335. apt update
  336. if [[ ${instaldebconf} != "false" ]]; then apt -y install debconf-utils ; fi
  337. if [[ ${installmariadb} != "false" ]]; then install_sql ; fi
  338. if [[ ${installapache} != "false" ]]; then apt -y install apache2 ; fi
  339. if [[ ${installphp} != "false" ]]; then  apt -y install ${phptoinstall} ; fi
  340. if [[ ${installrsyslog} != "false" ]]; then  install_rsyslog_mysql  ; fi
  342. installrsyslog
  343. if [[ ${instalphpmyadmin} != "false" ]]; then install_phpmyadmin ; fi
  344. install_loganalyzer
  346. serverip=$(ip addr show | grep -o "inet [0-9]*\.[0-9]*\.[0-9]*\.[0-9]*" | grep -o "[0-9]*\.[0-9]*\.[0-9]*\.[0-9]*" | grep -v "^127.0.0.1" | head -n 1)
  347. echo
  348. echo
  349. echo Installation complete
  350. echo
  351. if [[ ${instalphpmyadmin} != "false" ]]; then
  352.     echo "phpmyadmin address: http://${serverip}/phpmyadmin"
  353.     echo "             login:${PHPMYADMINUSER}"
  354.     echo "          password:${PHPMYADMINPASS}"
  355.     echo
  356. fi
  357. echo "Open IP address of this server in web-browser (http://${serverip}/)"
  358. echo and use next settings for wizard:
  359. echo
  360. echo "User Database Options (optional)"
  361. echo "Enable User Database: Yes"
  362. echo "       Database User: rsyslog"
  363. echo "   Database Password: ${SYSLOGDBPASSWORD}"
  364. echo
  365. echo "First Syslog Source"
  366. echo "                        Source Type: MYSQL Native"
  367. echo "     Database Name (case-sensitive): Syslog"
  368. echo "Database Tablename (case-sensitive): SystemEvents"
  369. echo "                      Database User: rsyslog"
  370. echo "                  Database Password: ${SYSLOGDBPASSWORD}"
  371. echo "                Enable Row Counting: No"

 

Лучше всего использовать его на свежеустановленном дебиане в минимальной конфигурации. Перед запуском нужно его отредактировать, изменив пароль для создаваемого в процессе пользователя (базы данных) rsyslog, а также логин и пароль дополнительного администратора БД, который будет создан в случае установки (опциональной) PhpMyAdmin.  Всего скрипт установит:

  1. mariadb в качестве сервера баз данных,
  2. rsyslog с коннектором rsyslog-mysql в качестве сислог сервера, и создаст конфиг для приема логов по сети
  3. веб-сервер apache
  4. опционально phpmyadmin для управления базой данных
  5. LogAnalyzer.

После завершения работы скрипта останется пройти мастера настройки LogAnalyzer, перейдя в браузере по адресу вашего сервера. Так что если вы решите его использовать, то можете листать к разделу «Настройка LogAnalyzer», а также посмотреть наглядное видео:

Настройка сервера syslog с веб-интерфейсом и хранением логов в базе данных (на Debian 10 «buster»)

Установка debian

Для наших целей подойдет установленный в минимальной конфигурации дебиан. Идеально сразу при установке поставить LAMP-набор, отметив опцию web server

Но можно обойтись пунктом standard system utilities, а все остальное установить самостоятельно. Я буду исходить из этого варианта.

Установка базы данных MariaDB

 
 
  1. apt update && apt -y install mariadb-server

Установка веб-сервера apache

 
 
  1. apt -y install apache2

Установка необходимых модулей PHP

 
 
  1. apt -y install php libapache2-mod-php php-mysql php-common php-cli php-json php-gd php-opcache php-readline php-mbstring

Установка rsyslog

 
 
  1. apt -y rsyslog-mysql

В процессе установки соглашаемся сконфигурировать базу данных

Придумываем и подтверждаем пароль для пользователя «rsyslog» БД

После того как сислог будет установлен, его нужно сконфигурировать так, чтобы он мог принимать события с сетевого оборудования. Создаем файл /etc/rsyslog.d/enable-remote.conf с таким содержанием:

/etc/rsyslog.d/enable-remote.conf
 
  1. module(load="imudp")
  2. input(type="imudp" port="514")
  3. module(load="imtcp")
  4. input(type="imtcp" port="514")

И перезагружаем сервис

 
 
  1. service rsyslog restart

Установка веб-интерфейса (LogAnalyzer)

Скачиваем и распаковываем файлы в директорию веб-сервера:

 
 
  1. wget http://download.adiscon.com/loganalyzer/loganalyzer-4.1.7.tar.gz
  2. tar -xvf loganalyzer-4.1.7.tar.gz
  3. rm loganalyzer-4.1.7.tar.gz
  4. cp -r loganalyzer-4.1.7/src/* /var/www/html/
  5. rm /var/www/html/index.html
  6. chown www-data:www-data -R /var/www/html/

Перед тем как перейти мастеру настройки, создадим еще одну одну базу, в которой лог аналайзер будет хранить свои настройки, и дадим пользователю rsyslog полные права на нее

 
 
  1. mysql -uroot -e "create database loganalyzer; grant all privileges on loganalyzer.* to rsyslog@localhost"

Настройка LogAnalyzer

Теперь к мастеру. Перейдя в браузере по адресу сервера мы должны увидеть его приглашение создать конфиг

Первые два шага пропускаем, интересное  начинается с третьего. Здесь нужно выбрать Enable User Database и ввести имя пользователя (rsyslog)  и пароль с которыми будет производиться подключение к созданной нами базе «loganalyzer». Остальные настройки можно оставить по умолчанию.

На шестом шаге создаем внутреннего администратора лог аналайзера

На следующем шаге выбираем источник данных — базу rsyslog\’а. Важные пункты, которые будет нужно здесь изменить:

  1. Source Type — MYSQL Native
  2. Database Name — Syslog (была создана при установке rsyslog-mysql)
  3. Database Tablename — SystemEvents (именно так — с большими буквами, а не как по дефолту)
  4. Database User — rsyslog
  5. Database Password — пароль юзера rsyslog
  6. Enable Row Counting — No (при объеме логов в несколько гигабайт этот подсчет приводит к более чем минутным запросам к БД)

Next, Finish и перед нами интерфейс лог аналайзера

Тюнинг

Теперь остается сделать две довольно важные вещи.

Во-первых, при попытке логина в админку, лог аналайзер пытается проверить свое собственное обновление, и это приводит к длительному ожиданию, если сервер не имеет выхода в интернет. Чтобы этого не происходило — нужно отредактировать файл /var/www/html/include/functions_common.php, изменив строку

 
 
  1. $content['UPDATEURL'] = "http://loganalyzer.adiscon.com/files/version.txt";

на

 
 
  1. $content['UPDATEURL'] = "";

Второе, и не менее важное. Со временем база сислога будет опухать, поэтому ее стоит периодически очищать от старых записей. Для этого нужно создать файлик /etc/cron.d/rsyslog_mysql с содержимым

 
 
  1. 23 2     * * *     root mysql -uroot -e 'use Syslog; DELETE FROM SystemEvents WHERE ReceivedAt < DATE_SUB(CURRENT_TIMESTAMP, INTERVAL 365 DAY);'

С ним каждый день из базы будут удаляться записи старше 365 дней (разумеется это количество можно поправить на необходимое)

 

[из техноблога] Abaqus: Unable to validate FLEXnet server

  Автор: | |
Комментарии к записи [из техноблога] Abaqus: Unable to validate FLEXnet server отключены

На днях с коллегой  столкнулись с проблемой при установке abaqus, на которую потратили бессовестно много времени. Ошибка возникала при указании сервера лицензий (FlexLM) и в сокращенном виде звучала как «Unable to validate FLEXnet server»

Далее: http://obrivki.blogspot.ru/2017/01/abaqus-unable-to-validate-flexnet-server.html

Новый прорыв в гугле

  Автор: | |
Один комментарий

Сегодня пришло письмо, в котором гугл радостно сообщил о новой вехе в истории развития их переводческого сервиса. На смену классическим алгоритмам перевода пришли долгожданные и модные нынче нейросети, на которые, в общем-то вполне заслуженно, возлагаются надежды в различнейших областях. Вот что пишет гугл:

Недавно в сервисе «Google Переводчик» произошли изменения более важные, чем за предыдущие десять лет. И Вы тоже внесли свой вклад!
Google Переводчик начал использовать нейронные сети для 41 языка, включая русский. Нейронные сети постоянно обучаются и самосовершенствуются.

Ну что ж, очевидно что самосовершенствующаяся система это круто, она неизбежно приведет нас к миру терминатора, но было бы забавно оценить прогресс этой системы по части перевода неких рандомных текстов. Так что прямо сейчас я воспользуюсь старым-добрым трюком — загоню этот самый текст, что я написал, в гугл транслейт. Сделаю перевод на 3 языка, а потом обратно. Посмотрим что из этого получится, а потом, через годик, повторю этот эксперимент — даже напоминание себе в календаре сделаю =). В качестве подопытных языков использую английский — с ним проблем должно быть меньше всего — французский и какой-нибудь менее распространенный итальянский. Итак, погнали!

Английский

Сегодня пришло письмо, в котором гугл радостно сообщил о новой вехе в истории развития их переводческого сервиса. На смену классическим алгоритмам перевода пришли долгожданные и модные нынче нейросети, на которые, в общем-то вполне заслуженно, возлагаются надежды в различнейших областях. Вот что пишет гугл:

«Недавно в сервисе «Google Переводчик» произошли изменения более важные, чем за предыдущие десять лет. И Вы тоже внесли свой вклад!
Google Переводчик начал использовать нейронные сети для 41 языка, включая русский. Нейронные сети постоянно обучаются и самосовершенствуются.»

Ну что ж, очевидно что самосовершенствующаяся система это круто, она неизбежно приведет нас к миру терминатора, но было бы забавно оценить прогресс этой системы по части перевода неких рандомных текстов. Так что прямо сейчас я воспользуюсь старым-добрым трюком — загоню этот самый текст, что я написал, в гугл транслейт. Сделаю перевод на 3 языка, а потом обратно. Посмотрим что из этого получится, а потом, через годик, повторю этот эксперимент — даже напоминание себе в календаре сделаю =). В качестве подопытных языков использую английский — с ним проблем должно быть меньше всего — французский и какой-нибудь менее распространенный итальянский. Итак, погнали!

Today we received a letter in which Google happily reported a new milestone in the history of the development of their translation service. The classical algorithms of translation were replaced by long-awaited and fashionable neural networks, which, in general, deservedly, are placed in different areas. Here’s what Google writes:

«Recently, the Google Translate service has changed more important than the previous ten years, and you also contributed!
Google Translator began using neural networks for 41 languages, including Russian. Neural networks are constantly being trained and cultivated. «

Well, it’s obvious that the self-improving system is cool, it will inevitably lead us to the world of the terminator, but it would be fun to evaluate the progress of this system with regard to the transfer of some random texts. So right now I’ll use the old-good trick — I will drive this very text that I wrote to google translate. I will make a translation into 3 languages, and then back. Let’s see what happens from this, and then, in a year, I will repeat this experiment — I will even make a reminder to myself in the calendar =). As test languages ​​I use English — with him problems should be least of all — French and some less common Italian. So, drive!

Сегодня мы получили письмо, в котором компания Google с радостью сообщила о новой вехе в истории развития своих услуг перевода. Классические алгоритмы перевода были заменены долгожданными и модными нейронными сетями, которые, в общем, заслуженно, размещены в разных областях. Вот что пишет Google:

«В последнее время служба Google Translate изменилась важнее, чем предыдущие десять лет, и вы также внесли свой вклад!
Google Translator начал использовать нейронные сети для 41 языка, включая русский. Нейронные сети постоянно обучаются и культивируются. «

Ну, очевидно, что самовосстанавливающаяся система — это круто, она неизбежно приведет нас к миру терминатора, но было бы интересно оценить прогресс этой системы в отношении передачи некоторых случайных текстов. Поэтому прямо сейчас я буду использовать старый добрый трюк — я буду управлять этим самым текстом, который я написал для перевода Google. Я сделаю перевод на 3 языка, а затем обратно. Посмотрим, что из этого получится, и тогда, через год, я повторю этот эксперимент — я даже сделаю себе напоминание в календаре =). В качестве тестовых языков я использую английский — с ним проблемы должны быть наименее всего — французский и немного менее распространенный итальянский. Итак, езжай!

Французский

Сегодня пришло письмо, в котором гугл радостно сообщил о новой вехе в истории развития их переводческого сервиса. На смену классическим алгоритмам перевода пришли долгожданные и модные нынче нейросети, на которые, в общем-то вполне заслуженно, возлагаются надежды в различнейших областях. Вот что пишет гугл:

«Недавно в сервисе «Google Переводчик» произошли изменения более важные, чем за предыдущие десять лет. И Вы тоже внесли свой вклад!
Google Переводчик начал использовать нейронные сети для 41 языка, включая русский. Нейронные сети постоянно обучаются и самосовершенствуются.»

Ну что ж, очевидно что самосовершенствующаяся система это круто, она неизбежно приведет нас к миру терминатора, но было бы забавно оценить прогресс этой системы по части перевода неких рандомных текстов. Так что прямо сейчас я воспользуюсь старым-добрым трюком — загоню этот самый текст, что я написал, в гугл транслейт. Сделаю перевод на 3 языка, а потом обратно. Посмотрим что из этого получится, а потом, через годик, повторю этот эксперимент — даже напоминание себе в календаре сделаю =). В качестве подопытных языков использую английский — с ним проблем должно быть меньше всего — французский и какой-нибудь менее распространенный итальянский. Итак, погнали!

Aujourd’hui, a reçu une lettre dans laquelle Google a annoncé heureusement une nouvelle étape dans l’histoire de leur service de traduction. A la place des algorithmes classiques de traduction est venu le tant attendu et à la mode réseau maintenant de neurones, qui, en général, tout à fait à juste titre, espérés dans divers domaines. Voici ce que Google dit:

« Récemment, quand » Google Translate « a changé plus important que dans les dix années précédentes. Et vous aussi, ont contribué!
Google Translate a commencé à utiliser des réseaux de neurones à 41 langues, dont le russe. Les réseaux de neurones sont constamment formés et cultiver ».

Eh bien, il est évident que le système de cultivateur est cool, il nous conduira inévitablement au monde de Terminator, mais il serait amusant d’évaluer les progrès de ce système de la part d’une traduction au hasard de certains textes. Alors maintenant, j’utiliser un bon vieux truc — le paddock c’est le texte que je l’ai écrit dans sur Google Translate. J’ai fait une traduction en 3 langues, puis de nouveau. Voyons voir ce qui se passe, puis, en un an, répéter l’expérience — même un rappel pour vous de faire le calendrier =). Comme une langue expérimentale est l’anglais — des problèmes qu’elle doit être inférieure à tous — les Français et d’autres moins commune italienne. Nous avons donc roulé!

Сегодня получил письмо от Google с радостью объявил новый этап в истории их службы перевода. Вместо алгоритмов классического перевода пришел долгожданный и теперь сетевой режим нейронов, которые, в общем, совершенно справедливо ожидать в различных областях. Вот что говорит Google:

«В последнее время, когда» Google Translate «изменился больше, чем в предыдущие десять лет. И вы тоже внесли свой вклад!
Google Переводчик начал с использованием нейронных сетей на 41 языках, включая русский. Нейронные сети постоянно обучаются и растут «.

Ну, очевидно, что система фермера круто, это неизбежно приведет нас к миру Терминатора, но было бы интересно оценить прогресс этой системы от случайного перевода некоторых текстов. Так что теперь я использую старый трюк — загон это текст, который я написал в на Google Translate. Я сделал перевод на 3-х языках, а затем обратно. Давайте посмотрим, что происходит, то в течение года, повторить опыт — даже напоминание планировать =). Как экспериментальный язык английский язык — проблемы, он должен быть меньше, чем все — французы и другие, менее распространенный итальянский. Таким образом, мы поехали!

Итальянский

Сегодня пришло письмо, в котором гугл радостно сообщил о новой вехе в истории развития их переводческого сервиса. На смену классическим алгоритмам перевода пришли долгожданные и модные нынче нейросети, на которые, в общем-то вполне заслуженно, возлагаются надежды в различнейших областях. Вот что пишет гугл:

«Недавно в сервисе «Google Переводчик» произошли изменения более важные, чем за предыдущие десять лет. И Вы тоже внесли свой вклад!
Google Переводчик начал использовать нейронные сети для 41 языка, включая русский. Нейронные сети постоянно обучаются и самосовершенствуются.»

Ну что ж, очевидно что самосовершенствующаяся система это круто, она неизбежно приведет нас к миру терминатора, но было бы забавно оценить прогресс этой системы по части перевода неких рандомных текстов. Так что прямо сейчас я воспользуюсь старым-добрым трюком — загоню этот самый текст, что я написал, в гугл транслейт. Сделаю перевод на 3 языка, а потом обратно. Посмотрим что из этого получится, а потом, через годик, повторю этот эксперимент — даже напоминание себе в календаре сделаю =). В качестве подопытных языков использую английский — с ним проблем должно быть меньше всего — французский и какой-нибудь менее распространенный итальянский. Итак, погнали!

Oggi ha ricevuto una lettera in cui Google felicemente annunciato una nuova pietra miliare nella storia del loro servizio di traduzione. Al posto dei classici algoritmi di traduzione è arrivata la rete neurale ora tanto attesa e alla moda, che, in genere, abbastanza meritatamente, l’auspicata in vari campi. Ecco cosa dice Google:

«Recentemente, quando» Google Translate «è cambiato più importante che negli ultimi dieci anni. E anche voi, hanno contribuito!
Google Translate iniziato a utilizzare le reti neurali per 41 lingue, compreso il russo. Le reti neurali sono costantemente addestrati e coltivare. «

Beh, è ​​ovvio che il sistema coltivatore è fresco, ma ci porterà inevitabilmente al mondo di Terminator, ma che sarebbe stato divertente per valutare lo stato di avanzamento di questo sistema da parte di un caso di traduzione di alcuni testi. Così ora io uso buon vecchio trucco — paddock questo è il testo che ho scritto in su Google Translate. Ho fatto una traduzione in 3 lingue e poi di nuovo indietro. Vediamo cosa succede, e poi, in un anno, ripetere l’esperimento — anche un promemoria per se stessi per rendere il calendario =). Come un linguaggio sperimentale è l’inglese — dai problemi che deve essere inferiore a tutti — il francese e un po ‘meno comuni italiani. Così siamo arrivati!

Сегодня он получил письмо от Google с радостью объявила о новой вехой в истории их службы перевода. Вместо классических алгоритмов перевода пришел нейронную сеть в настоящее время долгожданная и моды, которые, в общем, вполне заслуженно, желаемой в различных областях. Вот что говорит Google:

«В последнее время, когда» Google Translate «изменился более важным, чем в последнее десятилетие. И вы тоже внесли свой вклад!
Google Переводчик начал с использованием нейронных сетей на 41 языках, включая русский. Нейронные сети постоянно обучаются и культивируют. «

Ну, очевидно, что система фермер свеж, но неизбежно приведет нас к миру Терминатора, но было бы интересно оценить прогресс этой системы в случае какого-либо перевода текстов. Так что теперь я использую старый добрый трюк — загон это текст, который я написал, чтобы Google Translate. Я сделал перевод на 3-х языках, а затем обратно. Давайте посмотрим, что происходит, а потом, через год, повторить эксперимент — также напоминание о себе, чтобы сделать календарь =). В качестве экспериментального языка английский — от проблем, которые должны быть меньше, чем все — французский и немного «менее распространенный итальянский. Таким образом, мы пришли!

Посмотрим что будет через год =)

Debian 10 Buster + openbox (установка и настройка)

  Автор: | |
Комментарии к записи Debian 10 Buster + openbox (установка и настройка) отключены

Уже давно сижу на облегченном дебиане, собранном с минимальной инсталляции. В процессе эксплуатации набралось шпаргалок по сборке системы моей мечты, которые записывались в файлик, а теперь перенесены в чуть более развернутом виде сюда на сайт.

Читать: Debian 10 Buster + openbox (установка и настройка)

Общая сетевая папка NFS+SAMBA с правами для всех

  Автор: | |
Комментарии к записи Общая сетевая папка NFS+SAMBA с правами для всех отключены

Цель: расшарить директорию через NFS и CIFS так, чтобы для обоих протоколов был общий доступ и файлы, залитые через один протокол, были доступны на чтение и запись через второй.

Метод, до которого дошел я (возможно не единственный), реализуется через дополнительного пользователя на сервере, с которого шарится директория. В моем случае это пользователь «user» с UID 1000 (входит в одноименную группу с GID 1000).

Файл /etc/exports выглядит так

/etc/exports
 
  1. "/share/Public" *(rw,nohide,async,no_subtree_check,crossmnt,all_squash,anonuid=1000,anongid=1000)

ключевыми параметрами являются:

  1. all_squash — опция говорит что все подключения будут считаться анонимными
  2. anonuid=1000 — определяет UID пользователя от имени которого будет осуществляться доступ для анонимных подключений
  3. anongid=1000 — аналогично определяет GID

Таким образом все файлы и папки, создаваемые на сервере через NFS будут иметь владельца «user»

 
 
  1. ls -la /share/Public/test_dir/
 
 
  1. total 12
  2. drwxr-xr-x  3 user user 4096 Jan 14 16:18  .
  3. drwxrwxrwx 14 user user 4096 Jan 14 16:18  ..
  4. drwxr-xr-x  2 user user 4096 Jan 14 16:18 'nfs dir'
  5. -rw-r--r--  1 user user    0 Jun 19  2020 'nfs file.txt'

Теперь можно переходить к настройке самбы. Приведу весь свой конфиг /etc/samba/smb.conf

/etc/samba/smb.conf
 
  1. [global]
  2.     workgroup = WORKGROUP
  3.     dns proxy = no
  4.     log file = /var/log/samba/log.%m
  5.     max log size = 200
  6.     panic action = /usr/share/samba/panic-action %d
  7.     server role = standalone server
  8.     passdb backend = tdbsam
  9.     obey pam restrictions = yes
  10.     unix password sync = yes
  11.     passwd program = /usr/bin/passwd %u
  12.     passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
  13.     pam password change = yes
  14.     map to guest = bad user
  15.     security = user
  16.     usershare allow guests = yes
  17.     acl allow execute always = true
  18.     allow insecure wide links = yes
  19.     # WinXP/Android X-Plore compatibility:
  20.     ntlm auth = yes
  21.     server min protocol = NT1
  23. [Public]
  24.     path = /share/Public
  25.     mangled names = no
  26.     writeable = yes
  27.     follow symlinks = yes
  28.     wide links = yes
  29.     browsable = yes
  30.     guest ok = yes
  31.     guest only = yes
  32.     force user = user
  33.     force group = user
  34.     create mask = 666
  35.     directory mask = 777
  36.     #recycle
  37.     vfs objects = recycle
  38.     recycle:repository = /share/Public/.Trash-1000/files/%U
  39.     recycle:keeptree = Yes
  40.     recycle:versions = Yes
  41.     recycle:touch = Yes

Здесь ключевыми являются опции директории:

  1. guest ok = yes — пускать юзера без аутентификации
  2. guest only = yes — пускать только анонимусов
  3. force user = user — работа с файлами ведется от имени указанного юзера «user» (аналог nfs-ного «anonuid=1000»)
  4. force group = user — аналогично для группы (аналог nfs-ного «anongid=1000»)

Корзина

Отдельно прокомментирую вот это кусок

 
 
  1. #recycle
  2.     vfs objects = recycle
  3.     recycle:repository = /share/Public/.Trash-1000/files/%U
  4.     recycle:keeptree = Yes
  5.     recycle:versions = Yes
  6.     recycle:touch = Yes

Дело в том, что при удалении файлов из директории, смонтированной через NFS, скорее всего (это зависит от файлового менеджера)  в точке монтирования будет создана директория корзины «.Trash-1000». В то же время клиенты Windows для сетевых путей корзину не используют, но именно для этого существуют опции самбы, которые включают сетевую корзину и позволяют указать — в какой именно директории хранить удаляемые файлы. В моем случае опция «recycle:repository» указывает правило хранения, которое соответствует правилам удалению в корзину в линуксе. То есть, при такой настройке, файлы что удаленные в линуксе через NFS, что в виндусе через SMB — попадут в один каталог. В винде, конечно, они не появятся в виндовой «корзине», но как минимум их можно будет достать из папки «.Trash-1000».

Однако при этом возникает парадоксальная ситуация, что в винде данную «корзину» очистить не получится, так как она лежит в той же шаре. То есть удаляемые файлы будут валиться в нее же. Воркэраундом является создание дополнительной отдельной шары под эту директорию, чтобы через нее удалять ненужные файлы.

/etc/samba/smb.conf
 
  1. [Trash]
  2.     path = /share/Public/.Trash-1000
  3.     mangled names = no
  4.     writeable = yes
  5.     follow symlinks = yes
  6.     wide links = yes
  7.     browsable = yes
  8.     guest ok = yes
  9.     guest only = yes
  10.     force user = user
  11.     force group = user
  12.     create mask = 666
  13.     directory mask = 777

Мой удобренный хром

  Автор: | |
2 комментария

Уже много лет прошло с тех пор, как я пересел с файрфокса на хром, отказавшись тогда от многих удобных расширений. Тем не менее и хром оброс у меня ими, и сейчас, когда большинство расширений стоит у меня уже не один год, я хочу их перечислить. Почти всеми я пользуюсь регулярно и не думаю менять на аналоги, так как все они представляются мне достаточно удобными. Название кликабельны.

AdBlock

Особо нечего рассказывать, это расширение прекрасно известно. Все кто любит интернет без навязчивой рекламы — ставят его. Почему не AdBlockPlus? А не помню, кажется плюс у меня то ли падал, то ли что-то еще. В общем я поставил обычный и он прекрасно справляется с обязанностями.

BugMeNot Lite

Это, наверное, самое редко используемое расширение является оберткой к сервису BugMeNot. Суть сервиса — силами пользователей собирать публичные учетки к различного рода форумам, сайтам и т.д. и т.п. Не секрет, что иногда на форумах без регистрации нельзя скачать файл, или посмотреть информацию за тегом спойлера, тут и может выручить багминот, предоставив рабочую учетку. Далеко не всегда учетки оказываются живыми, но несколько раз расширение выручало и стоит на всякий случай.

Checker Plus for Gmail™

Кнопочка-оповещение о непрочитанной почте, позволяет читать и удалять письма не заходя в основной интерфейс сервиса.

Checker Plus for Google Calendar™

От автора предыдущего расширения. Оповещалка о событиях в календаре, дополнительно дает смотреть список записей и доставлять новые не открывая основной интерфейс сервиса.

Disable Youtube™ HTML5 Player

В какой-то момент у меня начал глючить HTML5-проигрыватель на ютубе, данное же расширение принудительно запускает флешовый.

Flying Focus

Специфическое «свистопердельное» расширение, добавляющее анимацию при переходе между контролами путем нажатия кнопки TAB. Бывает удобно при заполнении больших форм с кучей полей, когда поля выбираются табом не в логичном порядке.

FoxyProxy Standard

Расширение позволяет автоматом выбирать прокси-сервера на основе URL’ов, можно использовать маски.

goo.gl URL Shortener

Сокращалка длинных адресов для удобной вставки оных в чаты, аськи и т.д. и т.п.

Google Play Музыка

Расширение для пользователей одноименного сервиса.

Humble New Tab Page

Одно из недавно установленных расширений. Меняет отображение новой вкладки, делая его более лаконичным и функциональным.

LinguaLeo

Расширение от одноименного сервиса, работает только при наличии регистрации на нем. Примечательно тем, что дает возможность тыкнуть в иностранное слово на любой странице и получить список его переводов, то есть использовать себя в качестве словаря.

MS KB English Only

Принудительный показ статей базы знаний Microsoft на английском языке. В противном случае показываются переведенные «промтом» русские варианты, так что настоящий мастхейв для админов.

pageUp

Добавляет в левый-верхний угол каждой страницы кнопочку по которой страница скроллится в самый верх. Расширение не всегда корректно работает, но тем не менее бывает весьма полезным.

Генератор паролей работающий на основе общего мастер-пароля и имени домена. Позволяет генерировать уникальные пароли под каждый сайт и вставлять их при необходимости.

Search by Image (by Google)

Поиск картинки через гугл, удобно для поиска картинки в высоком разрешении.

TinEye Reverse Image Search

Расширение от пионера технологии поиска картинок по образцу. С момента появления аналогичного сервиса от гугла пользуюсь все реже, но иногда этот сервис находит то, что не нашел гугл, поэтому расширение все еще полезно и установлено.

Tiny Tiny RSS Notifier

А вот свою RSS-читалку гугл прикрыл, что заставило меня развернуть свою на удаленном сервере, данное же расширение, как понятно из названия, оповещает меня об обновлениях подписок.

Transmission easy client

Великолепное расширение, позволяющее работать с удаленным торрент-клиентом transmission, который установлен у меня дома на сетевой хранилке. Позволяет добавлять и удалять торренты, тормозить и запускать, включать ограничение скорости.

TrashMail.net for Google Chrome™

Расширение от одноименного сервиса, позволяющего создать временный почтовый ящик с переадресацией на настоящий. Удобно когда нужно зарегаться на каком-нибудь сомнительном сервисе от которого можно ожидать поток спама.

VkOpt

Неплохой кастомизатор интерфейса вконтакта.

ZenMate

Прокси-сервис с серверами в Гонконге, UK, US, Швейцарии и Германии. Требует регистрации.

Оповещения Google+
Комментарии не требуются

Продвинутая история

Изменение страницы истории в браузере. Удобное представление под дням, девайсам, поиск, теги.

Редактирование и отправка скриншотов

Тулза для скриншотирования страниц с возможностью добавить стрелочки, обводки и т.п., и выложить на публичные сервисы.
И на этом всё =) Большая часть расширений стоит у меня уже больше года, какие-то были добавлены недавно вместо аналогичных, но показавшихся мне менее удобными или более глючными.

Централизованное хранилище VMware Tools и тулзы для Windows 2003 на vSphere 6.7

  Автор: | |
Комментарии к записи Централизованное хранилище VMware Tools и тулзы для Windows 2003 на vSphere 6.7 отключены

Обновив сферу, столкнулся с ошибкой:

Unable to install VMware Tools. An error occurred while trying to access image file «/usr/lib/vmware/isoimages/winPreVista.iso» needed to install VMware Tools: 2 (No such file or directory). Please refer the product documentation or KB article 2129825 for details about how to get VMware Tools package for this guest operating system

Также ошибка может звучать более лаконично:

The required VMware Tools ISO image does not exist or is inaccessible.

Оказывается, в составе новых ESXI нет исошника с тулзами под старые системы, хотя некоторая обратная совместимость, в виде «знания» какой исошник нужно монтировать — осталась.

Решение этой проблемы — скачать legacy-tools и добавить нужные исошники. Но так как это придется делать для каждого хоста, то проще на общедоступном сторадже выделить папку, свалить туда все исошники и поправить на каждом из серверов параметр, указывающий на папку с тулзами.

Собственно, тулзы качаются с сайта вмвари: легаси и текущие на данный момент.

Оба архива содержат папки «floppies» и «vmtools» — совмещаем их содержимое (для легаси и новых тулзов содержимое не пересекается) и аплоадим эти две папки в отдельную папку в хранилище. Допустим, в папку vmwaretools на сторадже myStorage (таким образом у нас две папки: «myStorage/vmwaretools/floppies» и «myStorage/vmwaretools/vmtools»)

Теперь заходим в «Advanced System Settings» одного из серверов:

Ищем в них параметр «UserVars.ProductLockerLocation«, по дефолту его значение — «/locker/packages/vmtoolsRepo/», меняем его на «/vmfs/volumes/myStorage/vmwaretools/«.

Теперь сервер придется перезагрузить (по крайней мере у меня он не подхватил новое значение без ребута). После перезагрузки тулзы будут корректно ставиться уже из хранилища.

Технически можно повторить процедуру вручную на каждом из серверов, или включить этот параметр в host profile:

 

Ссылки по теме:

Скрипт для поднятия SOCKS-прокси посредством ssh с проверкой его работоспособности

  Автор: | |
Комментарии к записи Скрипт для поднятия SOCKS-прокси посредством ssh с проверкой его работоспособности отключены

Небольшой скрипт, которым я пользуюсь для поднятия прокси-через-ssh. Висит в автозагрузке, постоянно проверяет при помощи курла доступность гугла, в случае недоступности — прибивает нужное ssh-соединение и открывает его снова.

ЗЫ: свой собственный прокси с шифрованием трафика средствами ssh — рекомендации лучших собаководов )

proxy.sh
 
  1. #!/bin/sh
  2. # establishes an SSH Socks proxy and reconnects if it fails.
  4. socksPort=8376
  5. server=example.com
  6. user=myproxyuser
  7. key=~/.ssh/id_rsa_myproxyuser
  9. while true
  10. do
  11.     timeout 20 curl --retry-max-time 1 --retry 5 --retry-delay 1 -x socks5://127.0.0.1:${socksPort} http://google.com/ > /dev/null 2>&1
  12.     if [ $? -ne 0 ]
  13.     then
  14.         echo $(date) reconnect...
  15.         while ps -eo pid,cmd | grep ssh | grep ${socksPort}
  16.         do
  17.             kill $(ps -eo pid,cmd | grep ssh | grep ${socksPort} | awk '{print $1}' | head -n 1)
  18.         done;
  19.         ssh -D ${socksPort} -f  -q -N -i "${key}" ${user}@${server}
  20.     else
  21.         sleep 10
  22.     fi
  23. done;

Вариант для cygwin

proxy_cygwin.sh
 
  1. #!/bin/sh
  2. # establishes an SSH Socks proxy and reconnects if it fails.
  4. socksPort=8376
  5. server=example.com
  6. user=myproxyuser
  7. key=~/.ssh/id_rsa_myproxyuser
  9. while true
  10. do
  11.     timeout 20  curl -x socks5://127.0.0.1:${socksPort} http://google.com/  > /dev/null 2>&1
  12.     if [ $? -ne 0 ]
  13.     then
  14.         while ps -e | grep ssh;
  15.         do
  16.             # /bin/kill - is important!
  17.             /bin/kill -f $(grep -a "ssh" /proc/*/cmdline  | grep -a  ${socksPort} | awk -F '/' '{print $3}' | head -n 1)
  18.         done;
  19.         echo $(date) reconnect
  20.         ssh -D ${socksPort} -fNq -i "${key}" ${user}@${server}
  21.     else
  22.         sleep 10
  23.     fi
  24. done;