Архив метки: scripts

Классный скрипт для конвертации в utf8

  Автор: | |
Комментарии к записи Классный скрипт для конвертации в utf8 отключены

Запарило пересохранять субтитры, которые часто выкладывают в вин-кодировке. Нашел клевый скрипт на питоне (а значит и под виндой можно юзать) для конвертации из любой кодировки (исходная автоопределяется) в UTF8. Навесил его как кастомную команду для *.srt в Double Commander, который также юзаю в обеих системах — стало совсем хорошо =)

 
 
  1. #!/usr/bin/env python3
  3. import os
  4. import sys
  5. from chardet import detect
  7. srcfile = sys.argv[1]
  8. tmpfile = sys.argv[1] + '.tmp'
  9. bakfile = sys.argv[1] + '.bak'
  12. # get file encoding type
  13. def get_encoding_type(file):
  14.     with open(file, 'rb') as f:
  15.         rawdata = f.read()
  16.     return detect(rawdata)['encoding']
  18. from_codec = get_encoding_type(srcfile)
  20. # add try: except block for reliability
  21. try:
  22.     with open(srcfile, 'r', encoding=from_codec) as f, open(tmpfile, 'w', encoding='utf-8') as e:
  23.         text = f.read() # for small files, for big use chunks
  24.         e.write(text)
  26.     os.rename(srcfile, bakfile) # backup old encoding file
  27.     os.rename(tmpfile, srcfile) # rename new encoding
  28.    
  29. except UnicodeDecodeError:
  30.     print('Decode Error')
  31. except UnicodeEncodeError:
  32.     print('Encode Error')

Заполнение mp3-тегов скриптом

  Автор: | |
Комментарии к записи Заполнение mp3-тегов скриптом отключены

Довелось скачать саундтрек к игре в виде кучи файлов без тегов вообще.

Захотелось на скорую руку заполнить хотя бы названия и номера треков (альбом/год/жанр — одинаковые для всех, с этим все сильно проще).

Для начала из имени каждого файла нужно вычленить название трека. Используем sed в однострочном цикле для разделения имени файла на три блока. Блоки в sed выделяются экранированными скобками: начало — \(, конец — \)

 
 
  1.                                                        вычленяем блок №2
  2.                                                         |             |
 
 
  1. for file in *.mp3; do name=$(sed "s/\(^.*_.\{1,3\}_\)\(.*\)\(\.mp3\)/\2/" <<< $file); echo $name ; done;
 
 
  1.                                           |                     |    
  2.            блок №1: начало строки, любые символы,          блок №3: .mp3
  3.                     подчеркивание, 1-3 любых символа,
  4.                     подчеркивание

Вывод:

 
 
  1. chat_thiscouldbeAWESOME
  2. lab sewers
  3. chat_downthe
  4. ...

(да, если вы решаете проблему с помощью регулярных выражений — у вас уже 2 проблемы, но в данном случае это отличное решение).

Убедившись что имена получаются корректные, меняем echo $name на редактор тегов mid3v2

 
 
  1. for file in *.mp3; do name=$(sed "s/\(^.*_.\{1,3\}_\)\(.*\)\(\.mp3\)/\2/" <<< $file); mid3v2 -t "$name" "$file" ; done;

Самое сложное сделано. Теперь номера треков (всего их 46, так что это число я подставляю вручную):

 
 
  1. i=1; for file in *.mp3; do mid3v2 -T  "${i}/46" "$file" ; ((i+=1)); done;

Все одинаковые для треков теги заполняются совсем просто, например год:

 
 
  1. for file in *.mp3; do mid3v2 -y 2010  "$file" ; done;

PS: утилита mid3v2 (рекомендуется как полностью поддерживающая v2/utf8-теги) входит в питоновский пакет mutagen и ставится примерно так (для debian/ubuntu)

 
 
  1. apt install python3-mutagen

или так (установка в пользовательский профиль из репозитория pypi)

 
 
  1. pip3 install --user mutagen

RussianFIO2AD — генератор учеток для Active Directory

  Автор: | |
Комментарии к записи RussianFIO2AD — генератор учеток для Active Directory отключены

По работе регулярно сталкиваюсь с присланными списками ФИО, которые нужно сконвертировать в учетки AD с шаблонными логинами и паролями. Для этих целей еще с год назад написал небольшую прожку, которую все это время тестировал, а сейчас немного допилил и могу поделиться.

Выглядит незамысловато

Вставляем из буфера список ФИО — поддерживается вставка из текстового файла или таблицы (с некоторыми оговорками, но как правило работает) — потом генерируем логины и пароли, проверяем чтобы в AD не было дублей и создаем учетки. Процесс коротенько можно увидеть на ютубе.

Скачать прожку можно на гитхабе: https://github.com/qiwichupa/RussianFIO2AD

Как всегда в таких случаях: нормальная работа не гарантируется, используйте на свой страх и риск, то, что у меня AD не сломалось — ничего не значит, может быть мне повезло)

py-subsrenamer: массовое переименование субтитров

  Автор: | |
Комментарии к записи py-subsrenamer: массовое переименование субтитров отключены

Решил переписать на питоне башевый скрипт для переименования субтитров (согласно именам видеофайлов), чтобы можно было его использовать под виндой. Заодно оформил вариант с простеньким графическим интерфейсом (и немножко ознакомился с wxPython)

Скачать можно тут: https://github.com/qiwichupa/py-subsrenamer (экзешники смотреть тут)

Пример использования

Что нужно для просмотра сериала?

  Автор: | | ,
Комментарии к записи Что нужно для просмотра сериала? отключены

Горячий кофе, мягкий плед, гроза за окном — многое может пригодиться. Но совершенно точно под рукой должны быть: добротный файлменеджер с функцией массового переименования, и скрипт для столь же массового переименования субтитров по имени серий.

Как автоматически скачивать сериалы и субтитры к ним

  Автор: | |
Комментарии к записи Как автоматически скачивать сериалы и субтитры к ним отключены

Довольно долгое время искал какие-то решения, позволяющие «подписаться» на торренты с интересными сериалами, но так как для меня важно наличие русский сабов (а их буржуи не раздают, как это ни странно), то часто реально оказывалось проще дождаться раздачи на наших сайтах, где все уже подбито. Но наконец, закинув в очередной раз невод в море, я выудил нечто похожее на золотую рыбку. Состоит рыбка из трех компонентов…

Торрент-клиент

В основе сервера будет transmission-daemon — идеальный для этого случая клиент. Примерный конфиг для него будет такой:

settings.json
 
  1. {
  2. "alt-speed-down": 50,
  3. "alt-speed-enabled": false,
  4. "alt-speed-time-begin": 540,
  5. "alt-speed-time-day": 127,
  6. "alt-speed-time-enabled": false,
  7. "alt-speed-time-end": 1020,
  8. "alt-speed-up": 50,
  9. "bind-address-ipv4": "0.0.0.0",
  10. "bind-address-ipv6": "::",
  11. "blocklist-enabled": true,
  12. "blocklist-url": "http://list.iblocklist.com/?list=bt_level1&fileformat=p2p&archiveformat=gz",
  13. "cache-size-mb": 4,
  14. "dht-enabled": true,
  15. "download-dir": "/share/torrents",
  16. "download-queue-enabled": true,
  17. "download-queue-size": 5,
  18. "encryption": 2,
  19. "idle-seeding-limit": 30,
  20. "idle-seeding-limit-enabled": false,
  21. "incomplete-dir": "/share/torrents/inc",
  22. "incomplete-dir-enabled": true,
  23. "lpd-enabled": true,
  24. "message-level": 1,
  25. "peer-congestion-algorithm": "",
  26. "peer-id-ttl-hours": 6,
  27. "peer-limit-global": 500,
  28. "peer-limit-per-torrent": 20,
  29. "peer-port": 59648,
  30. "peer-port-random-high": 65535,
  31. "peer-port-random-low": 49152,
  32. "peer-port-random-on-start": false,
  33. "peer-socket-tos": "default",
  34. "pex-enabled": true,
  35. "port-forwarding-enabled": true,
  36. "preallocation": 0,
  37. "prefetch-enabled": true,
  38. "queue-stalled-enabled": true,
  39. "queue-stalled-minutes": 30,
  40. "ratio-limit": 2,
  41. "ratio-limit-enabled": false,
  42. "rename-partial-files": true,
  43. "rpc-authentication-required": false,
  44. "rpc-bind-address": "0.0.0.0",
  45. "rpc-enabled": true,
  46. "rpc-host-whitelist": "",
  47. "rpc-host-whitelist-enabled": false,
  48. "rpc-password": "",
  49. "rpc-port": 9091,
  50. "rpc-url": "/transmission/",
  51. "rpc-username": "admin",
  52. "rpc-whitelist": "127.0.0.1",
  53. "rpc-whitelist-enabled": false,
  54. "scrape-paused-torrents-enabled": true,
  55. "script-torrent-done-enabled": false,
  56. "script-torrent-done-filename": "",
  57. "seed-queue-enabled": false,
  58. "seed-queue-size": 10,
  59. "speed-limit-down": 100,
  60. "speed-limit-down-enabled": false,
  61. "speed-limit-up": 100,
  62. "speed-limit-up-enabled": false,
  63. "start-added-torrents": true,
  64. "trash-original-torrent-files": false,
  65. "umask": 0,
  66. "upload-slots-per-torrent": 14,
  67. "utp-enabled": true,
  68. "watch-dir": "/share/torrents/watch",
  69. "watch-dir-enabled": true
  70. }

Этот конфиг подразумевает что у нас есть каталог ​/share/torrents, в который будут падать торренты, а также два подкаталога — inc и watch. Первый  для размещения файлов в процессе скачивания, второй для скачивания торрентов, вручную кинутых в этот каталог.

Вебморда: http://IP:9091/transmission/web/, логин admin без пароля

Граббилка торрентов

Шикарный проект torrentwatch-xa,  который мониторит RSS-фиды различных трекеров (есть набор дефолтных и возможность добавить свои), выцепляет названия, интересующие нас. и добавляет их на скачивание. Как правило сериалы выкладываются по сериям, так что свежие всегда будут появляться у нас как только так сразу.

Установка описана на гитхабе, так что сразу к настройкам. Прописываем настройки подключения к торрент-клиенту — он может быть как локальным, так и удаленным. Указываем корневую папку в которую будут скачиваться сериалы.

Указываем чтобы сериалы качались каждый в свою папку по названию сериала, и выставляем лимит раздачи (в данном случае 20 к 1, то есть гиг скачали — 20 раздали и остановились)

Вкладка Favorites отвечает за настройки мониторинга тех сериалов, которые мы захотим скачать. Использовать регулярные выражения для вычленения имени сериала, искать во всех фидах, качать только торренты с номерами сезона и эпизода в названии, скачивать только новые эпизоды (об этом ниже)

Теперь о том как выглядит наше избранное и как добавить сериал. Ну, примерно так

Разберем на примере доктора кто, имя торрента с его серией будет примерно таким: doctor.who.2005.s12e07.720p.hdtv.x264-mtb[eztv]

Имя — это просто имя, может быть произвольным; фильтр — как правило совпадает с именем указанным в имени торрента, но игнорирует точки; quality — качество, которое кодируется или как разрешение (720p), или как тип рипа (webrip/hdtv и т.д.), можно указывать или так или эдак; Last Downloaded — последний добавленный в скачивание эпизод (это поле обновляется автоматически, но его можно поменять и вручную, если часть эпизодов у нас уже есть и мы хотим качать только новое), при добавлении нового сериала это поле заполняется в формате SSxEE (SS — номер сезона, EE — номер эпизода, напр. 02×08)

Скачиватель субтитров

Как правило, для большинства сериалов субтитры рано или поздно находятся на opensubtitles.org, и было бы логично искать их там. Но хотелось бы делать это автоматически. И есть такой скрипт: https://github.com/emericg/OpenSubtitlesDownload

/opt/OpenSubtitlesDownload.py
 
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-
  4. # OpenSubtitlesDownload.py / Version 4.1
  5. # This software is designed to help you find and download subtitles for your favorite videos!
  7. # You can browse the project's GitHub page:
  8. # https://github.com/emericg/OpenSubtitlesDownload
  9. # Learn much more about OpenSubtitlesDownload.py on its wiki:
  10. # https://github.com/emericg/OpenSubtitlesDownload/wiki
  11. # You can also browse the official website:
  12. # https://emeric.io/OpenSubtitlesDownload
  14. # Copyright (c) 2020 by Emeric GRANGE <emeric.grange@gmail.com>
  15. #
  16. # This program is free software: you can redistribute it and/or modify
  17. # it under the terms of the GNU General Public License as published by
  18. # the Free Software Foundation, either version 3 of the License, or
  19. # (at your option) any later version.
  20. #
  21. # This program is distributed in the hope that it will be useful,
  22. # but WITHOUT ANY WARRANTY; without even the implied warranty of
  23. # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  24. # GNU General Public License for more details.
  25. #
  26. # You should have received a copy of the GNU General Public License
  27. # along with this program.  If not, see <https://www.gnu.org/licenses/>.
  29. # Contributors / special thanks:
  30. # Thiago Alvarenga Lechuga <thiagoalz@gmail.com> for his work on the 'Windows CLI' and the 'folder search'
  31. # jeroenvdw for his work on the 'subtitles automatic selection' and the 'search by filename'
  32. # Gui13 for his work on the arguments parsing
  33. # Tomáš Hnyk <tomashnyk@gmail.com> for his work on the 'multiple language' feature
  34. # Carlos Acedo <carlos@linux-labs.net> for his work on the original script
  36. import os
  37. import re
  38. import sys
  39. import time
  40. import gzip
  41. import struct
  42. import argparse
  43. import mimetypes
  44. import subprocess
  46. if sys.version_info >= (3, 0):
  47.     import shutil
  48.     import urllib.request
  49.     from xmlrpc.client import ServerProxy, Error
  50. else: # python2
  51.     import urllib
  52.     from xmlrpclib import ServerProxy, Error
  54. # ==== Opensubtitles.org server settings =======================================
  56. # XML-RPC server domain for opensubtitles.org:
  57. osd_server = ServerProxy('https://api.opensubtitles.org/xml-rpc')
  59. # You can use your opensubtitles.org account to avoid "in-subtitles" advertisment
  60. # and bypass download limits. Be careful about your password security, it will be
  61. # stored right here in plain text... You can also change opensubtitles.org language,
  62. # it will be used for error codes and stuff.
  63. osd_username = ''
  64. osd_password = ''
  65. osd_language = 'en'
  67. # ==== Language settings =======================================================
  69. # 1/ Change the search language by using any supported 3-letter (ISO 639-2) language codes:
  70. #    > Supported ISO codes: https://www.opensubtitles.org/addons/export_languages.php
  71. # 2/ Search for subtitles in several languages at once by using multiple codes separated by a comma:
  72. #    > Exemple: opt_languages = ['eng,fre']
  73. opt_languages = ['eng']
  75. # Write 2-letter language code (ex: _en) at the end of the subtitles file. 'on', 'off' or 'auto'.
  76. # If you are regularly searching for several language at once, you sould use 'on'.
  77. opt_language_suffix = 'auto'
  78. opt_language_separator = '_'
  80. # ==== Search settings =========================================================
  82. # Subtitles search mode. Can be overridden at run time with '-s' argument.
  83. # - hash (search by hash)
  84. # - filename (search by filename)
  85. # - hash_then_filename (search by hash, then filename if no results)
  86. # - hash_and_filename (search using both methods)
  87. opt_search_mode = 'hash_then_filename'
  89. # Search and download a subtitles even if a subtitles file already exists.
  90. opt_search_overwrite = 'on'
  92. # Subtitles selection mode. Can be overridden at run time with '-t' argument.
  93. # - manual (always let you choose the subtitles you want)
  94. # - default (in case of multiple results, let you choose the subtitles you want)
  95. # - auto (automatically select the best subtitles found)
  96. opt_selection_mode = 'default'
  98. # Customize subtitles download path. Can be overridden at run time with '-o' argument.
  99. # By default, subtitles are downloaded next to their video file.
  100. opt_output_path = ''
  102. # ==== GUI settings ============================================================
  104. # Select your GUI. Can be overridden at run time with '--gui=xxx' argument.
  105. # - auto (autodetection, fallback on CLI)
  106. # - gnome (GNOME/GTK based environments, using 'zenity' backend)
  107. # - kde (KDE/Qt based environments, using 'kdialog' backend)
  108. # - cli (Command Line Interface)
  109. opt_gui = 'auto'
  111. # Change the subtitles selection GUI size:
  112. opt_gui_width  = 720
  113. opt_gui_height = 320
  115. # Various GUI options. You can set them to 'on', 'off' or 'auto'.
  116. opt_selection_hi       = 'auto'
  117. opt_selection_language = 'auto'
  118. opt_selection_match    = 'auto'
  119. opt_selection_rating   = 'off'
  120. opt_selection_count    = 'off'
  122. # ==== Exit codes ==============================================================
  124. # Exit code returned by the software. You can use them to improve scripting behaviours.
  125. # 0: Success, and subtitles downloaded
  126. # 1: Success, but no subtitles found
  127. # 2: Failure
  129. # ==== Super Print =============================================================
  130. # priority: info, warning, error
  131. # title: only for zenity and kdialog messages
  132. # message: full text, with tags and breaks (tags will be cleaned up for CLI)
  134. def superPrint(priority, title, message):
  135.     """Print messages through terminal, zenity or kdialog"""
  136.     if opt_gui == 'gnome':
  137.         subprocess.call(['zenity', '--width=' + str(opt_gui_width), '--' + priority, '--title=' + title, '--text=' + message])
  138.     elif opt_gui == 'kde':
  139.         # Adapt to kdialog
  140.         message = message.replace("\n", "<br>")
  141.         message = message.replace('\\"', '"')
  142.         if priority == 'warning':
  143.             priority = 'sorry'
  144.         elif priority == 'info':
  145.             priority = 'msgbox'
  147.         subprocess.call(['kdialog', '--geometry=' + str(opt_gui_width) + 'x' + str(opt_gui_height), '--title=' + title, '--' + priority + '=' + message])
  148.     else:
  149.         # Clean up formating tags from the zenity messages
  150.         message = message.replace("\n\n", "\n")
  151.         message = message.replace("<i>", "")
  152.         message = message.replace("</i>", "")
  153.         message = message.replace("<b>", "")
  154.         message = message.replace("</b>", "")
  155.         message = message.replace('\\"', '"')
  157.         print(">> " + message)
  159. # ==== Check file path & type ==================================================
  161. def checkFileValidity(path):
  162.     """Check mimetype and/or file extension to detect valid video file"""
  163.     if os.path.isfile(path) is False:
  164.         return False
  166.     fileMimeType, encoding = mimetypes.guess_type(path)
  167.     if fileMimeType is None:
  168.         fileExtension = path.rsplit('.', 1)
  169.         if fileExtension[1] not in ['avi', 'mp4', 'mov', 'mkv', 'mk3d', 'webm', \
  170.                                     'ts', 'mts', 'm2ts', 'ps', 'vob', 'evo', 'mpeg', 'mpg', \
  171.                                     'm1v', 'm2p', 'm2v', 'm4v', 'movhd', 'movx', 'qt', \
  172.                                     'mxf', 'ogg', 'ogm', 'ogv', 'rm', 'rmvb', 'flv', 'swf', \
  173.                                     'asf', 'wm', 'wmv', 'wmx', 'divx', 'x264', 'xvid']:
  174.             #superPrint("error", "File type error!", "This file is not a video (unknown mimetype AND invalid file extension):\n<i>" + path + "</i>")
  175.             return False
  176.     else:
  177.         fileMimeType = fileMimeType.split('/', 1)
  178.         if fileMimeType[0] != 'video':
  179.             #superPrint("error", "File type error!", "This file is not a video (unknown mimetype):\n<i>" + path + "</i>")
  180.             return False
  182.     return True
  184. # ==== Check for existing subtitles file =======================================
  186. def checkSubtitlesExists(path):
  187.     """Check if a subtitles already exists for the current file"""
  189.     for ext in ['srt', 'sub', 'sbv', 'smi', 'ssa', 'ass', 'usf']:
  190.         subPath = path.rsplit('.', 1)[0] + '.' + ext
  191.         if os.path.isfile(subPath) is True:
  192.             superPrint("info", "Subtitles already downloaded!", "A subtitles file already exists for this file:\n<i>" + subPath + "</i>")
  193.             return True
  194.         # With language code? Only check the first language (and probably using the wrong language suffix format)
  195.         if opt_language_suffix in ('on', 'auto'):
  196.             if len(opt_languages) == 1:
  197.                 splitted_languages_list = opt_languages[0].split(',')
  198.             else:
  199.                 splitted_languages_list = opt_languages
  200.             subPath = path.rsplit('.', 1)[0] + opt_language_separator + splitted_languages_list[0] + '.' + ext
  201.             if os.path.isfile(subPath) is True:
  202.                 superPrint("info", "Subtitles already downloaded!", "A subtitles file already exists for this file:\n<i>" + subPath + "</i>")
  203.                 return True
  205.     return False
  207. # ==== Hashing algorithm =======================================================
  208. # Info: https://trac.opensubtitles.org/projects/opensubtitles/wiki/HashSourceCodes
  209. # This particular implementation is coming from SubDownloader: https://subdownloader.net
  211. def hashFile(path):
  212.     """Produce a hash for a video file: size + 64bit chksum of the first and
  213.     last 64k (even if they overlap because the file is smaller than 128k)"""
  214.     try:
  215.         longlongformat = 'Q' # unsigned long long little endian
  216.         bytesize = struct.calcsize(longlongformat)
  217.         fmt = "<%d%s" % (65536//bytesize, longlongformat)
  219.         f = open(path, "rb")
  221.         filesize = os.fstat(f.fileno()).st_size
  222.         filehash = filesize
  224.         if filesize < 65536 * 2:
  225.             superPrint("error", "File size error!", "File size error while generating hash for this file:\n<i>" + path + "</i>")
  226.             return "SizeError"
  228.         buf = f.read(65536)
  229.         longlongs = struct.unpack(fmt, buf)
  230.         filehash += sum(longlongs)
  232.         f.seek(-65536, os.SEEK_END) # size is always > 131072
  233.         buf = f.read(65536)
  234.         longlongs = struct.unpack(fmt, buf)
  235.         filehash += sum(longlongs)
  236.         filehash &= 0xFFFFFFFFFFFFFFFF
  238.         f.close()
  239.         returnedhash = "%016x" % filehash
  240.         return returnedhash
  242.     except IOError:
  243.         superPrint("error", "I/O error!", "Input/Output error while generating hash for this file:\n<i>" + path + "</i>")
  244.         return "IOError"
  246. # ==== GNOME selection window ==================================================
  248. def selectionGnome(subtitlesList):
  249.     """GNOME subtitles selection window using zenity"""
  250.     subtitlesSelected = ''
  251.     subtitlesItems = ''
  252.     subtitlesMatchedByHash = 0
  253.     subtitlesMatchedByName = 0
  254.     columnHi = ''
  255.     columnLn = ''
  256.     columnMatch = ''
  257.     columnRate = ''
  258.     columnCount = ''
  260.     # Generate selection window content
  261.     for item in subtitlesList['data']:
  262.         if item['MatchedBy'] == 'moviehash':
  263.             subtitlesMatchedByHash += 1
  264.         else:
  265.             subtitlesMatchedByName += 1
  267.         subtitlesItems += '"' + item['SubFileName'] + '" '
  269.         if opt_selection_hi == 'on':
  270.             columnHi = '--column="HI" '
  271.             if item['SubHearingImpaired'] == '1':
  272.                 subtitlesItems += '"✔" '
  273.             else:
  274.                 subtitlesItems += '"" '
  275.         if opt_selection_language == 'on':
  276.             columnLn = '--column="Language" '
  277.             subtitlesItems += '"' + item['LanguageName'] + '" '
  278.         if opt_selection_match == 'on':
  279.             columnMatch = '--column="MatchedBy" '
  280.             if item['MatchedBy'] == 'moviehash':
  281.                 subtitlesItems += '"HASH" '
  282.             else:
  283.                 subtitlesItems += '"" '
  284.         if opt_selection_rating == 'on':
  285.             columnRate = '--column="Rating" '
  286.             subtitlesItems += '"' + item['SubRating'] + '" '
  287.         if opt_selection_count == 'on':
  288.             columnCount = '--column="Downloads" '
  289.             subtitlesItems += '"' + item['SubDownloadsCnt'] + '" '
  291.     if subtitlesMatchedByName == 0:
  292.         tilestr = ' --title="Subtitles for: ' + videoTitle + '"'
  293.         textstr = ' --text="<b>Video title:</b> ' + videoTitle + '\n<b>File name:</b> ' + videoFileName + '"'
  294.     elif subtitlesMatchedByHash == 0:
  295.         tilestr = ' --title="Subtitles for: ' + videoFileName + '"'
  296.         textstr = ' --text="Search results using file name, NOT video detection. <b>May be unreliable...</b>\n<b>File name:</b> ' + videoFileName + '" '
  297.     else: # a mix of the two
  298.         tilestr = ' --title="Subtitles for: ' + videoTitle + '"'
  299.         textstr = ' --text="Search results using file name AND video detection.\n<b>Video title:</b> ' + videoTitle + '\n<b>File name:</b> ' + videoFileName + '"'
  301.     # Spawn zenity "list" dialog
  302.     process_subtitlesSelection = subprocess.Popen('zenity --width=' + str(opt_gui_width) + ' --height=' + str(opt_gui_height) + ' --list' + tilestr + textstr \
  303.         + ' --column="Available subtitles" ' + columnHi + columnLn + columnMatch + columnRate + columnCount + subtitlesItems, shell=True, stdout=subprocess.PIPE)
  305.     # Get back the result
  306.     result_subtitlesSelection = process_subtitlesSelection.communicate()
  308.     # The results contain a subtitles?
  309.     if result_subtitlesSelection[0]:
  310.         if sys.version_info >= (3, 0):
  311.             subtitlesSelected = str(result_subtitlesSelection[0], 'utf-8').strip("\n")
  312.         else: # python2
  313.             subtitlesSelected = str(result_subtitlesSelection[0]).strip("\n")
  315.         # Hack against recent zenity version?
  316.         if len(subtitlesSelected.split("|")) > 1:
  317.             if subtitlesSelected.split("|")[0] == subtitlesSelected.split("|")[1]:
  318.                 subtitlesSelected = subtitlesSelected.split("|")[0]
  319.     else:
  320.         if process_subtitlesSelection.returncode == 0:
  321.             subtitlesSelected = subtitlesList['data'][0]['SubFileName']
  323.     # Return the result
  324.     return subtitlesSelected
  326. # ==== KDE selection window ====================================================
  328. def selectionKde(subtitlesList):
  329.     """KDE subtitles selection window using kdialog"""
  330.     subtitlesSelected = ''
  331.     subtitlesItems = ''
  332.     subtitlesMatchedByHash = 0
  333.     subtitlesMatchedByName = 0
  335.     # Generate selection window content
  336.     # TODO doesn't support additional columns
  337.     index = 0
  338.     for item in subtitlesList['data']:
  339.         if item['MatchedBy'] == 'moviehash':
  340.             subtitlesMatchedByHash += 1
  341.         else:
  342.             subtitlesMatchedByName += 1
  344.         # key + subtitles name
  345.         subtitlesItems += str(index) + ' "' + item['SubFileName'] + '" '
  346.         index += 1
  348.     if subtitlesMatchedByName == 0:
  349.         tilestr = ' --title="Subtitles for ' + videoTitle + '"'
  350.         menustr = ' --menu="<b>Video title:</b> ' + videoTitle + '<br><b>File name:</b> ' + videoFileName + '" '
  351.     elif subtitlesMatchedByHash == 0:
  352.         tilestr = ' --title="Subtitles for ' + videoFileName + '"'
  353.         menustr = ' --menu="Search results using file name, NOT video detection. <b>May be unreliable...</b><br><b>File name:</b> ' + videoFileName + '" '
  354.     else: # a mix of the two
  355.         tilestr = ' --title="Subtitles for ' + videoTitle + '" '
  356.         menustr = ' --menu="Search results using file name AND video detection.<br><b>Video title:</b> ' + videoTitle + '<br><b>File name:</b> ' + videoFileName + '" '
  358.     # Spawn kdialog "radiolist"
  359.     process_subtitlesSelection = subprocess.Popen('kdialog --geometry=' + str(opt_gui_width) + 'x' + str(opt_gui_height) + tilestr + menustr + subtitlesItems, shell=True, stdout=subprocess.PIPE)
  361.     # Get back the result
  362.     result_subtitlesSelection = process_subtitlesSelection.communicate()
  364.     # The results contain the key matching a subtitles?
  365.     if result_subtitlesSelection[0]:
  366.         if sys.version_info >= (3, 0):
  367.             keySelected = int(str(result_subtitlesSelection[0], 'utf-8').strip("\n"))
  368.         else: # python2
  369.             keySelected = int(str(result_subtitlesSelection[0]).strip("\n"))
  371.         subtitlesSelected = subtitlesList['data'][keySelected]['SubFileName']
  373.     # Return the result
  374.     return subtitlesSelected
  376. # ==== CLI selection mode ======================================================
  378. def selectionCLI(subtitlesList):
  379.     """Command Line Interface, subtitles selection inside your current terminal"""
  380.     subtitlesIndex = 0
  381.     subtitlesItem = ''
  383.     # Print video infos
  384.     print("\n>> Title: " + videoTitle)
  385.     print(">> Filename: " + videoFileName)
  387.     # Print subtitles list on the terminal
  388.     print(">> Available subtitles:")
  389.     for item in subtitlesList['data']:
  390.         subtitlesIndex += 1
  391.         subtitlesItem = '"' + item['SubFileName'] + '" '
  393.         if opt_selection_hi == 'on' and item['SubHearingImpaired'] == '1':
  394.             subtitlesItem += '> "HI" '
  395.         if opt_selection_language == 'on':
  396.             subtitlesItem += '> "Language: ' + item['LanguageName'] + '" '
  397.         if opt_selection_match == 'on':
  398.             subtitlesItem += '> "MatchedBy: ' + item['MatchedBy'] + '" '
  399.         if opt_selection_rating == 'on':
  400.             subtitlesItem += '> "SubRating: ' + item['SubRating'] + '" '
  401.         if opt_selection_count == 'on':
  402.             subtitlesItem += '> "SubDownloadsCnt: ' + item['SubDownloadsCnt'] + '" '
  404.         if item['MatchedBy'] == 'moviehash':
  405.             print("\033[92m[" + str(subtitlesIndex) + "]\033[0m " + subtitlesItem)
  406.         else:
  407.             print("\033[93m[" + str(subtitlesIndex) + "]\033[0m " + subtitlesItem)
  409.     # Ask user selection
  410.     print("\033[91m[0]\033[0m Cancel search")
  411.     sub_selection = -1
  412.     while(sub_selection < 0 or sub_selection > subtitlesIndex):
  413.         try:
  414.             if sys.version_info >= (3, 0):
  415.                 sub_selection = int(input(">> Enter your choice (0-" + str(subtitlesIndex) + "): "))
  416.             else: # python 2
  417.                 sub_selection = int(raw_input(">> Enter your choice (0-" + str(subtitlesIndex) + "): "))
  418.         except:
  419.             sub_selection = -1
  421.     # Return the result
  422.     if sub_selection == 0:
  423.         print("Cancelling search...")
  424.         return ""
  426.     return subtitlesList['data'][sub_selection-1]['SubFileName']
  428. # ==== Automatic selection mode ================================================
  430. def selectionAuto(subtitlesList):
  431.     """Automatic subtitles selection using filename match"""
  433.     if len(opt_languages) == 1:
  434.         splitted_languages_list = list(reversed(opt_languages[0].split(',')))
  435.     else:
  436.         splitted_languages_list = opt_languages
  438.     videoFileParts = videoFileName.replace('-', '.').replace(' ', '.').replace('_', '.').lower().split('.')
  439.     maxScore = -1
  441.     for subtitle in subtitlesList['data']:
  442.         score = 0
  443.         # points to respect languages priority
  444.         score += splitted_languages_list.index(subtitle['SubLanguageID']) * 100
  445.         # extra point if the sub is found by hash
  446.         if subtitle['MatchedBy'] == 'moviehash':
  447.             score += 1
  448.         # points for filename mach
  449.         subFileParts = subtitle['SubFileName'].replace('-', '.').replace(' ', '.').replace('_', '.').lower().split('.')
  450.         for subPart in subFileParts:
  451.             for filePart in videoFileParts:
  452.                 if subPart == filePart:
  453.                     score += 1
  454.         if score > maxScore:
  455.             maxScore = score
  456.             subtitlesSelected = subtitle['SubFileName']
  458.     return subtitlesSelected
  460. # ==== Check dependencies ======================================================
  462. def dependencyChecker():
  463.     """Check the availability of tools used as dependencies"""
  465.     if opt_gui != 'cli':
  466.         if sys.version_info >= (3, 3):
  467.             for tool in ['gunzip', 'wget']:
  468.                 path = shutil.which(tool)
  469.                 if path is None:
  470.                     superPrint("error", "Missing dependency!", "The <b>'" + tool + "'</b> tool is not available, please install it!")
  471.                     return False
  473.     return True
  475. # ==============================================================================
  476. # ==== Main program (execution starts here) ====================================
  477. # ==============================================================================
  479. ExitCode = 2
  481. # ==== Argument parsing
  483. # Get OpenSubtitlesDownload.py script absolute path
  484. if os.path.isabs(sys.argv[0]):
  485.     scriptPath = sys.argv[0]
  486. else:
  487.     scriptPath = os.getcwd() + "/" + str(sys.argv[0])
  489. # Setup ArgumentParser
  490. parser = argparse.ArgumentParser(prog='OpenSubtitlesDownload.py',
  491.                                  description='Automatically find and download the right subtitles for your favorite videos!',
  492.                                  formatter_class=argparse.RawTextHelpFormatter)
  494. parser.add_argument('--cli', help="Force CLI mode", action='store_true')
  495. parser.add_argument('-g', '--gui', help="Select the GUI you want from: auto, kde, gnome, cli (default: auto)")
  496. parser.add_argument('-l', '--lang', help="Specify the language in which the subtitles should be downloaded (default: eng).\nSyntax:\n-l eng,fre: search in both language\n-l eng -l fre: download both language", nargs='?', action='append')
  497. parser.add_argument('-i', '--skip', help="Skip search if an existing subtitles file is detected", action='store_true')
  498. parser.add_argument('-s', '--search', help="Search mode: hash, filename, hash_then_filename, hash_and_filename (default: hash_then_filename)")
  499. parser.add_argument('-t', '--select', help="Selection mode: manual, default, auto")
  500. parser.add_argument('-a', '--auto', help="Trigger automatic selection and download of the best subtitles found", action='store_true')
  501. parser.add_argument('-o', '--output', help="Override subtitles download path, instead of next their video file")
  503. parser.add_argument('filePathListArg', help="The video file(s) for which subtitles should be searched and downloaded", nargs='+')
  505. # Only use ArgumentParser if we have arguments...
  506. if len(sys.argv) > 1:
  507.     result = parser.parse_args()
  509.     # Handle results
  510.     if result.cli:
  511.         opt_gui = 'cli'
  512.     if result.gui:
  513.         opt_gui = result.gui
  514.     if result.search:
  515.         opt_search_mode = result.search
  516.     if result.skip:
  517.         opt_search_overwrite = 'off'
  518.     if result.select:
  519.         opt_selection_mode = result.select
  520.     if result.auto:
  521.         opt_selection_mode = 'auto'
  522.     if result.output:
  523.         opt_output_path = result.output
  524.     if result.lang:
  525.         if opt_languages != result.lang:
  526.             opt_languages = result.lang
  527.             opt_selection_language = 'on'
  528.             if opt_language_suffix != 'off':
  529.                 opt_language_suffix = 'on'
  531. # GUI auto detection
  532. if opt_gui == 'auto':
  533.     # Note: "ps cax" only output the first 15 characters of the executable's names
  534.     ps = str(subprocess.Popen(['ps', 'cax'], stdout=subprocess.PIPE).communicate()[0]).split('\n')
  535.     for line in ps:
  536.         if ('gnome-session' in line) or ('cinnamon-sessio' in line) or ('mate-session' in line) or ('xfce4-session' in line):
  537.             opt_gui = 'gnome'
  538.             break
  539.         elif 'ksmserver' in line:
  540.             opt_gui = 'kde'
  541.             break
  543. # Sanitize settings
  544. if opt_search_mode not in ['hash', 'filename', 'hash_then_filename', 'hash_and_filename']:
  545.     opt_search_mode = 'hash_then_filename'
  547. if opt_selection_mode not in ['manual', 'default', 'auto']:
  548.     opt_selection_mode = 'default'
  550. if opt_gui not in ['gnome', 'kde', 'cli']:
  551.     opt_gui = 'cli'
  552.     opt_search_mode = 'hash_then_filename'
  553.     opt_selection_mode = 'auto'
  554.     print("Unknown GUI, falling back to an automatic CLI mode")
  556. # ==== Check for the necessary tools (must be done after GUI auto detection)
  558. if dependencyChecker() is False:
  559.     sys.exit(2)
  561. # ==== Get valid video paths
  563. videoPathList = []
  565. if 'result' in locals():
  566.     # Go through the paths taken from arguments, and extract only valid video paths
  567.     for i in result.filePathListArg:
  568.         filePath = os.path.abspath(i)
  569.         if os.path.isdir(filePath):
  570.             # If it is a folder, check all of its files
  571.             for item in os.listdir(filePath):
  572.                 localPath = os.path.join(filePath, item)
  573.                 if checkFileValidity(localPath):
  574.                     videoPathList.append(localPath)
  575.         elif checkFileValidity(filePath):
  576.             # If it is a valid file, use it
  577.             videoPathList.append(filePath)
  578. else:
  579.     superPrint("error", "No file provided!", "No file provided!")
  580.     sys.exit(2)
  582. # If videoPathList is empty, abort!
  583. if not videoPathList:
  584.     parser.print_help()
  585.     sys.exit(1)
  587. # Check if the subtitles files already exists
  588. if opt_search_overwrite == 'off':
  589.     videoPathList = [path for path in videoPathList if not checkSubtitlesExists(path)]
  591.     # If videoPathList is empty, exit!
  592.     if not videoPathList:
  593.         sys.exit(1)
  595. # ==== Instances dispatcher ====================================================
  597. # The first video file will be processed by this instance
  598. videoPath = videoPathList[0]
  599. videoPathList.pop(0)
  601. # The remaining file(s) are dispatched to new instance(s) of this script
  602. for videoPathDispatch in videoPathList:
  604.     # Handle current options
  605.     command = sys.executable + " " + scriptPath + " -g " + opt_gui + " -s " + opt_search_mode + " -t " + opt_selection_mode
  606.     if not (len(opt_languages) == 1 and opt_languages[0] == 'eng'):
  607.         for resultlangs in opt_languages:
  608.             command += " -l " + resultlangs
  610.     # Split command string
  611.     command_splitted = command.split()
  612.     # The videoPath filename can contain spaces, but we do not want to split that, so add it right after the split
  613.     command_splitted.append(videoPathDispatch)
  615.     # Do not spawn too many instances at once
  616.     time.sleep(0.33)
  618.     if opt_gui == 'cli' and opt_selection_mode != 'auto':
  619.         # Synchronous call
  620.         process_videoDispatched = subprocess.call(command_splitted)
  621.     else:
  622.         # Asynchronous call
  623.         process_videoDispatched = subprocess.Popen(command_splitted)
  625. # ==== Search and download subtitles ===========================================
  627. try:
  628.     # ==== Connection to OpenSubtitlesDownload
  629.     try:
  630.         session = osd_server.LogIn(osd_username, osd_password, osd_language, 'opensubtitles-download 4.1')
  631.     except Exception:
  632.         # Retry once after a delay (could just be a momentary overloaded server?)
  633.         time.sleep(3)
  634.         try:
  635.             session = osd_server.LogIn(osd_username, osd_password, osd_language, 'opensubtitles-download 4.1')
  636.         except Exception:
  637.             superPrint("error", "Connection error!", "Unable to reach opensubtitles.org servers!\n\nPlease check:\n- Your Internet connection status\n- www.opensubtitles.org availability\n- Your downloads limit (200 subtitles per 24h)\n\nThe subtitles search and download service is powered by opensubtitles.org. Be sure to donate if you appreciate the service provided!")
  638.             sys.exit(2)
  640.     # Connection refused?
  641.     if session['status'] != '200 OK':
  642.         superPrint("error", "Connection error!", "Opensubtitles.org servers refused the connection: " + session['status'] + ".\n\nPlease check:\n- Your Internet connection status\n- www.opensubtitles.org availability\n- Your downloads limit (200 subtitles per 24h)\n\nThe subtitles search and download service is powered by opensubtitles.org. Be sure to donate if you appreciate the service provided!")
  643.         sys.exit(2)
  645.     # Count languages marked for this search
  646.     searchLanguage = 0
  647.     searchLanguageResult = 0
  648.     for SubLanguageID in opt_languages:
  649.         searchLanguage += len(SubLanguageID.split(','))
  651.     searchResultPerLanguage = [searchLanguage]
  653.     # ==== Get file hash, size and name
  654.     videoTitle = ''
  655.     videoHash = hashFile(videoPath)
  656.     videoSize = os.path.getsize(videoPath)
  657.     videoFileName = os.path.basename(videoPath)
  659.     # ==== Search for available subtitles on OpenSubtitlesDownload
  660.     for SubLanguageID in opt_languages:
  661.         searchList = []
  662.         subtitlesList = {}
  664.         if opt_search_mode in ('hash', 'hash_then_filename', 'hash_and_filename'):
  665.             searchList.append({'sublanguageid':SubLanguageID, 'moviehash':videoHash, 'moviebytesize':str(videoSize)})
  666.         if opt_search_mode in ('filename', 'hash_and_filename'):
  667.             searchList.append({'sublanguageid':SubLanguageID, 'query':videoFileName})
  669.         ## Primary search
  670.         try:
  671.             subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  672.         except Exception:
  673.             # Retry once after a delay (we are already connected, the server may be momentary overloaded)
  674.             time.sleep(3)
  675.             try:
  676.                 subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  677.             except Exception:
  678.                 superPrint("error", "Search error!", "Unable to reach opensubtitles.org servers!\n<b>Search error</b>")
  680.         #if (opt_search_mode == 'hash_and_filename'):
  681.         #    TODO Cleanup duplicate between moviehash and filename results
  683.         ## Fallback search
  684.         if ((opt_search_mode == 'hash_then_filename') and (('data' in subtitlesList) and (not subtitlesList['data']))):
  685.             searchList[:] = [] # searchList.clear()
  686.             searchList.append({'sublanguageid':SubLanguageID, 'query':videoFileName})
  687.             subtitlesList.clear()
  688.             try:
  689.                 subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  690.             except Exception:
  691.                 # Retry once after a delay (we are already connected, the server may be momentary overloaded)
  692.                 time.sleep(3)
  693.                 try:
  694.                     subtitlesList = osd_server.SearchSubtitles(session['token'], searchList)
  695.                 except Exception:
  696.                     superPrint("error", "Search error!", "Unable to reach opensubtitles.org servers!\n<b>Search error</b>")
  698.         ## Parse the results of the XML-RPC query
  699.         if ('data' in subtitlesList) and (subtitlesList['data']):
  701.             # Mark search as successful
  702.             searchLanguageResult += 1
  703.             subtitlesSelected = ''
  705.             # If there is only one subtitles (matched by file hash), auto-select it (except in CLI mode)
  706.             if (len(subtitlesList['data']) == 1) and (subtitlesList['data'][0]['MatchedBy'] == 'moviehash'):
  707.                 if opt_selection_mode != 'manual':
  708.                     subtitlesSelected = subtitlesList['data'][0]['SubFileName']
  710.             # Get video title
  711.             videoTitle = subtitlesList['data'][0]['MovieName']
  713.             # Title and filename may need string sanitizing to avoid zenity/kdialog handling errors
  714.             if opt_gui != 'cli':
  715.                 videoTitle = videoTitle.replace('"', '\\"')
  716.                 videoTitle = videoTitle.replace("'", "\'")
  717.                 videoTitle = videoTitle.replace('`', '\`')
  718.                 videoTitle = videoTitle.replace("&", "&")
  719.                 videoFileName = videoFileName.replace('"', '\\"')
  720.                 videoFileName = videoFileName.replace("'", "\'")
  721.                 videoFileName = videoFileName.replace('`', '\`')
  722.                 videoFileName = videoFileName.replace("&", "&")
  724.             # If there is more than one subtitles and opt_selection_mode != 'auto',
  725.             # then let the user decide which one will be downloaded
  726.             if not subtitlesSelected:
  727.                 # Automatic subtitles selection?
  728.                 if opt_selection_mode == 'auto':
  729.                     subtitlesSelected = selectionAuto(subtitlesList)
  730.                 else:
  731.                     # Go through the list of subtitles and handle 'auto' settings activation
  732.                     for item in subtitlesList['data']:
  733.                         if opt_selection_match == 'auto':
  734.                             if opt_search_mode == 'hash_and_filename':
  735.                                 opt_selection_match = 'on'
  736.                         if opt_selection_language == 'auto':
  737.                             if searchLanguage > 1:
  738.                                 opt_selection_language = 'on'
  739.                         if opt_selection_hi == 'auto':
  740.                             if item['SubHearingImpaired'] == '1':
  741.                                 opt_selection_hi = 'on'
  742.                         if opt_selection_rating == 'auto':
  743.                             if item['SubRating'] != '0.0':
  744.                                 opt_selection_rating = 'on'
  745.                         if opt_selection_count == 'auto':
  746.                             opt_selection_count = 'on'
  748.                     # Spaw selection window
  749.                     if opt_gui == 'gnome':
  750.                         subtitlesSelected = selectionGnome(subtitlesList)
  751.                     elif opt_gui == 'kde':
  752.                         subtitlesSelected = selectionKde(subtitlesList)
  753.                     else: # CLI
  754.                         subtitlesSelected = selectionCLI(subtitlesList)
  756.             # If a subtitles has been selected at this point, download it!
  757.             if subtitlesSelected:
  758.                 subIndex = 0
  759.                 subIndexTemp = 0
  761.                 # Select the subtitles file to download
  762.                 for item in subtitlesList['data']:
  763.                     if item['SubFileName'] == subtitlesSelected:
  764.                         subIndex = subIndexTemp
  765.                         break
  766.                     else:
  767.                         subIndexTemp += 1
  769.                 subLangId = opt_language_separator  + subtitlesList['data'][subIndex]['ISO639']
  770.                 subLangName = subtitlesList['data'][subIndex]['LanguageName']
  771.                 subURL = subtitlesList['data'][subIndex]['SubDownloadLink']
  772.                 subEncoding = subtitlesList['data'][subIndex]['SubEncoding']
  773.                 subPath = videoPath.rsplit('.', 1)[0] + '.' + subtitlesList['data'][subIndex]['SubFormat']
  774.                 if opt_output_path and os.path.isdir(os.path.abspath(opt_output_path)):
  775.                     subPath = os.path.abspath(opt_output_path) + "/" + subPath.rsplit('/', 1)[1]
  777.                 # Write language code into the filename?
  778.                 if ((opt_language_suffix == 'on') or (opt_language_suffix == 'auto' and searchLanguageResult > 1)):
  779.                     subPath = videoPath.rsplit('.', 1)[0] + subLangId + '.' + subtitlesList['data'][subIndex]['SubFormat']
  781.                 # Escape non-alphanumeric characters from the subtitles path
  782.                 if opt_gui != 'cli':
  783.                     subPath = re.escape(subPath)
  785.                 # Make sure we are downloading an UTF8 encoded file
  786.                 downloadPos = subURL.find("download/")
  787.                 if downloadPos > 0:
  788.                     subURL = subURL[:downloadPos+9] + "subencoding-utf8/" + subURL[downloadPos+9:]
  790.                 ## Download and unzip the selected subtitles (with progressbar)
  791.                 if opt_gui == 'gnome':
  792.                     process_subtitlesDownload = subprocess.call("(wget -q -O - " + subURL + " | gunzip > " + subPath + ") 2>&1" + ' | (zenity --auto-close --progress --pulsate --title="Downloading subtitles, please wait..." --text="Downloading <b>' + subtitlesList['data'][subIndex]['LanguageName'] + '</b> subtitles for <b>' + videoTitle + '</b>...")', shell=True)
  793.                 elif opt_gui == 'kde':
  794.                     process_subtitlesDownload = subprocess.call("(wget -q -O - " + subURL + " | gunzip > " + subPath + ") 2>&1", shell=True)
  795.                 else: # CLI
  796.                     print(">> Downloading '" + subtitlesList['data'][subIndex]['LanguageName'] + "' subtitles for '" + videoTitle + "'")
  798.                     if sys.version_info >= (3, 0):
  799.                         tmpFile1, headers = urllib.request.urlretrieve(subURL)
  800.                         tmpFile2 = gzip.GzipFile(tmpFile1)
  801.                         byteswritten = open(subPath, 'wb').write(tmpFile2.read())
  802.                         if byteswritten > 0:
  803.                             process_subtitlesDownload = 0
  804.                         else:
  805.                             process_subtitlesDownload = 1
  806.                     else: # python 2
  807.                         tmpFile1, headers = urllib.urlretrieve(subURL)
  808.                         tmpFile2 = gzip.GzipFile(tmpFile1)
  809.                         open(subPath, 'wb').write(tmpFile2.read())
  810.                         process_subtitlesDownload = 0
  812.                 # If an error occurs, say so
  813.                 if process_subtitlesDownload != 0:
  814.                     superPrint("error", "Subtitling error!", "An error occurred while downloading or writing <b>" + subtitlesList['data'][subIndex]['LanguageName'] + "</b> subtitles for <b>" + videoTitle + "</b>.")
  815.                     osd_server.LogOut(session['token'])
  816.                     sys.exit(2)
  818.     ## Print a message if no subtitles have been found, for any of the languages
  819.     if searchLanguageResult == 0:
  820.         superPrint("info", "No subtitles available :-(", '<b>No subtitles found</b> for this video:\n<i>' + videoFileName + '</i>')
  821.         ExitCode = 1
  822.     else:
  823.         ExitCode = 0
  825. except (OSError, IOError, RuntimeError, TypeError, NameError, KeyError):
  827.     # Do not warn about remote disconnection # bug/feature of python 3.5?
  828.     if "http.client.RemoteDisconnected" in str(sys.exc_info()[0]):
  829.         sys.exit(ExitCode)
  831.     # An unknown error occur, let's apologize before exiting
  832.     superPrint("error", "Unexpected error!", "OpenSubtitlesDownload encountered an <b>unknown error</b>, sorry about that...\n\n" + \
  833.                "Error: <b>" + str(sys.exc_info()[0]).replace('<', '[').replace('>', ']') + "</b>\n" + \
  834.                "Line: <b>" + str(sys.exc_info()[-1].tb_lineno) + "</b>\n\n" + \
  835.                "Just to be safe, please check:\n- www.opensubtitles.org availability\n- Your downloads limit (200 subtitles per 24h)\n- Your Internet connection status\n- That are using the latest version of this software ;-)")
  837. except Exception:
  839.     # Catch unhandled exceptions but do not spawn an error window
  840.     print("Unexpected error (line " + str(sys.exc_info()[-1].tb_lineno) + "): " + str(sys.exc_info()[0]))
  842. # Disconnect from opensubtitles.org server, then exit
  843. if session and session['token']:
  844.     osd_server.LogOut(session['token'])
  846. sys.exit(ExitCode)

Все что ему нужно — указать файл для которого мы хотим найти сабы, и пару параметров отвечающих за сами сабы (язык, обновлять не обновлять и т.д.). Так как мы исходим из того, что торрент-файлы у нас качаются автоматически, то и этот скрипт применять к файлам лучше скриптом, добавленным в крон. Скрипт простецкий:

/etc/cron.daily/download-subtitle
 
  1. #!/bin/bash
  2. path="/share/torrents/xa/"
  3. download_sub="/opt/OpenSubtitlesDownload.py --cli --lang eng --lang rus --skip  --auto "
  4. rmd="rm -rf "
  5. find "${path}" -size  50M -type f  -exec ${download_sub} {} \;
  6. find "${path}" -empty -type d  -exec ${rmd} {} \;

Этот скрипт проверяет все файлы в нашем каталоге /share/torrents/xa/, находит файлы больше 50 мегабайт (потому что иногда в торрентах содержится не только видеофайл, но и какой-нибудь сопровождающий файл с описанием релиза, да и сами субтитры, которые скачались в прошлый раз, нас не интересуют) и натравливает на каждый их них скрипт поиска субтитров. Если субтитры указанных языков (русский английский) найдены — они скачиваются. Также скрипт удаляет пустые каталоги, которые иногда образуются лично у меня после переноса новых серий на постоянное место жительства.

В итоге

Мы получаем уютный сервачок, который сам по себе живет и поставляет к нашему столу свежие серии. Работает исправно на все 95%, осечки случаются, но как правило это связано с некорректным названием торрентов (рукожопы случаются) или отсутствием субтитров на opensubtitles (если я нахожу сабы на стороне, стараюсь их добавить и туда).

Скрипт для поднятия SOCKS-прокси посредством ssh с проверкой его работоспособности

  Автор: | |
Комментарии к записи Скрипт для поднятия SOCKS-прокси посредством ssh с проверкой его работоспособности отключены

Небольшой скрипт, которым я пользуюсь для поднятия прокси-через-ssh. Висит в автозагрузке, постоянно проверяет при помощи курла доступность гугла, в случае недоступности — прибивает нужное ssh-соединение и открывает его снова.

ЗЫ: свой собственный прокси с шифрованием трафика средствами ssh — рекомендации лучших собаководов )

proxy.sh
 
  1. #!/bin/sh
  2. # establishes an SSH Socks proxy and reconnects if it fails.
  4. socksPort=8376
  5. server=example.com
  6. user=myproxyuser
  7. key=~/.ssh/id_rsa_myproxyuser
  9. while true
  10. do
  11.     timeout 20 curl --retry-max-time 1 --retry 5 --retry-delay 1 -x socks5://127.0.0.1:${socksPort} http://google.com/ > /dev/null 2>&1
  12.     if [ $? -ne 0 ]
  13.     then
  14.         echo $(date) reconnect...
  15.         while ps -eo pid,cmd | grep ssh | grep ${socksPort}
  16.         do
  17.             kill $(ps -eo pid,cmd | grep ssh | grep ${socksPort} | awk '{print $1}' | head -n 1)
  18.         done;
  19.         ssh -D ${socksPort} -f  -q -N -i "${key}" ${user}@${server}
  20.     else
  21.         sleep 10
  22.     fi
  23. done;

Вариант для cygwin

proxy_cygwin.sh
 
  1. #!/bin/sh
  2. # establishes an SSH Socks proxy and reconnects if it fails.
  4. socksPort=8376
  5. server=example.com
  6. user=myproxyuser
  7. key=~/.ssh/id_rsa_myproxyuser
  9. while true
  10. do
  11.     timeout 20  curl -x socks5://127.0.0.1:${socksPort} http://google.com/  > /dev/null 2>&1
  12.     if [ $? -ne 0 ]
  13.     then
  14.         while ps -e | grep ssh;
  15.         do
  16.             # /bin/kill - is important!
  17.             /bin/kill -f $(grep -a "ssh" /proc/*/cmdline  | grep -a  ${socksPort} | awk -F '/' '{print $3}' | head -n 1)
  18.         done;
  19.         echo $(date) reconnect
  20.         ssh -D ${socksPort} -fNq -i "${key}" ${user}@${server}
  21.     else
  22.         sleep 10
  23.     fi
  24. done;

Написал поисковик для файлопомоек — pyFileSearcher

  Автор: | |
Комментарии к записи Написал поисковик для файлопомоек — pyFileSearcher отключены

По работе нужно было внести ясность в постоянно убывающее место на файловых серверах, на которые пользователи любят сгружать всякий мусор, не относящийся к работе. Столкнувшись с такой необходимостью, полез искать софт и выяснил, что хотя индексаторов в целом довольно много, но они или перегружены функционалом и нацелены на домашнего пользователя — такие просто не справляются с большим объемом файлов; или являются какими-то безумными корпоративными системами, которые выглядят страшно шописец, ставятся как отдельный сервер с разворачиваемыми агентами и настраиваются так, что без поллитры не разобраться.

В общем, я решил что было бы прикольно написать что-то свое. Эту мысль я вынашивал наверное больше года, так как яжнепрограммист ну абсолютно, но вот прошел курс по гуям в питоне и подумал что надо бы попробовать че получится.

Получилось портабельное приложение, которое не обладает горой функционала, но во-первых умеет сожрать в себя 20 миллионов файлов, во-вторых — умеет искать по нужным в быту параметрам, таким как размер файла, тип, и — это важно — дате добавления в индекс. Строго говоря я не видел тулзов, которые бы сами запоминали время, когда файл был обнаружен. Да, у файла есть время создания и время модификации — и казалось бы их должно хватать для отфильтровывания новых файлов, когда мы хотим их найти. Но хрен там был, эти атрибуты ведут себя черт знает как — например файл притащенный с плеера может показать какой-нить 1700й год до нашей эры.

В общем ладно, это все лирика, вот что вышло:

Аскетично, но работает. Прожка может запускаться с ключом, который стартует сканирование, так что можно запускать его раз в сутки по шедулеру и потом смотреть — что же пользователи накидали за прошедшую неделю, нет ли свежих релизов с рутрекера ))

При скролле результатов отсутствующие файлы подсвечиваются красным, список можно сохранить в csv чтобы предъявить владельцу каталога на сервере или его начальнику =) Фильтры поиска можно сохранять (обычно мне нужны медиафайлы размером не менее, список расширений прилагается, в индексе появились за неделю)

Вся эта балалайка разумеется умеет работать под виндой, но и линукс не забыл (была бы макось под рукой, тестил бы код еще и под маком). В качестве базы данных можно использовать или sqlite, базы которого можно рожать прямо из проги, или подключиться к MySQL — мой случай, 20 лямов записей sqlite тупо не вывозит (собственно это проблема большинства несложных индексаторов, какие можно найти в инете)

В общем получилось такое промежуточное решение — простенькое и на скорую руку, не требующее воскуривания мануалов перед использованием, но и не умирающее от большого файлсервера. Да, поиск внутри файлов не умеет, как и кучу других плюшек, так что для домашнего использования скорее всего не пригодится, но мою задачу решает лучше чем что-то похожее, что я использовал (Locate32 — от его интерфейса и возможностей я отталкивался, но он с некоторой периодичностью терял конфиг, жрал под гиг оперативки из-за использования локальных баз, и был виндуз-онли. Хотя в целом прога более чем годная). Так что вот он, первый релиз: https://github.com/qiwichupa/pyFileSearcher/releases также залил на сурсфордж.

Думаю еще пару фишек потом добавить, типа поиска по файлам которые были удалены, потому что оно бывает нужно. Но это как будет время и желание — базовые мои хотелки оно уже удовлетворяет, может кому пригодится тоже =)

CyrTranscoder — свой велосипед для борьбы с кракозябрами

  Автор: | |
Комментарии к записи CyrTranscoder — свой велосипед для борьбы с кракозябрами отключены

В качестве лишней практики написал перекодировщик кракозябр, наподобие старой-доброй утилки «Штирлиц».

Утилка жрет текст построчно и пытается угадать какая пара кодировок была закосячена. Существует в двух вариантах: с графическим интерфейсом и консольный вариант. Оба варианта — просто скрипты на питоне, но для удобства пользования для винды собран гуевый бинарник.

Скачать можно на гитхабе: https://github.com/qiwichupa/cyrtranscode/releases

Папка windows\temp забивается файлами cab_xxxx

  Автор: | |
Комментарии к записи Папка windows\temp забивается файлами cab_xxxx отключены

Данная проблема вызвана сбоем службы автоматического обновления Windows, в частности при работе с серверами обновлений WSUS.

Пошаговое решение проблемы выглядит так:

  1. Остановка службы обновлений (wuauserv)
  2. Остановка службы trustedinstaller
  3. Удаление содержимого папки c:\windows\temp
  4. Удаление cab-файлов из папки c:\windows\logs\CBS
  5. Удаление папки  C:\windows\softwaredistribution
  6. Запуск сервиса trustedinstaller
  7. Запуск службы обновления

Для удаленного автоматического решения проблемы можно воспользоваться скриптом:

fix_winupdate_tmp_cab.ps1
 
  1. $Machine = read-host "Type in the Computer Name"
  3. $windowsUpdateService = 'wuauserv'
  4. $trustedInstallerService = 'trustedinstaller'
  6. function Set-ServiceState
  7. {
  8.     [CmdletBinding()]
  9.     param(
  10.         [string]$ComputerName,
  11.         [string]$ServiceName
  12.     )
  14.     Write-Verbose "Evaluating $ServiceName on $ComputerName."
  16.     [string]$WaitForIt = ""
  17.     [string]$Verb = ""
  18.     [string]$Result = "FAILED"
  20.     $svc = Get-Service -computername $ComputerName -name $ServiceName
  21.     Switch ($svc.status) {
  22.         'Stopped' {
  23.             Write-Verbose "[$ServiceName] is currently Stopped. Starting."
  24.             $Verb = "start"
  25.             $WaitForIt = 'Running'
  26.             $svc.Start()
  27.         }
  28.         'Running' {
  29.             Write-Verbose "[$ServiceName] is Running. Stopping."
  30.             $Verb = "stop"
  31.             $WaitForIt = 'Stopped'
  32.             $svc.Stop()
  33.         }
  34.         default {
  35.             Write-Verbose "$ServiceName is $($svc.status). Taking no action."
  36.         }
  37.     }
  39.     if ($WaitForIt -ne "") {
  40.         Try { # For some reason, we cannot use -ErrorAction after the next statement:
  41.             $svc.WaitForStatus($WaitForIt,'00:02:00')
  42.         } Catch {
  43.             Write-Warning "After waiting for 2 minutes, $ServiceName failed to $Verb."
  44.         }
  46.         $svc = (get-service -computername $ComputerName -name $ServiceName)
  47.         if ($svc.status -eq $WaitForIt) {
  48.             $Result = 'SUCCESS'
  49.         }
  51.         Write-Verbose "$Result - $ServiceName on $ComputerName is $($svc.status)"
  52.         Write-Verbose ("{0} - {1} on {2} is {4}" -f $Result, $ServiceName, $ComputerName, $svc.status)
  53.     }
  55. }
  57. # stop update service
  58. Write-Host "stop update service"
  59. Set-ServiceState -ComputerName $Machine -ServiceName $windowsUpdateService -Verbose
  61. #removes temp files and renames software distribution folder
  62. Write-Host "removes temp files and renames software distribution folder"
  63. Remove-Item \\$Machine\c$\windows\temp\* -recurse
  64. Rename-Item \\$Machine\c$\windows\SoftwareDistribution SoftwareDistribution.old
  66. #restarts update service
  67. Write-Host "restarts update service"
  68. Set-ServiceState -ComputerName $Machine -ServiceName $windowsUpdateService
  70. #removes software distribution.old
  71. Write-Host "removes software distribution.old"
  72. Remove-Item \\$Machine\c$\windows\SoftwareDistribution.old -recurse
  74. #stops trustedinstaller service
  75. Write-Host "stops trustedinstaller service"
  76. Set-ServiceState -ComputerName $Machine -ServiceName $trustedInstallerService
  78. #removes cab files from trustedinstaller
  79. Write-Host "removes cab files from trustedinstaller"
  80. remove-item \\$Machine\c$\windows\Logs\CBS\* -recurse
  82. #restarts trustedinstaller service
  83. Write-Host "restarts trustedinstaller service"
  84. Set-ServiceState -ComputerName $Machine -ServiceName $trustedInstallerService
  86. #rebuilds cab files from WSUS
  87. Write-Host "rebuilds cab files from WSUS"
  88. invoke-command -ComputerName $Machine -ScriptBlock { & cmd.exe "c:\windows\system32\wuauclt.exe /detectnow" }

Источник: https://community.spiceworks.com/topic/495234-windows-temp-file-is-full-of-cab_xxxx-files-on-windows-server-2008-r2