Acidpop Software

synobot 0.10 업데이트

https://blog.acidpop.kr/331

synobot 0.9 업데이트

https://blog.acidpop.kr/320

기존 xpebot 이 Synology DSM 이 업데이트 되면서 인증서 관련 오류가 발생.. ㅠㅠ

언젠가는 Download Station API 를 이용하도록 바꿔야지 하면서 미루다가 이제서야 작업 진행.

DSM 의 환경이 워낙 자주 바뀌기 때문에 이번에는 Docker 이미지로 작업을 하였다.

1. Synology DSM 에서 Docker 설치

2. Docker 실행.

레지스트리를 선택하고 검색 창에 synobot 을 검색 하면 acidpop/synobot 이 검색 된다.

검색된 synobot 옆의 아이콘을 누르면 설정 방법에 대한 페이지로 링크 된다.

아래 링크를 클릭 해도 동일하다.

Synobot 링크

위 링크에도 설정 방법이 설명 되어 있으니 해당 페이지에 있는 설정 방법을 이용하여 설정한다.

xpebot 프로젝트가 중단 되었습니다.

synobot 프로젝트로 다시 시작 합니다.

https://blog.acidpop.kr/305

DSM 6.0 이상 버전에서 xpebot (https://github.com/acidpop/xpebot) 을 적용하게 되면

다운로드 완료 시점에서 상태 정보가 "에러" 로 표시 되는걸 확인 할 수 있었다.

DSM 6.0 시스템이 없어서 무슨 문제인지 알수가 없었으나

최근 Hyper-V 에서 XPEnology 의 DSM 6.0 버전을 설치 할 수 있게 되어 디버깅을 시작.

몇번의 삽질 결과 DSM 6 버전부터는 각 Application 별로 계정이 따로 존재하고 postgresql DB 에서도 계정별로 권한이 주어져 있는것을 알게 되었다.

이 문제로 인해서 기존 Trigger 와 sql function 이 내부적으로 permission denied 오류가 발생하게 되었던걸로 확인 된다.

DSM 6.0 에서는 xpebot 만 git으로 받고 실행 한다고 해서 알림을 받을수는 없다.

아래의 조금 복잡(?)한 과정이 필요하지만 이 글을 천천히 따라한다면 가능할 것이라 생각된다.

1. Download Staion 설치 및 설정하기

먼저 DSM 에 Download Station 이 설치되어 있어야 한다. 당연한 이야기이지만 설치를 안하고 텔레그램 알림 받기 글을 따라 하다가는 막히는 부분이 많다.

DownloadStation 을 설치 하고 다운로드 받을 대상 폴더와 감시 폴더를 각각 설정한다.

주의 : 다른 시스템의 디스크를 Mount 한 디렉토리는 감시 폴더 작동이 제대로 안된다.

2. GitServer 설치 하기

패키지 센터를 열고 GitServer 를 설치 한다.

3. Python 설치 하기

패키지 센터를 열고 개발자 도구 메뉴를 클릭한 다음 Python3 와 Python Module 을 설치 한다.

4. 사용자 설정

제어판 -> 사용자 메뉴를 클릭한 다음

고급 탭으로 이동한다.

그후 스크롤을 가장 아래로 내려보면 사용자 홈 서비스 활성화 버튼이 있는데 해당 부분을 체크 하고 확인 버튼을 누른다.

5. SSH 서비스 활성화

제어판 -> 터미널 및 SNMP 메뉴를 클릭한 다음

SSH 서비스 활성화 버튼을 체크하고 "적용" 버튼을 클릭한다.

6. SSH 접속하기.

SSH 에 접속 할 수 있는 툴을 실행한다.

(없다면 http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 이곳에서 putty.exe 를 다운로드 받는다.)

필자는 XShell 을 사용한다. 혹여 SSH 접속할 일이 많다면 XShell 을 설치 하자 (http://www.netsarang.co.kr/download/down_xsh5.html) 개인 사용자 무료

putty 또는 ssh 접속 툴을 이용하여 NAS 의 ip 를 적고 port 는 22 번으로 접속한다. (5번에서 port 를 변경 하였다면 변경한 port 로 접속)

ID : DSM 로그인 ID (Admin Group 에 속해 있어야 함)

PW : DSM 로그인 ID 의 Password

7. Download Station 계정 변경하기

ssh 접속된 상태에서 다음 명령으로 root 계정으로 전환 할 수 있다.

위 명령을 실행 하면 Password 를 물어 보는데

DSM 로그인 ID 의 Password 를 입력 하면 된다.

whoami 명령을 이용해서 root 라고 표시 된다면 root 로 로그인 된것이다.

다음 명령으로 계정 정보를 변경 해야 한다.

vim /etc/passwd

위 명령을 수행하면 아래와 같은 화면을 볼수 있다.

수 많은 계정들 중 DownloadStation 이라는 계정을 보면 가장 끝에 /usr/bin/nologin 뭐 이런식으로 되어 있는걸 볼 수 있다.

이 부분을 다음과 같은 변경 한다.

커서를 수정 하려는 곳으로 이동 후에 i 키를 누르고 /bin/sh 를 입력한다.

필요 없는 부분은 delete 키를 이용해서 지운다.

/usr/bin/nologin 에서 /bin/sh 로 변경 하였다.

수정 완료 후 ESC 키를 한번 누르고

:wq  (콜론 wq) 명령을 입력하고 엔터를 치면 수정 된다.

8. DownloadStation 계정으로 로그인하기

/etc/passwd 수정이 끝났다면 다음 명령으로 DownloadStation 계정으로 로그인 할 수 있다.

위 명령을 수행 하고 whoami 명령을 이용해서 DownloadStation 계정으로 로그인 되었는지 확인 한다.

9. 알림을 받을 Table 및 트리거 생성하기.

DownloadStation 계정으로 로그인 되었다면 아래 명령을 이용해서 postgresql 에 접속 한다.

명령을 수행 하면 다음과 같은 화면을 볼 수 있다.

위 상태에서 다음 Query 문을 이용하여 Table, Function, Trigger 를 생성한다.

다음 순서 대로 Query 문을 복사/붙여넣기 한다.

1. Create Table.

CREATE TABLE btdownload_event(
    task_id           integer   NOT NULL,
    username          character varying(128),
    filename          text,
    status            integer,
    total_size        bigint,
    isread            integer,
    create_time       date
);

2. Create OR Replace function

CREATE OR REPLACE FUNCTION process_btdownload_event() RETURNS TRIGGER AS $btdownload_event$
    DECLARE
        rec_count integer;
    BEGIN
        IF (TG_OP = 'INSERT') THEN
            RETURN NEW;
        ELSIF (TG_OP = 'UPDATE') THEN
            IF (NEW.status = 2 AND NEW.current_size > 0 AND NEW.total_size > 0 AND NEW.current_rate > 0 ) THEN
                SELECT COUNT(*) into rec_count FROM btdownload_event WHERE task_id = NEW.task_id AND status = 2;
                IF ( rec_count = 0 ) THEN
                    INSERT INTO btdownload_event VALUES(NEW.task_id, NEW.username, NEW.filename, NEW.status, NEW.total_size, 0, now());
                END IF;
            ELSIF (NEW.status = 5 ) THEN
                SELECT COUNT(*) into rec_count FROM btdownload_event WHERE task_id = NEW.task_id AND status = 5;
                IF ( rec_count = 0 ) THEN
                    INSERT INTO btdownload_event VALUES(NEW.task_id, NEW.username, NEW.filename, NEW.status, NEW.total_size, 0, now());
                END IF;
            ELSIF (NEW.status = 118) THEN
                UPDATE download_queue SET status = 5, extra_info = '' WHERE task_id = NEW.task_id;
                DELETE FROM task_plugin WHERE task_id = NEW.task_id;
                DELETE FROM thumbnail WHERE task_id = NEW.task_id;
            ELSIF (NEW.status = 123) THEN
                SELECT COUNT(*) into rec_count FROM btdownload_event WHERE task_id = NEW.task_id AND status = 123;
                IF ( rec_count = 0 ) THEN
                    INSERT INTO btdownload_event VALUES(NEW.task_id, NEW.username, NEW.filename, NEW.status, NEW.total_size, 0, now());
                END IF;
            END IF;
            RETURN NEW;
        ELSIF (TG_OP = 'DELETE') THEN
            IF (OLD.status = 2) THEN
                INSERT INTO btdownload_event VALUES(OLD.task_id, OLD.username, OLD.filename, 999, OLD.total_size, 0, now());
            ELSE
                DELETE FROM btdownload_event WHERE task_id = OLD.task_id;
            END IF;
            RETURN OLD;
        END IF;
        RETURN NULL;
    END;
$btdownload_event$ LANGUAGE plpgsql;

3. Create Trigger

CREATE TRIGGER btdownload_event
AFTER INSERT OR UPDATE OR DELETE ON download_queue
    FOR EACH ROW EXECUTE PROCEDURE process_btdownload_event();

Query 가 성공적으로 끝났다면 \q 를 입력하면 psql 이 종료 된다.

10. root 계정으로 전환 후 xpebot 설치 하기

exit 명령을 이용해서 root 계정으로 다시 돌아온다.

혹시 root 계정으로 돌아오지 않는다면 ssh 접속을 종료하고 다시 접속하여

sudo -i 명령을 이용해 root 계정으로 로그인한다.

다음 명령을 이용해서 사용자 홈 경로로 이동한다.

volume 은 사용자 환경에 맞게 volume1, volume2 등으로 구성 되므로 자신의 홈 디렉토리가 어디에 설치 되어 있는지는 알아야 한다.

cd /volume1/homes/admin

위 명령에서 admin 은 자신의 dsm 로그인 ID 이다. 각자 ID에 맞게 수정해서 수행한다.

xpebot 설치는 다음 명령을 차례대로 수행한다.

기존 5.2 버전과는 다르게 bot6.sh.ori 파일을 복사해서 사용하여야 한다.

git clone "https://github.com/acidpop/xpebot"

wget "https://bootstrap.pypa.io/get-pip.py"
   
python ./get-pip.py
   
pip install telepot
   
pip install BeautifulSoup
   
pip install psycopg2
    
pip install Pillow
    
pip install psutil
   
cd xpebot
    
cp bot6.sh.ori bot.sh
    
cp xpebot.cfg.ori xpebot.cfg

bot.sh 파일을 열어 3번째 줄의 admin 부분을 자신의 계정으로 변경한다.

xpebot.cfg 파일을 열어 각각의 정보를 변경한다.

수정이 완료 되었다면 다음 명령어로 bot 을 실행 하거나 중지 시킬 수 있다.

./bot.sh start

./bot.sh stop

./bot.sh restart

./bot.sh chk

Download Station 계정으로 로그인 하고 Table, Function , Trigger 까지만 생성이 되었다면 https://github.com/acidpop/xpebot

github 에 있는 내용대로 하면 된다.

Telepot 8.0 에 맞춰 xpebot 이 업데이트 되었습니다.

자세한 사항은 github 를 참조하세요.

https://github.com/acidpop/xpebot

BOT 시작 후 응답 없는 문제는 수정 된걸로 보입니다.

현재 제 시스템에서는 계속 작동합니다.

BOT 을 시작 한 후 3시간 정도가 지나면 BOT 이 응답이 없는것이 확인 됩니다.

현재 telepot 라이브러리 개발자에게 문의한 상태이고 수정 되면 다시 공지 하겠습니다.

임시 방편으로 해결책이 있네요. (luna1474 팁을 주셨습니다)

1. bash 파일을 복사

xpebot 경로에 있는 bash 파일을 /usr/bin/ 경로에 복사

cp /volume1/homes/admin/xpebot/bash /usr/bin/

admin 은 xpebot 이 설치된 자신의 계정으로 변경

bot.sh 파일 가장 윗줄에

#!./bash   이 내용을

#!/usr/bin/bash 

위와 같이 변경 합니다.

1. DSM 에 접속

2. 제어판에서 작업 스케쥴러 실행

3. 생성 버튼 -> 사용자 정의 스크립트 선택

작업 이름은 사용자가 원하는데로 설정

사용자 정의 스크립트는 아래와 같이 입력

/volume1/homes/admin/xpebot/bot.sh restart

admin 은 xpebot 이 설치된 계정 이름으로 변경

스케쥴 탭을 누른 후 다음과 같이 설정

다음 일수 후 실행을 선택하고 "매일" 로 설정

시간

첫 실행 시간

00 : 15   또는 00:00 으로 설정

주기

매 1시간 으로 선택

마지막 실행 시간

23:15 또는 23:00 으로 설정

위와 같이 설정 하면 지정한 시간부터 매 1시간 마다 bot.sh restart 명령을 수행하게 된다.

telepot 응답을 못받는 문제가 해결 되기 까지는 위 방법으로 계속 사용 가능하다.

기존의 Telegram CLI 를 이용한 BOT 은 라즈베리 파이에서 구동을 하던지 chroot 위에서 구동을 해야 해서

NAS 만 가지고 있는 분들은 사용이 좀 어려웠다.

이번에 telepot 이라는 python 용 Telegram BOT 라이브러리를 이용해서 기존에 있던 기능들을

파이썬용으로 포팅해 보았다.

설치 및 사용 방법읍 github 에 자세히 설명해 놓았다.

https://github.com/acidpop/xpebot

파이썬을 아직 잘 다루지 못해 소스가 좀 난잡한 부분이 있지만 계속 수정해 나갈 생각이다.

최초에 서비스를 시작한 후에 BOT 계정에게 /dsdownloadregister   메시지를 보내야만 Download Station 모니터를 할 수 있으므로

필히 해줄 것!

이 부분은 다음 버전에 자동으로 등록 할 수 있도록 수정 예정

Download Station 을 모니터링 하여 작업이 추가 되었을 때와 다은로드가 완료 되었을 때 등록된 사용자에게 알림 메시지를 전송 한다.

XPenology 의 Download Station 을 활용해서 사용중이다.

하지만 다운로드가 완료가 되어도 알람 메시지를 받을 수가 없어서 수시로 확인을 해주어햐 하는 불편함이 있다.

그래서 Download Station 을 분석하여 텔레그램을 이용해 다운로드 상태 알람 메시지를 받을 수 있게 되었다.

아마 XPenology 사용하는 사람들중에 Download Station 보다는 Trasminssion 을 설치해서 활용 하는 사람이 더 많을것이라 생각된다.

transmission 은 다운로드 완료시 특정 실행 파일을 실행 할 수 있는 옵션이 있다.

Download Station 도 대충 보면 Transmission 을 모토로 개발된것으로 보이지만 환경 설정이 불가능하다.

필자가 분석한 방법을 토대로 정리해본다.

Download Station 은 내부의 postgresql DB를 사용한다.

download DB의 download_queue 테이블을 가지고 작동하는것을 확인하였다.

해당 테이블을 분석하여 download_queue 테이블에 INSERT, UPDATE, DELETE 에 대해 Trigger 를 걸어 필자가 만든 함수를 실행 하도록 수정하였다.

적용 방법은 다음과 같다.

XPenology 의 SSH 에 접속한다.

다음 명령어를 수행한다.

psql -U postgres -d download

위 명령을 수행하면 다음과 같이 나오게 된다.

위 상태에서 다음 Query 문을 이용해 Table, Function 을 생성하고

download_queue 테이블에 Trigger 를 걸어주자.

순서대로 실행 되어야 한다.

1. CREATE TABLE

2. CREATE OR REPLACE FUNCTION

3. CREATE TRIGGER

CREATE TABLE btdownload_event(
    task_id           integer   NOT NULL,
    username          character varying(128),
    filename          text,
    status            integer,
    total_size        bigint,
    isread            integer,
    create_time       date
);




CREATE OR REPLACE FUNCTION process_btdownload_event() RETURNS TRIGGER AS $btdownload_event$
    DECLARE
        rec_count integer;
    BEGIN
        IF (TG_OP = 'INSERT') THEN
            RETURN NEW;
        ELSIF (TG_OP = 'UPDATE') THEN
            IF (NEW.status = 2 AND NEW.total_size > 0 AND NEW.current_size > 0) THEN
                SELECT COUNT(*) into rec_count FROM btdownload_event WHERE task_id = NEW.task_id AND status = 2;
                IF ( rec_count = 0 ) THEN
                    INSERT INTO btdownload_event VALUES(NEW.task_id, NEW.username, NEW.filename, NEW.status, NEW.total_size, 0, now());
                END IF;
            ELSIF (NEW.status = 5 ) THEN
                SELECT COUNT(*) into rec_count FROM btdownload_event WHERE task_id = NEW.task_id AND status = 5;
                IF ( rec_count = 0 ) THEN
                    INSERT INTO btdownload_event VALUES(NEW.task_id, NEW.username, NEW.filename, NEW.status, NEW.total_size, 0, now());
                END IF;
            ELSIF (NEW.status = 118) THEN
                UPDATE download_queue SET status = 5, extra_info = '' WHERE task_id = NEW.task_id;
                DELETE FROM task_plugin WHERE task_id = NEW.task_id;
                DELETE FROM thumbnail WHERE task_id = NEW.task_id;
            END IF;
            RETURN NEW;
        ELSIF (TG_OP = 'DELETE') THEN
                DELETE FROM btdownload_event WHERE task_id = OLD.task_id;
            RETURN OLD;
        END IF;
        RETURN NULL;
    END;
$btdownload_event$ LANGUAGE plpgsql;



CREATE TRIGGER btdownload_event
AFTER INSERT OR UPDATE OR DELETE ON download_queue
    FOR EACH ROW EXECUTE PROCEDURE process_btdownload_event();

Copy가 안되는 분은 첨부 파일을 다운로드 한다.

btdownsql.txt

위와 같이 하였다면

Download Station 에서 다운로드가 시작되었을때와 완료 되었을때 각각 btdownload_event 테이블에 다음 정보를 Insert 하게 된다.

1. Task ID    - Download Station 에서 사용하는 Task ID이다.

2. user name - 다운로드를 요청한 DSM 사용자 ID

3. File Name    - 다운로드 중인 토렌트의 제목

4. Status        - 다운로드 상태 코드

5. Total_Size    - 다운로드 중인 토렌트의 총 크기

6. isread            - btdownload_event 테이블에서 읽었는지 여부를 표시 하기 위한 Flag 값

7. create_time     - btdownload_event 에 insert 된 시간

psql 에서 \q 를 입력하여 psql 을 종료한다.

다음 경로로 이동한다.

cd /volume1/homes/user

user 는 자신의 계정이다.

/root 에서 작업하면 DSM 마이그레이션시 전부 날아가므로 주의

다음 Shell Script 를 저장한다.

dsmonitor.sh

#! /bin/sh

#-------------------------------------------------------
# Created by Acidpop on 2015.   .   .
# [author] acidpop(http://blog.acidpop.kr)
# [version] v0.1
#-------------------------------------------------------

FILE_NAME="/tmp/dsdown.txt"


date "+%Y/%m/%d %H:%M:%S" > $FILE_NAME
echo "DS DonwloadStation Monitor 서비스가 시작되었습니다" >> $FILE_NAME

curl --form userfile=@$FILE_NAME --form password=5E884898DA28047151D0E56F8DC6292773603D0D6AABBDD62A11EF721D1542D8 http://192.168.0.199/tgcli.php


while :
do

    psql -U postgres -d download -t -A -c "SELECT * FROM btdownload_event WHERE isread=0;" | while  read line
    do
        IDX=`echo $line | cut -d '|' -f1`
        USER_NAME=`echo $line | cut -d '|' -f2`
        TITLE=`echo $line | cut -d '|' -f3`
        STATUS_VALUE=`echo $line | cut -d '|' -f4`
        SIZE=`echo $line | cut -d '|' -f5`
        CREATE_TIME=`echo $line | cut -d '|' -f7`
    
        case $STATUS_VALUE in
            1) STATUS="대기 중" ;;
            2) STATUS="다운로드 중" ;;
            3) STATUS="일시 정지" ;;
            4) STATUS="종료 중" ;;
            5) STATUS="다운로드 완료" ;;
            6) STATUS="해시 체크" ;;
            7) STATUS="시딩 중" ;;
            8) STATUS="파일 호스팅 대기" ;;
            9) STATUS="압축 해제 중" ;;
            *) STATUS="알 수 없는 코드 [$STATUS_VALUE]" ;;
        esac

        echo "상태   : $STATUS" > $FILE_NAME
        echo "파일   : $TITLE" >> $FILE_NAME
    
        CONV_SIZE=`echo $SIZE | awk '{ sum=$1 ; hum[1024**3]="GB";hum[1024**2]="MB";hum[1024]="KB"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s\n",sum/x,hum[x];break } }}'`
    
        echo "크기   : $CONV_SIZE" >> $FILE_NAME
        echo "사용자 : $USER_NAME" >> $FILE_NAME

        psql -U postgres -d download -c "UPDATE btdownload_event SET isread = 1 WHERE task_id = $IDX"
    
        curl --form userfile=@$FILE_NAME --form password=5E884898DA28047151D0E56F8DC6292773603D0D6AABBDD62A11EF721D1542D8 --form username=$USER_NAME http://192.168.0.199/tgcli.php
    done

    sleep 5
done

저장 하였다면 다음 명령을 이용하여 실행 권한을 주자.

chmod 755 dsmonitor.sh

위 Shell Script 는 5초에 한번씩 btdownload_event 테이블을 체크하여 isread 가 0인 항목을 가져와 /tmp/dsdown.txt 파일에 저장을 한다.

btdownload_event 테이블을 체크하는 Query 는 다음과 같다.

그 후 해당 파일을 curl 을 이용하여 라즈베리파이의 php 로 전송한다.

라즈베리파이와 Telegram CLI, PHP 는 다음 강좌를 참고한다.

2015/08/13 - [강좌/RaspberryPI 활용] - 라즈베리파이 Telegram - PHP를 이용하여 메시지 보내기

만약 PushBullet 을 사용중이라면 curl --form 라인의 코드를 다음과 같이 수정하면 된다.

BODY=`cat /tmp/dsdown.txt`

curl -u $token: https://api.pushbullet.com/v2/pushes -d type=note -d title="Download Station" -d body="$BODY" --insecure

BODY=`cat 이 부분의 ` 이 코드는 작은 따옴표가 아닌 키보드의 ~ 모양(숫자1 키 왼쪽) 키에 있는 기호이다.

/tmp/dsdown.txt 파일에 내용이 기록되므로 다양한 방법으로 알림을 사용 할 수 있을 것이다.

이제 위 Shell Script 를 데몬으로 실행 해야 하는데

dsmonitor.sh &

위와 같이 실행 하면 SSH 접속이 종료 될때 dsmonitor.sh 도 종료된다.

다음과 방법으로 실행 하면 된다.

/opt/bin/bash -c "/volume1/homes/user/dsmonitor.sh &"

Bash 를 이용해서 데몬으로 실행 하는 방법인데 만약 /opt/bin/bash 가 없다면

ipkg 를 이용해서 설치하자.

/opt/bin/ipkg install bash

XPenology 가 리부팅 되어도 위 스크립트를 데몬으로 항상 실행하게 하고 싶다면

다음 파일에 내용을 추가하자.

/etc/rc.local

위 파일을 vi 또는 nano 등 에디터로 열어

가장 마지막 줄에 exit 0 위쪽에 다음과 같이 추가해준다.

/opt/bin/bash -c "/volume1/homes/user/dsmonitor.sh &"

혹여 bash 설치를 못하시는 분들을 위해 shell Script 와 bash 파일을 압축하여 첨부한다.

dsmon.tgz

※ 위 방법을 통해 XPenology 가 이상 작동을 하여도 필자는 책임 지지 않습니다.

중요한 정보가 저장되어 있다면 꼭 백업 하시고 작업하세요.

특히 download_queue 테이블은 건드리시면 안됩니다.

XPenology 의 알림 메시지 모두를 Telegram 으로 전송 받고 싶지만

도무지 Notify 메시지가 어디에 저장이 되는지 찾을 수가 없네요..

혹시 아시는 분은 댓글에 부탁드려요~!

XPEnology  바탕화면의 알림 메시지는 다음 경로에 json format 으로 저장된다

/usr/syno/etc/preference/userid/dsmnotify

userid 는 자신이 사용하는 계정 ID 이다.

DSM 5.2-5644 에서는 /etc/rc.local 파일이 없는 경우가 있다.

다음 경로로 이동

/usr/syno/etc/rc.d

userid 를 자신의 계정 ID로 변경 하고 다음 파일명으로 저장한다.

S99dsdownmonitor.sh

chmod 755 ./S99dsdownmonitor.sh

이렇게 sh 파일만 생성하면 부팅시 자동으로 실행 된다.