Add stop-wards logic

Add k8s deploy example

.github/workflows/build-push.yml

@@ -31,6 +31,41 @@ jobs:
         with:
           name: desubot.exe
           path: ./target/release/desubot.exe
+  build-push-docker:
+    runs-on: ubuntu-latest
+    steps:
+      - name: Branch name
+        id: branch_name
+        run: |
+          echo ::set-output name=SOURCE_NAME::${GITHUB_REF#refs/*/}
+          echo ::set-output name=SOURCE_BRANCH::${GITHUB_REF#refs/heads/}
+          echo ::set-output name=SOURCE_TAG::${GITHUB_REF#refs/tags/}
+      -
+        name: Set up QEMU
+        uses: docker/setup-qemu-action@v1
+      -
+        name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v1
+      -
+        name: Login to DockerHub
+        uses: docker/login-action@v1 
+        with:
+          username: ${{ secrets.DOCKERHUB_USERNAME }}
+          password: ${{ secrets.DOCKERHUB_TOKEN }}
+      -
+        name: Build and push
+        id: docker_build_latest
+        uses: docker/build-push-action@v2
+        with:
+          push: true
+          tags: ultradesu/desubot:latest
+      -
+        name: Build and push
+        id: docker_build_tag
+        uses: docker/build-push-action@v2
+        with:
+          push: true
+          tags: ultradesu/desubot:${{ steps.branch_name.outputs.SOURCE_TAG }}
 
   publish:
     name: Publish release

.gitignore

@@ -6,4 +6,6 @@ memory.sqlite3
 /video
 /voice
 /.idea
-Cargo.lock
+Cargo.lock
+k8s/k8s-deploy.yaml
+/identifier.sqlite

Cargo.toml

@@ -1,6 +1,6 @@
 [package]
 name = "desubot"
-version = "0.5.5"
+version = "0.5.8"
 authors = ["AB <ab@hexor.ru>"]
 edition = "2018"
 
@@ -12,7 +12,8 @@ tokio = { version = "0.2", features = ["full"]}
 tracing = "0.1.9"
 tracing-futures = "0.2"
 multipart = { version = "0.16", default-features = false, features = ["client"] }
-telegram-bot = "0.8.0"
+#telegram-bot = "0.8.0"
+telegram-bot = { git = "https://github.com/ayrat555/telegram-bot", branch = "ayrat555/api-fixes-10" }
 silicon = "0.4.0"
 hyper = "0.13"
 hyper-tls = { version = "0.4", optional = true  }

Dockerfile

@@ -0,0 +1,14 @@
+# syntax=docker/dockerfile:1
+
+FROM rust:latest AS builder
+WORKDIR /desubot
+ADD ./ /desubot/
+RUN cargo build --release
+
+FROM ubuntu:latest
+WORKDIR /storage
+COPY --from=builder /desubot/target/release/desubot /usr/bin/
+COPY mystem /usr/bin/
+RUN apt update && apt install -y fontconfig openssl ca-certificates && rm -rf /var/lib/apt/lists/*
+ENTRYPOINT desubot
+

README.md

@@ -1,3 +1,5 @@
+[![FOSSA Status](https://app.fossa.com/api/projects/git%2Bgithub.com%2Fhouse-of-vanity%2Fdesubot.svg?type=shield)](https://app.fossa.com/projects/git%2Bgithub.com%2Fhouse-of-vanity%2Fdesubot?ref=badge_shield)
+
 Desubot
 Telegram bot with light group statistic and heavy spy features.
 
@@ -12,3 +14,7 @@ Telegram bot with light group statistic and heavy spy features.
 == Important ==
 * Desubot uses MyStem by Yandex for word stemming and assume that mystem binary is available in PATH.
 On Windows it may be placed on working directory. Both Linux and Windows mystem binary is in repo.
+
+
+## License
+[![FOSSA Status](https://app.fossa.com/api/projects/git%2Bgithub.com%2Fhouse-of-vanity%2Fdesubot.svg?type=large)](https://app.fossa.com/projects/git%2Bgithub.com%2Fhouse-of-vanity%2Fdesubot?ref=badge_large)

assets/stop-words.txt

@@ -0,0 +1,427 @@
+а
+в
+г
+е
+ж
+и
+к
+м
+о
+с
+т
+у
+я
+бы
+stat
+вообще
+ThreadTopBot
+/stat
+во
+вы
+да
+до
+ее
+ей
+ею
+её
+же
+за
+из
+им
+их
+ли
+мы
+на
+не
+ни
+но
+ну
+нх
+об
+он
+от
+по
+со
+та
+те
+то
+ту
+ты
+уж
+без
+был
+вам
+вас
+ваш
+вон
+вот
+все
+всю
+вся
+всё
+где
+год
+два
+две
+дел
+для
+его
+ему
+еще
+ещё
+или
+ими
+имя
+как
+кем
+ком
+кто
+лет
+мне
+мог
+мож
+мои
+мой
+мор
+моя
+моё
+над
+нам
+нас
+наш
+нее
+ней
+нем
+нет
+нею
+неё
+них
+оба
+она
+они
+оно
+под
+пор
+при
+про
+раз
+сам
+сих
+так
+там
+тем
+тех
+том
+тот
+тою
+три
+тут
+уже
+чем
+что
+эта
+эти
+это
+эту
+алло
+буду
+будь
+бывь
+была
+были
+было
+быть
+вами
+ваша
+ваше
+ваши
+ведь
+весь
+вниз
+всем
+всех
+всею
+года
+году
+даже
+двух
+день
+если
+есть
+зато
+кого
+кому
+куда
+лишь
+люди
+мало
+меля
+меня
+мимо
+мира
+мной
+мною
+мочь
+надо
+нами
+наша
+наше
+наши
+него
+нему
+ниже
+ними
+один
+пока
+пора
+пять
+рано
+сама
+сами
+само
+саму
+свое
+свои
+свою
+себе
+себя
+семь
+стал
+суть
+твой
+твоя
+твоё
+тебе
+тебя
+теми
+того
+тоже
+тому
+туда
+хоть
+хотя
+чаще
+чего
+чему
+чтоб
+чуть
+этим
+этих
+этой
+этом
+этот
+более
+будем
+будет
+будто
+будут
+вверх
+вдали
+вдруг
+везде
+внизу
+время
+всего
+всеми
+всему
+всюду
+давно
+даром
+долго
+друго
+занят
+затем
+зачем
+здесь
+иметь
+какая
+какой
+когда
+кроме
+лучше
+между
+менее
+много
+могут
+может
+можно
+можхо
+назад
+низко
+нужно
+одной
+около
+опять
+очень
+перед
+позже
+после
+потом
+почти
+пятый
+разве
+рядом
+самим
+самих
+самой
+самом
+своей
+своих
+сеаой
+снова
+собой
+собою
+такая
+также
+такие
+такое
+такой
+тобой
+тобою
+тогда
+тысяч
+уметь
+часто
+через
+чтобы
+шесть
+этими
+этого
+этому
+близко
+больше
+будете
+будешь
+бывает
+важная
+важное
+важные
+важный
+вокруг
+восемь
+всегда
+второй
+далеко
+дальше
+девять
+десять
+должно
+другая
+другие
+других
+другое
+другой
+занята
+занято
+заняты
+значит
+именно
+иногда
+каждая
+каждое
+каждые
+каждый
+кругом
+меньше
+начала
+нельзя
+нибудь
+никуда
+ничего
+обычно
+однако
+одного
+отсюда
+первый
+потому
+почему
+просто
+против
+раньше
+самими
+самого
+самому
+своего
+сейчас
+сказал
+совсем
+теперь
+только
+третий
+хорошо
+хотеть
+хочешь
+четыре
+шестой
+восьмой
+впрочем
+времени
+говорил
+говорит
+девятый
+десятый
+кажется
+конечно
+которая
+которой
+которые
+который
+которых
+наверху
+наконец
+недавно
+немного
+нередко
+никогда
+однажды
+посреди
+сегодня
+седьмой
+сказала
+сказать
+сколько
+слишком
+сначала
+спасибо
+двадцать
+довольно
+которого
+наиболее
+недалеко
+особенно
+отовсюду
+двадцатый
+миллионов
+несколько
+прекрасно
+процентов
+четвертый
+двенадцать
+непрерывно
+пожалуйста
+пятнадцать
+семнадцать
+тринадцать
+двенадцатый
+одиннадцать
+пятнадцатый
+семнадцатый
+тринадцатый
+шестнадцать
+восемнадцать
+девятнадцать
+одиннадцатый
+четырнадцать
+шестнадцатый
+восемнадцатый
+девятнадцатый
+действительно
+четырнадцатый
+многочисленная
+многочисленное
+многочисленные
+многочисленный
+ага
+делать
+писать
+бот

k8s/k8s-deploy-example.yaml

@@ -0,0 +1,43 @@
+---
+apiVersion: v1
+kind: Secret
+metadata:
+  name: desubot-api-token
+data:
+  token: 123.... # Base64 encoded token.
+---
+apiVersion: apps/v1
+kind: StatefulSet
+metadata:
+  name: desubot
+spec:
+  serviceName: "desubot"
+  replicas: 1
+  selector:
+    matchLabels:
+      app: desubot
+  template:
+    metadata:
+      labels:
+        app: desubot
+    spec:
+      containers:
+      - name: desubot
+        image: ultradesu/desubot:latest
+        volumeMounts:
+        - name: storage
+          mountPath: /storage
+        env:
+        - name: TELEGRAM_BOT_TOKEN
+          valueFrom:
+            secretKeyRef:
+              name: desubot-api-token
+              key: token
+  volumeClaimTemplates:
+  - metadata:
+      name: storage
+    spec:
+      accessModes: [ "ReadWriteOnce" ]
+      resources:
+        requests:
+          storage: 50Gi

src/commands.rs

@@ -328,7 +328,7 @@ impl Execute for Markov {
         let mut sentences = chain.generate();
         let mut msg = String::new();
         for _ in 1..rand::thread_rng().gen_range(2, 10) {
-            msg = format!("{} {}", msg, sentences.pop().unwrap());
+            msg = format!("{} {}", msg, sentences.pop().unwrap_or(" ".into()));
         }
         match api
             .send(message.text_reply(msg.trim()).parse_mode(ParseMode::Html))

src/db.rs

@@ -34,6 +34,25 @@ pub(crate) fn update_scheme() -> Result<()> {
     Ok(())
 }
 
+pub(crate) fn load_stopwords() -> Result<()> {
+    let conn = open()?;
+    for table in include_str!("../assets/stop-words.txt").split('\n').into_iter() {
+        let word = table.trim();
+        if word != "" {
+            let mut stmt = conn.prepare_cached(
+                "
+                    INSERT OR IGNORE INTO
+                                    stop_words('word')
+                                    VALUES (:word)
+                    ",
+            )?.insert(params![word]);
+            //let mut rows = stmt.word(named_params! {":conf_id": conf_id})?;
+        }
+    }
+    info!("Stop words updated.");
+    Ok(())
+}
+
 pub(crate) fn get_user(id: telegram_bot::UserId) -> Result<telegram_bot::User, errors::Error> {
     let conn = open()?;
     let mut stmt = conn.prepare_cached(
@@ -447,7 +466,7 @@ pub(crate) async fn add_sentence(
                     Err(e) => panic!("SQLITE3 Error: Relations failed: {:?}", e),
                 }
             }
-            Err(_) => debug!("Word {} is in stop list.", &word.lex[0].lex),
+            Err(_) => debug!("Word {} is in a stop list.", &word.lex[0].lex),
         }
     }
     conn.execute("END TRANSACTION", params![]);

src/handlers.rs

@@ -53,7 +53,12 @@ pub async fn handler(
                         }
                     }
                 }
-                s if s.contains("/here") || s.contains("@here") => {
+                s if s.contains("/here")
+                    || s.contains("@here")
+                    || s.contains("/хере")
+                    || s.contains("@хере")
+                    || s.contains("\"хере") =>
+                {
                     db::add_sentence(&message, mystem).await?;
                     Here {
                         data: "".to_string(),

src/main.rs

@@ -1,4 +1,6 @@
+#![allow(unreachable_code)]
 use std::{env, process};
+use tokio::time::{delay_for, Duration};
 
 use futures::StreamExt;
 use telegram_bot::*;
@@ -16,7 +18,7 @@ use mystem::MyStem;
 
 #[tokio::main]
 async fn main() -> Result<(), errors::Error> {
-    env_logger::from_env(Env::default().default_filter_or("info")).init();
+    env_logger::Builder::from_env(Env::default().default_filter_or("info")).init();
     let mut mystem = match MyStem::new() {
         Ok(mystem) => mystem,
         Err(e) => {
@@ -28,6 +30,10 @@ async fn main() -> Result<(), errors::Error> {
         Ok(_) => {}
         Err(e) => panic!("Database error: {:?}", e),
     }
+    match db::load_stopwords() {
+        Ok(_) => {}
+        Err(e) => panic!("Database error: {:?}", e),
+    }
     let token = match env::var("TELEGRAM_BOT_TOKEN") {
         Ok(token) => token,
         Err(_) => {
@@ -44,18 +50,33 @@ async fn main() -> Result<(), errors::Error> {
         me.first_name,
         me.id
     );
-    while let Some(update) = stream.next().await {
+    loop {
-        let update = update?;
+        while let Some(update) = stream.next().await {
-        if let UpdateKind::Message(message) = update.kind {
+            match update {
-            db::add_conf(message.clone()).await?;
+                Ok(u) => {
-            db::add_user(message.clone()).await?;
+                    if let UpdateKind::Message(message) = u.kind {
-            match handlers::handler(api.clone(), message, token.clone(), &mut mystem, me.clone())
+                        db::add_conf(message.clone()).await?;
-                .await
+                        db::add_user(message.clone()).await?;
-            {
+                        match handlers::handler(
-                Ok(_) => {}
+                            api.clone(),
-                Err(e) => warn!("An error occurred handling command. {:?}", e),
+                            message,
-            }
+                            token.clone(),
+                            &mut mystem,
+                            me.clone(),
+                        )
+                        .await
+                        {
+                            Ok(_) => {}
+                            Err(e) => warn!("An error occurred handling command. {:?}", e),
+                        }
+                    }
+                }
+                Err(e) => {
+                    warn!("Telegram API Error: {:?}", e);
+                }
+            };
         }
+        delay_for(Duration::from_secs(2)).await;
     }
     Ok(())
 }