netclient.go 2.5 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980
  1. // package web_worker -- веб-воркер бота
  2. package web_worker
  3. import (
  4. "context"
  5. "fmt"
  6. "io"
  7. "log"
  8. "net/http"
  9. "strings"
  10. "sync"
  11. "time"
  12. "wartank/pkg/components/scene_net/netstat"
  13. "wartank/pkg/types"
  14. )
  15. // ВебВоркер -- объект сетевого испонлителя бота
  16. type ВебВоркер struct {
  17. botNet types.ИБотСеть
  18. conn *http.Client
  19. stat *netstat.NetStat
  20. block sync.Mutex
  21. }
  22. // НовВебВоркер -- возвращает веб-воркера бота
  23. func НовВебВоркер(botNet types.ИБотСеть, conn *http.Client) types.ИВебВоркер {
  24. сам := &ВебВоркер{
  25. botNet: botNet,
  26. conn: conn,
  27. stat: netstat.NewNetStat(botNet),
  28. }
  29. return сам
  30. }
  31. // Получ -- потокобезопасно возвращает список строк по ссылке
  32. func (сам *ВебВоркер) Получ(strLink string) ([]string, error) {
  33. сам.block.Lock()
  34. defer сам.block.Unlock()
  35. // if strLink == "https://wartank.ru/production/Mine" {
  36. log.Printf("ВебВоркер.Получ(): link=%v\n", strLink)
  37. // }
  38. ctxCancel, fnCancel := context.WithTimeout(сам.botNet.Кнт(), time.Second*10)
  39. defer fnCancel()
  40. req, err := http.NewRequestWithContext(ctxCancel, "GET", strLink, nil)
  41. if err != nil {
  42. сам.stat.IncErr()
  43. return nil, fmt.Errorf("ВебВоркер.Получ(): при создании запроса, err=\n\t%w", err)
  44. }
  45. req.Header.Set("User-Agent", "Mozilla Firefox 94.1")
  46. httpResp, err := сам.conn.Do(req)
  47. if err != nil {
  48. сам.stat.IncErr()
  49. return nil, fmt.Errorf("ВебВоркер.Получ(): при выполнении GET-запроса, err=\n\t%w", err)
  50. }
  51. defer httpResp.Body.Close()
  52. if httpResp.StatusCode != http.StatusOK {
  53. сам.stat.IncErr()
  54. return nil, fmt.Errorf("ВебВоркер.Получ(): code=%v, status=%v", httpResp.StatusCode, httpResp.Status)
  55. }
  56. binData, err := io.ReadAll(httpResp.Body)
  57. if err != nil {
  58. сам.stat.IncErr()
  59. return nil, fmt.Errorf("ВебВоркер.Получ(): при чтении тела ответа, err=\n\t%w", err)
  60. }
  61. if len(binData) == 0 {
  62. сам.stat.IncErr()
  63. return nil, fmt.Errorf("ВебВоркер.Получ(): пустое тело ответа, err=\n\t%w", err)
  64. }
  65. lenData := len(binData) + len(strLink)
  66. сам.stat.AddByte(lenData)
  67. lstString := strings.Split(string(binData), "\n")
  68. if len(lstString) == 0 {
  69. сам.stat.IncErr()
  70. return nil, fmt.Errorf("ВебВоркер.Получ(): lstString is empty")
  71. }
  72. return lstString, nil
  73. }