Contact person: firma_budowlana

Phone:Show

Email:Show

Location: Remote Cooperation

Budget: Recommended by industry experts

Time to start: As soon as possible

Project description:
"Opis:Zlecę wykonanie zespołu skryptów pozwalających na automatyczne pobierającego danych z oficjalnych baz przedsiębiorców:1. Hurtownia danych CEIDG2. KRS API3. REGONOraz zapisanie tych danych w lokalnej, zintegrowanej strukturze.Choć zlecenie może wydawać się duże, to mamy tu do zrealizowania tylko następujące działania:a) 3 skrypty do pobierania danych po APIb) Panel tabelkowy (np. filament) do wybierania które dane pobraćc) Panel do wyszukiwania i sortowania pobranych danych, a także ich eksportu do csvPreferowane technologie:- pyton do skryptów obsługujących API- laravel + filament do paneliChoć otwarty jestem na inne sugestie.W ramach zlecenia konieczne będzie:a) Opracowanie skryptów realizujących pobieranie oraz zwracających do bazy dane, raportujących stan pracy (np. pyton?)b) Opracowanie mechanizmu definiowania zadań dla skryptów wyszukujących (czyli operatora określa na podstawie kryteriów które dane mają zostać pobrane) w 2 etapach – określenie listy firm, następnie dopiero pobranie danych, dla każdego ze skryptu będą to osobne zadaniac) Stworzenie panelu do zarządzania zadaniami oraz do przeglądania danych (opis poniżej), preferowana technologia Laravel + FilamentInne prace w ramach zlecenia:1. Wykonanie projektu relacyjnej bazy danych na podstawie specyfikacji poszczególnych baz, tak aby istniała możliwość zapisywania w jednej bazie danych z różnych źródeł (np. stona www może być zapisana z REGON, może też być zapisana z KRS, podobnie jak nr telefonu) w szczególności do osobnych tabel wrzucamy właścicieli / dane kontaktowe / PKD / adres / itd..Projekt struktury wymaga akceptacji zleceniodawcy przed realizacją.2. Zaimportowanie bazy PKD, adresów, innych baz słownikowych z regon, ułatwiających dalsze wyszukiwanie.3. Wykonanie panelu generowania zapytań w którym (choćby dla bazy Hurtownia danych) można określić kryteria (np. PKD, miejscowość, wojewódzdtwo, itd…) tak aby w pierwszej kolejności odpytywać o rekordy które mają największą wartość.4. priorytety zapytań" (client-provided description)

Additional information:"1. Możliwość przełączania kluczy (logowania się na różne konta – hurtowni danych, REGON)

2. Świetnie gdyby udało się skrypt do odpytywania pyton umieścić (docelowo) na różnych serwerach, tak aby każda instancja odpytywała z różnych IP bazę z określoną częstotliwością i zapisywała dane w lokalnej bazie.

3. Ochrona przed: XSS Cross Site Scripting lub SQL Injection – filtrowanie danych przed próbą ich zapisania do bazy
4. Monitoring dopuszczalnej ilości zapytań na godzinę / minutę w różnych przedziałach czasu (w różnych godzinach różne limity)

Panel wyszukiwania i eksportu danych zgromadzonych:
1. Zebrane dane zapisywane są w lokalnej bazie
2. Operator wyszukuje dane - wyszukanie realizowane jest na podstaie intersujących danych – określenie PKD i innych kryteriów form, które chcemy wyszukać.
3. Operator dodaje do „koszyka” te wybrane przez siebie firmy, które zostały wstępnie wyselekcjonowane z lokalnej bazu
4. Grupa wybranych firm zapisywana jest w jako zestaw (nazwany przez Operatora np. „biura pośrednictwa Bydgoszcz 02.2026”
5. W systemie – niezależnie od tego zlecenia - opracowane są programistycznie „workery” realiziujące różne zadania na grupach. Każdy worker będzie pisany pod szczególne wymagania, pod konkretną grupę, pod konkretne zadanie. Przykładowe workery:
a. Przygotuj screen strony internetowej (w osobnej tabelce zapisuje screen strony tak jak by ktoś ją otworzył w przeglądarce – nie wiem czy to będzie potrzebne, ale to przykład).
7. Postęp pracy każdego z workerów będzie monitorowany
8. workery można uruchomić dla wybranych danych z jednej paczki (określić kryteria- np posiada www)

Wymagana:
1. Dokumentacja kodu, zawierająca faktyczny opis każdej funkcji, klasy, itd..
2. Wysoka jakość prac, pozwalająca na utrzymanie aplikacji w przyszłości
3. Testy jednostkowe
4. Konsekwencja w stosowaniu nazw, funkcji, struktury aplikacji


Po zakończeniu zlecenia, zakładam realizację prac dodatkowych w ramach odrębnych zleceń." (admin-provided information)