Skip to content

README.md

Latest commit

 

History

History
110 lines (86 loc) · 3.56 KB

README.md

File metadata and controls

110 lines (86 loc) · 3.56 KB
Raw

Twitter: romy

craw-dataset-kominfo

Program ini dirancang untuk melakukan web scraping pada situs kominfo dengan memanfaatkan
parameter seperti group, keyword, dan organisasi.
Tujuan utama dari program ini adalah untuk mengumpulkan informasi dataset dari kominfo sesuai
dengan kriteria yang diinputkan oleh pengguna.

Requirements

  • Python >= 3.11.4
  • pyquery >= 2.0.0
  • pytz >= 2023.3.post1
  • Requests >= 2.31.0

Installation

# Clonig Repository
git clone https://github.com/romysaputrasihananda/craw-dataset-kominfo

# Change Directory
cd craw-dataset-kominfo

# Install Requirement
pip install -r requirements.txt

Example Usages

Get all

python main.py --page=1 --output=data

By Group

python main.py --group=DOMAIN --page=1 --output=data

By Organisasi

python main.py --org=INSPEKTORAT_JENDERAL --page=1 --output=data

Searching

# get all
python main.py --keyword=pendidikan --page=1 --output=data
# by group
python main.py --keyword=pendidikan --group=POS --page=1 --output=data
# by organisasi
python main.py --keyword=pendidikan --org=DIREKTORAT_JENDERAL_PENYELENGGARAAN_POS_DAN_INFORMATIKA --page=1 --output=data

Flags

Flag Alias Description Example Default
--keyword -k keyword to search to the site --keyword=war None
--group -g group of the site --group=DOMAIN None
--org -or organisasi of the site --org=INSPEKTORAT_JENDERAL None
--page -p number page of the site --page=2 1
--output -o json file output path --output=data data

Sample Output

{
  "page": 1,
  "next_page": 2,
  "prev_page": null,
  "date_now": "2024-01-04T15:13:12",
  "data": [
    {
      "judul": "Jumlah Pertukaran Data Stasiun Radio Periode November 2021 hingga September 2022",
      "topik": "Frekuensi Radio",
      "pemilik": "Direktorat Jenderal Sumber Daya dan Perangkat Pos dan Informatika",
      "email_pemilik": "-",
      "dataset_dibuat": "2023-07-28T00:00:00",
      "dataset_diperbarui": "2023-07-28T00:00:00",
      "versi": "-",
      "lisensi": "",
      "datasets": {
        "csv": [
          {
            "judul": "Jumlah Pertukaran Data Stasiun Radio Periode November 2021 hingga September 2022",
            "url": "https://data.kominfo.go.id/warehouse/dataset/f52ce392-cc58-4e4c-949e-c4b1d87fe5e9/resource/ec4bd640-5fd6-4696-b773-8742d8ceaf16/download/jumlah-pertukaran-data-stasiun-radio-periode-november-2021-hingga-september-2022.csv"
          }
        ],
        "xlsx": [
          {
            "judul": "Jumlah Pertukaran Data Stasiun Radio Periode November 2021 hingga September 2022",
            "url": "https://data.kominfo.go.id/warehouse/dataset/f52ce392-cc58-4e4c-949e-c4b1d87fe5e9/resource/230ccf5c-8d73-44dc-a481-62376915ef3a/download/jumlah-pertukaran-data-stasiun-radio-periode-november-2021-hingga-september-2022.xlsx"
          }
        ]
      }
    }
    // more datasets
  ]
}

License

This project is licensed under the MIT License.