Running Python App in Background, Linux

Salam suksess worker,

python dalam banyak hal, berjalan baik di linux. pada saat tertentu kita membutuhkan sebuah script kecil yang bisa bekerja di background process operationg system. untuk hal ini kita bisa menggunakan nohup, nohup memungkinkan kita menjalankan script di background process. bagaimana cara memanfaatkanya ?. perhatikan sorce di bawah ini

nohup python file_name.py &

setelah mengeksekusi script diatas tentunya kita ingin memastikan apakah background processnya berjalan dengan baik atau tidak, perhatikan script di bawah ini :

ps -fA | grep python

untuk menghentikan background process perhatikan script di bawah

kill your_pid

baca nohup command di sini

String To Dict, Python

change time zone using pytz

python

Salam sukses profesional,

saat kita mengambil data dictionary dari database. system akan membacanya sebagai string. dalam kasus ini kita perlu mengubah string ke dalam bentuk dictionary. perhatikan sample di bawah ini :

route = "{'flight_name':'sriwijaya','class':'SJ 206','departure':'CGK','arrival':'SUB'}"

variable route diatas akan bertipe string, lakukan pengujian :

print(type(route))

kemudian ubah type variable route kedalam bentuk dictionary agar kita mudah mengolah data yang ada di dalamnya

import ast

route = "{'flight_name':'sriwijaya','class':'SJ 206','departure':'CGK','arrival':'SUB'}"

migrate = ast.literal_eval(route)

print(type(migrate))

** literal_eval() baca dokumentasinya di sini

 

String Format, Python

change time zone using pytz

python

Pagi dunia,

ada saatnya kita ingin menyisipkan beberapa karakter secara dynamic pada sebuah variable string. misal ada sebuah variable string dengan nama jalan

jalan = "Jalan Raya Daan Mogot No.{} Rt.{} Rw.{}"

kita ingin mengisi data ({}) secara dinamis, bagaimana caranya ?

Python mempunya fungsi pengolahan data yang cukup baik. pada kasus ini kita bisa menggunakan fungsi format() untuk menyisipkan karakter kedalam variable jalan. lihat sample di bawah ini

jalan = "Jalan Raya Daan Mogot No.{0} Rt.{1} Rw.{2}".format('23','02','01')

hasil akhirnya

Jalan Raya Daan Mogot No.23 Rt.02 Rw.01

cukup sederhana sekali pengolahan data dengan python

Tweepy, Get Twitter Trends

Ada saat-saat tertentu kita ingin membuat sebuah apps untuk melihat trending topik pada media sosial twitter. twitter menyediakan api yang bisa kita gunakan untuk mendapatkan data-data tertentu secara terbatas. untuk connect dengan twitter API kamu bisa membaca manualnya di sini.

python mempunyai sebuah library yang dapat membantu kita untuk terintegrasi dengan twitter API yaitu tweepy. install tweepy dengan pip. sebelumnya pastikan kamu sudah mendapatkan akses token dari apps yang akan kamu buat. untuk bisa menggunakan tweepy pastikan hal di bawah ini sudah kamu dapatkan dari twitter API.

consumer_key = 'xdfdfdggfdfd34343'
consumer_secret = '54544090909oOA3'
access_token = '194900968-sdfdfTYaxS7z3vsB99898dfdkfjkdjfkdjfkdf'
access_secret = 'hlI1QB5O090909090909TN'

download source : https://github.com/alfinfanther/twitter

docs tweepy : http://docs.tweepy.org/en/v3.5.0/getting_started.html

 

Scrapy Part 1, Setup & Configuration

Apa itu scrapy ?

scrapy adalah salah tools canggih yang digunakan untuk melakukan web scrapper.

Web scraping, sering disebut web crawling atau web spidering.Dengan scraper web, Anda dapat menambang data tentang serangkaian produk, mendapatkan teks atau data kuantitatif, mendapatkan data dari situs tanpa API resmi, atau hanya memuaskan keingintahuan pribadi Anda sendiri.

secara sederhana scraping bisa dilakukan melalui dua tahap :

  1. mendownload halaman web
  2. mengambil halaman web tersebut dan mengekstrak informasi yang ada di dalamnya.

Instalasi scrapy

pastikan di komputermu sudah terinstal python 2.7

install virtual environment jika belum menginstall virtual environment kamu dapat membaca artikel sebelumnya

jika di komputermu python start defaultnya adalah python 3.x kamu dapat mengikuti langkah di bawah ini

mkvirtualenv version

kemudian install scrapy dengan pip

install scrapy

buat sebuah project dengan nama tutorial

create project scrapy

structur directory framework scrapy

sekarang buat sebuah spiders dengan nama quotes_spider.py letakan di di dalam direktory tutorial/spiders

import scrapy
 
 
class QuotesSpider(scrapy.Spider):
    name = "quotes"
 
    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
 
    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

sekarang jalan kode diatas dan pindah ke main directory project tutorial

scrapy crawl quotes

untuk melihat hasil akhirnya perhatikan gambar di bawah ini

good lucks 🙂

doc : https://doc.scrapy.org

download source : https://github.com/alfinfanther/scrapy_tutorial