Главные гибкие навыки современного специалиста

Details

Currently tasklet.bind() requires a single positional argument. Kristján proposes to add two optional arguments. The signature of bind then becomes

If both args and keywords are None, bind() behaves as before.
Otherwise presence of args and/or keywords as being non-None, would then
imply a setup, without scheduling the tasklet. In this case, if function is None the value of self.tempval is used as function, similar to tasklet.setup(). If self.tempval is None too, bind() raises RuntimeError(‘the tasklet was not bound to a function’)

With this change tasklet.bind() and tasklet.insert() become the «atomic» building blocks for tasklet creation. tasklet.setup() is then equivalent to

Execution Time of PyPy vs. CPython

To compare the runtime of PyPy and CPython for summing 1,000 numbers, the code is changed to measure the time as follows.

For PyPy the time is nearly seconds, compared to seconds for CPython (I ran the code on my Core i7-6500U machine @ 2.5GHz). In this case CPython takes less time compared to PyPy, which is to be expected since this task is not really a long-running task. If the code is changed to add 1 million numbers, rather than 1 thousand, then PyPy would end up winning. In this case it takes seconds for Pypy and seconds for CPython. The benefit of PyPy is now obvious. This should give you an idea of how much slower CPython is for executing long-running tasks.

8 | У вас ограниченное, узкое и беспорядочное мышление

Если ваше мышление ограничено, и вам сложно содержать в порядке код, а также ваши мысли, вам никогда не стать успешным программистом.

В учениках я иногда замечаю две крайности. Первая — это ограниченное и узкое мышление. Такие ученики не принимают помощь, и ничего не меняют, несмотря на советы. Они видят ситуацию только с одной стороны и игнорируют все предложения.

Вторая крайность — это беспорядочное мышление. Такие ученики всё слишком усложняют, их код слишком запутанный и непонятный. Они начинают мудрить и пишут 100 строчек кода, когда хватило бы и 10.

В комбинации эти два образа мышления дают ограниченный подход к программированию, что-то вроде метода “грубой силы”, который ведет к появлению всё новых фиксов и “костылей”. В таком случае нужно вернуться к решению задачи, повторно его проанализировать, отказаться от первоначального подхода и начать всё заново.

Если вы не видите других вариантов решения или не слушаете советов, вы на корню рубите свою возможность расти и развиваться. Беспорядочное мышление замедляет вашу работу и не позволяет вам увидеть решения, которые в иной ситуации были бы очевидны. И в итоге общее качество вашей работы снижается.

Самоанализ: Вы должны сделать шаг назад и посмотреть в общем на то, как вы подходите к решению задачи. Как вы можете улучшить свой подход? Есть ли у вас возможность упростить себе жизнь? Возможно, вы упускаете что то полезное.

Две многозадачности

Мне известны всего два принципиально разных способа делать многозадачность.

Самый распространённый способ — исполнение кода в виде нескольких процессов или тредов. Неудивительно, что он появился самым первым и стал распространён: большую часть забот по распараллеливанию исполнения программы берёт на себя платформа — ОС или runtime языка. Программист же пишет код в знакомом с детства однопоточном синхронном стиле. Да, конечно есть проблемы с передачей данных между процессами, и проблемы с общими данным в тредах, но мы их как-то с грехом пополам научились решать. По крайней мере в не очень сложных случаях.

Особенно комфортно с этим подходом в веб-программировании, где специфика позволяет вообще не общаться процессам друг с другом иначе как через БД. А это просто. И именно поэтому любой PHP-программист в состоянии написать очень многозадачную программу.

Проблема этого подхода — в производительности. Её, конечно, хватает сейчас почти на всё. Но начиная с какого-то момента многопроцессная система начинает кушать просто очень много памяти. Потому что, крути ни крути, эту память приходится копировать в каждый изолированный процесс (и copy-on-write до конца не спасает). Переключение на треды решает эту проблему, но снова не до конца. С ростом количества тредов система упирается теперь уже в резко возрастающее время простоя на локах, без которых синхронно в тредах программировать невозможно. Многим наверное знакомо типичное поведение веб-систем, запущенных в тредном режиме под нагрузкой: в какой-то момент она внезапно начинает сыпать 500-ми ошибками.

А хочется-то большего. Хочется десятков тысяч одновременных клиентов и тысяч RPS.

С такими нагрузками справляются системы, написанные в асинхронном стиле. Как только мы отдаём IO на откуп ОС и не блокируем свой процесс, у нас высвобождается куча времени: ведь очень много веб-приложений ничего очень долгого и умного не делают, кроме того, что плюют небольшой 20-килобайтный кусочек HTML’а в сокет. И этого «довольно много» на самом деле настолько много, что мы в состоянии обработать тысячи клиентов одним процессом, просто бегая по ним в цикле. И поэтому тривиальные «hello-world’ы» на Tornado уделывают любой многопроцессный сервер.

Copyright and License Information

See the file «LICENSE» for information on the history of this software, terms &
conditions for usage, and a DISCLAIMER OF ALL WARRANTIES.

This Python distribution contains no GNU General Public License (GPL) code,
so it may be used in proprietary projects. There are interfaces to some GNU
code but these are entirely optional.

All trademarks referenced herein are property of their respective holders.

Про code kata

На определенном этапе (почти сразу после изучения основного синтаксиса одного из языков программирования), нужно набить руку в решении простых (хотя бы простых, для начала), алгоритмических задачек. Есть десятки разных сервисов, где это можно делать — codewars.com, exercism.io, hackerrank.com и т.п. Проскочить этот этап не получится. Если вы зашли на codewars и просто не понимаете, что от вас хотят, и как решать даже самые простые задачи первых уровней, срочно вливайтесь в какое-то сообщество, где есть программисты и единомышленники, изучающие программирование, и где можно будет задавать вопросы и получать помощь. Одно из таких мест — слак чат Хекслета. Если вы не научитесь решать эти простые задания, вероятность ~~резиста~~ того, что вы сможете решать какие-то реальные рабочие задачи, крайне мала.

What you need to know¶

Stackless-Python provides a minimal framework and it is not accompanied by any
support functionality, that would otherwise address the common needs that may
arise when building a more targeted framework around it.

Blocking operations

When operations are invoked that block the Python interpreter, the user needs
to be aware that this inherently blocks all running tasklets. Until the tasklet
that engaged that operation is complete, the Python interpreter and therefore
scheduler is blocked on that operation and in that tasklet. Operations that
block the interpreter are often related to synchronous IO (file reading
and writing, socket operations, interprocess communication and more), although
should also be kept in mind. The user is advised to choose
asynchronous versions of IO functionality.

Some third-party modules are available that replace standard library
functionality with Stackless-compatible versions. The advantage of this
approach is that other modules which use that standard functionality,
also work with Stackless when the replacement is installed. The
Stackless socket
module is the most commonly used replacement module.

Exceptions

Certain exceptions that may occur within tasklets, are expected to reach all
the way up the call stack to the scheduler. This means that naively using
the statement may result in hard to track down problems.

A description of the problem with bare statements can be read in
the documentation for the exception.

Stackless python

28.10.2013 21:18
| Přečteno: 2299×
| Obecné IT
|
| poslední úprava: 30.10.2013 01:06

Možná jste někdy měli na potřebu paralelizace vašeho pythonního scriptu a thready se pro vás ukázaly jako nevhodné z důvodu jejich vysoké náročnosti (zkuste si spustit 800 threadů a pochopíte o čem mluvím). Přesně pro takovéto případy byl vytvořen Stackless python, který vám umožní používat microthready/korutiny/tasklety za použití preemptivního multitaskingu.

Update

Na základě diskuze jsem se dozvěděl, že pythonní interpreter PyPy má v sobě podporu Stackless přímo . Pokud uvažujete o použití Stackless, tak tohle asi bude lepší cesta, než kompilace interpreteru.

Instalace

Instalaci jsem prováděl na Mintu 13, ale měla by být dost podobná na téměř všech debianovských systémech, kde již je nainstalován python 2.7. Postup je poměrně jednoduchý, ale je nutné kompilovat a upravit jeden konfigurák. Níže uvedené příkazy to automatizují tak, že je v podstatě jen stačí napastovat do konzole a občas zadat heslo na roota.

Návod je založený na článku Install Stackless Python on Ubuntu.

Stackless Python

Stackless Python — это усовершенствованная версия интерпретатора Python. Он назван так из-за отказа от использования стандартного стека вызовов языка C в пользу собственного стека.

Особенностью Stackless являются тасклеты (микропотоки), которые позволяют избежать чрезмерного расхода системных ресурсов, присущего стандартным потокам операционной системы. Она позволяет программисту пользоваться преимуществами многопоточного программирования без снижения производительности на примитивах синхронизации и без проблем с «гонками» (race conditions). Если правильно использовать дешёвые и лёгкие микропотоки Stackless, они позволяют улучшить структуру программы, получить более читаемый код и увеличить производительность труда программиста.

Poinstalační fix

Doplnění symlinků na standardní pythonní moduly a úprava cest, kde má stackless hledat moduly. Úprava konfiguráku proběhne automaticky, použil jsem k tomu python, protože se mi nechtělo hrát si 7 hodin se sedem a jeho escape sekvencemi.

sudo ln -s /usr/lib/python2.7/dist-packages/ /opt/stackless/lib/python2.7/site-packages
sudo ln -s /usr/local/lib/python2.7/dist-packages/ /opt/stackless/lib/python2.7/dist-packages
sudo ln -s /opt/stackless/bin/python /usr/bin/stackless

cd /opt/stackless/lib/python2.7/
sudo python -c "a = '            sitepackages.append(os.path.join(prefix, \"lib\", \"site-python\"))'; print open('site.py').read().replace(a, '            sitepackages.append(os.path.join(prefix, \"lib\", \"python\" + sys.version, \"dist-packages\"))\n'+a)" > /tmp/site_.py
sudo mv /tmp/site_.py site.py

Как стать fullstack-разработчиком

Практически все фулстек-специалисты – бывшие бэкенд-программисты. Они во время разработки веб-ресурса сталкивались с задачами фронтенд-разработчика и постепенно переняли их знания.

Поэтому надо изучать обе части веб-разработки, чтобы стать fullstack-developer. Если вы бэкенд-разработчик, пройдите курсы по фронтенд-программированию, а если фронтенд-разработчик, то подайте заявку на обучение на курсах по backend-разработке.

Если же знания и опыт отсутствуют по обоим направлениям, не надо стремиться охватить как можно больше. Лучше начать с чего-то одного, постепенно развиваться в этой области и понемногу впитывать информацию о смежной профессии. Вникните в базовые принципы, а после перейдите к практике. Начинать стоит с небольших задач.

Одна из распространенных ошибок новичков – они быстро вырастают “в ширину”, игнорируя “глубину”. В конце концов знаний получается очень много, но они все поверхностные и, по сути, эти программисты не могут делать свою работу достаточно хорошо.

Самый быстрый и легкий способ стать профессионалом – это записаться на онлайн-курсы.

Более 100 крутых уроков, тестов и тренажеров для развития мозга

Начать развиваться

Где обучиться с нуля

Можно попробовать обучиться самостоятельно, например, по видео на YouTube. Но никто не даст гарантии, что это уже не устаревшая информация. Да и на изучение материала надо потратить много времени, так как она не собрана воедино и ее надо самому собирать в кучу.

Я же предлагаю выбрать курсы с преподавателями-практиками.

Преимущества онлайн-программ:

Основы профессии становятся доступными за пару месяцев.
Учиться можно в любое время, с удобной для ученика скоростью и откуда угодно.
Информация подается четко, структурированными блоками и без воды.
После окончания обучения большинство авторов курса выдают диплом или сертификат, плюс в процессе прохождения программы можно наработать портфолио.

Платформы “Нетология”, SkillFactory, itProger, Skillbox, SF Education и Udemy предлагают отличные онлайн-курсы по профессии fullstack-программист:

Fullstack-разработчик на PHP
Профессия Fullstack-разработчик на JavaScript
Веб-разработчик с нуля
Специализация Fullstack на JavaScript
Fullstack-разработчик на Python
Full Stack разработчик
Веб разработка – с нуля до профессионала. Full Stack

Вас научат самостоятельно продумывать этапы разработки проекта, понимать основы работы бэкенд и фронтенд-разработчиков, работать с базами данных, верстке сайта и многому другому.

Где найти работу

Новичкам советую отправить резюме в небольшие IT-компании. Сначала придется побыть стажером, особенно если вы еще проходите обучение, а потом уже можно двигаться дальше.

Fullstack-разработчик может начать зарабатывать на фрилансе. Например, сотрудничая с веб-студиями или любыми другими фирмами, занимающимися разработкой интернет-платформ.

Вакансии выложены на биржах фриланса, таких как:

Kwork,
Upwork,
FL,
Freelance,
Joomlancers,
YouTeam.

Работу найти еще можно на профильных IT-сайтах или на всем известном hh.ru.

Со знаниями фулстек-программиста возможен еще один вариант заработка – открыть собственную компанию.

Советы психологов

Совет #1

Если вы длительное время прокрастинируете выполнение той или иной цели или задачи — попробуйте ее переформулировать так, чтобы выполнение стало максимально для вас понятным, уровня «проще сделать, чем записать».

Например: «продлить книгу в библиотеке» — «позвонить в библиотеку и попросить продлить книгу».

Этот метод также обновит задачу в вашем сознании, потому что если человек длительное время прокрастинирует и не обращает на задачу внимания — взгляд замыливается, и он начинает ее бессознательно игнорировать.

Совет #2

Формулируя цель, представьте, что объясняете ее ребенку: максимально просто, понятно, конкретно, с простейшими логическими связями, чтобы даже самый неразумный человек все понял.

Совет #3

Определите минимально приемлемый результат. Когда у нас есть только «либо сделать идеально, либо вообще никак» — это вгоняет в ступор и ведет к прокрастинации, появляется страх не справиться.

А когда есть минимально приемлемый результат — легче, потому что появляется мысль «мне необязательно бежать сегодня всю норму, если я просто выйду на улицу и немного пройдусь — это уже будет хорошо». соответственно выполнить цель будет проще.

Совет #4

Приоретизируйте цели. Если их у вас много — придется смириться с мыслью, что некоторые цели выполнить не получится.

Определите одну-три цели, выполнение которых для вас важнее всего, и сосредоточьтесь на них, а остальные выполняйте по остаточному принципу. Это нормальная практика: невозможно впихнуть море в стакан, как ни старайся.

Совет #5

Ставьте цели в разных областях жизни. Обычно целеполагание ассоциируется с работой или саморазвитием, но это необязательно так: можно ставить цели в семейной жизни, здоровье, хобби, чтобы сделать свою жизнь приятнее и продуктивнее в целом, а не только в сфере работы.

Правильное целеполагание — это важно, но еще важнее — двигаться к своим целям, как бы они ни были сформулированы, и знать, чего вы хотите по-настоящему. Рефлексируйте свои желания, формулируйте цели, и удачи вам в их достижении

Любой язык подходит, если вы в нём достаточно хороши

Не парьтесь насчёт выбора языка. Возьмите любой, который вам сегодня интересен, и прокачайтесь в нём до уровня, когда ваши навыки будут ценны заказчикам. Потому что:

Спрос сейчас есть на все языки.
Перейти с языка на язык легко, если вы владеете алгоритмами и пониманием принципов работы систем.
Документация есть ко всему.

Как правило, человек, который умеет писать на одном языке, довольно быстро учится писать на двух-трёх других языках без большого труда. У вас тоже так получится.

Текст:

Михаил Полянин

Редактор:

Максим Ильяхов

Художник:

Даня Берковский

Корректор:

Ирина Михеева

Вёрстка:

Кирилл Климентьев

Соцсети:

Алина Грызлова

Сравнение Python и Java

Некоторые разработчики настаивают
на том, что Python более продуктивен по
сравнению с Java. Давайте это обсудим.

Java это статически типизированный язык, так что переменные должны объявляться с указанием типа. А Python — язык с динамической типизацией, в нем указание типа для переменных не требуется. О достоинствах и недостатках динамической и статической типизации в разных языках программирования постоянно идут дискуссии.

Java дает возможность разрабатывать
кроссплатформенные приложения, но и
Python совместим со многими операционными
системами. Впрочем, Java имеет одно
существенное преимущество: возможность
создавать сетевые приложения.

Если говорить о сложности языка, Java
гораздо сложнее Python. А следовательно,
изучить этот язык, не имея технического
бэкграунда, будет непросто.

Rozdíl mezi kooperativním a preemptivním multitaskingem

Mladší ročníky, které si nepamatují doby DOSu a prvních Windows možná nebudou tušit, jaký je rozdíl mezi kooperativním a preemptivním multitaskingem.

Kooperativní multitasking je triviálnější. Spočívá v tom, že funkci (či procesu/programu) předáte řízení a doufáte, že vám ho někdy vrátí, aby jste mohli provést zase něco jiného. Po dobu běhu funkce nemáte nad systémem žádnou kontrolu a musíte doufat, že se funkce nedostane do stavu, kde se zasekne a celý systém zamrzne.

V kooperativním multitaskingu může běžet víc procesů zároveň, ale je na procesech, aby běžely jen zlomky času, po kterém vždy vrátí řízení systému, který mezi nimi přepne. Pokud se náhodou nějaký proces zdrží, tak všechny běžící procesy na chvíli zmrznou.

Preemptivní multitasking je chytřejší, i když náročnější na implementaci a na běh. Místo toho, aby procesu předal kompletní řízení mu předává řízení jen na nějaký okamžik. Může to být třeba na 1ms, nebo na 1000 instrukcí, to už záleží na konkrétní implementaci. Výhoda je v tom, že pokud se daný proces/fukce/program zasekne, tak neshodí celý systém a ostatní funkce/procesy/.. dále běží.

Kooperativní multitasking v pythonu

Pokud by někoho zajímalo, jak by vypadala výše uvedená ukázka přepsaná do čistého pythonu v kooperativním režimu pomocí generátorů:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import time

def funkce(parametr):
	t1 = time.time()
	print "starting", parametr, t1
	
	for i in range(10000000):
		if i % 100 == 0:
			yield

	t2 = time.time()
	print "ending", parametr, t2, "-", t2 - t1


fronta = 

while len(fronta) > 0:
	for f in fronta:
		try:
			f.next()
		except StopIteration:
			fronta.remove(f)

a zde je výstup:

$ time ./yield.py 
starting prvni 1382984400.16
starting druhy 1382984400.6
starting treti 1382984401.04
ending prvni 1382984412.9 - 12.7446539402
ending treti 1382984413.17 - 12.1312551498
ending druhy 1382984413.44 - 12.8393118382

real	0m14.347s
user	0m12.757s
sys	0m1.112s

Pokud dojde ve forsmyčce, kde je vyhazován yield k chybě (třeba nějaký cyklus, nebo špatně vyhodnocená podmínka), celý kód se zasekne a nepoběží ani jeden ze tří generátorů.

Zajímavé je, že kód běžel delší dobu, než v případě Stackless taskletů. Povšimněte si pořadí ukončení jednotlivých generátorů.

Pro úplnost dodám, že Stackless také umožňuje kooperativní multitasking, jen místo yield voláte stackless.schedule(). Jelikož python nabízí dost podobnou funkcionalitu v základu, nebudu se tím dále zabývat.

Komunikace

Jednotlivé tasklety spolu mohou komunikovat pomocí kanálů, což je vlastnost, kterou čisté pythonní generátory až do nedávna neměly a i v dnešní době to není tak přímočaré.

Kanál je možné vytvořit pomocí volání stackless.channel(). Data se odesílají přes volání ch.send() a přijímají přes ch.receive(). Dotaz na počet zpráv v kanálu je možné provést skrz property ch.balance (default 0).

Jak příjem, tak odesílání dat je blokující a zasekne celý tasklet. Nemá cenu to zkoušet v singleplayeru, pokud nemáte kód, který běží paralelně tak se to prostě zasekne a nic se neděje.

Zde je ukázka posílání dat mezi dvěma funkcemi:

#!/usr/bin/env stackless
# -*- coding: utf-8 -*-
import time
import stackless

def prvni(ch):
	ch.send("odesláno z první")

def druha(ch):
	print "druhá:", ch.receive()


ch = stackless.channel()

stackless.tasklet(prvni)(ch)
stackless.tasklet(druha)(ch)


while stackless.getruncount() > 1:
	t = stackless.run(100)

	if t:
		t.insert()

Odeslat je možné všechno možné, nemusí to být string, ale klidně pole, číslo atp..

Výstup

$ ./stackless.py 
druhá: odesláno z první

To je vše?

Téměř vše. Dokumentace se ještě zmiňuje o serializaci taskletů/kanálů, ale protože jsem to zatím neměl potřebu použít, tak jí zde nebudu rozmazávat — tenhle článek se brutálně zvrhl z osobních poznámek k instalaci, protože jsem zapomněl přestat psát. Berte ho tedy spíš jako takové představení Stackless v češtině, ne kompletní manuál.

Pokud vás Stackless zaujal, vřele doporučuji navštívit jeho domovskou stránku a přečíst si dokumentaci — jedná se jen o pár stránek.

Pokud by měl někdo potřebu většího tutoriálu, tak jeden drobně zastaralý (python 2.4) se dá najít zde: Introduction to Concurrent Programming with Stackless Python.

2 | Вам не хватает самостоятельности и гибкости

Если вы не развиваете способность решать проблемы самостоятельно, вы никогда не станете успешным программистом.

Вне сомнений, для того, чтобы стать успешным программистом, вы должны быть уверены в СВОЕЙ способности учиться. Это очень важный навык —после 18 лет никто не обязан вас ничему учить. Это реальность

Вам самим нужно искать необходимую информацию и помощь, чтобы учиться чему-то важному

В мире программирования вся необходимая информация находится в волшебном месте, ранее известном как Информационная Супер-Автострада. Это внушительная библиотека с одним огромным входом: . Понимание, что вы просто можете ввести что хотите в Google и получить нужную информацию, — ваша первая задача при изучении необходимых для программирования навыков.

Вы должны не только умело пользоваться Google. У всех языков программирования есть документация и инструкции, в которых предельно ясно объясняется, как работает язык. Это как пользоваться словарем — когда вам встречается незнакомое слово, вы ищете его там. Чтение документации — самый быстрый и надежный способ развить навыки программирования. В ней есть буквально всё.

Пользуйтесь ресурсами: Поймите, что вы сами можете найти ответы на все ваши вопросы. Если появился вопрос, заставьте себя поискать в Google, прежде чем спрашивать у кого-либо или искать ответ в документации. Сберегите чужое время для тех моментов, когда, несмотря на все поиски, вы не найдете ответ на ваш вопрос.