例子
老规矩，先上一个代码：
def add(s, x): return s + x def gen(): for i in range(4): yield i base = gen() for n in [1, 10]: base = (add(i, n) for i in base) print list(base)</div>
这个东西输出可以脑补一下， 结果是[20,21,22,23], 而不是[10, 11, 12, 13]。 当时纠结了半天，一直没搞懂，后来齐老师稍微指点了一下， 突然想明白了--真够笨的，唉。。好了--正好趁机会稍微小结一下python里面的生成器。
迭代器(iterator)
要说生成器，必须首先说迭代器
区分iterable,iterator与itertion
讲到迭代器，就需要区别几个概念:iterable,iterator,itertion, 看着都差不多，其实不然。下面区分一下。
itertion: 就是迭代,一个接一个(one after another),是一个通用的概念，比如一个循环遍历某个数组。
iterable: 这个是可迭代对象,属于python的名词，范围也很广，可重复迭代，满足如下其中之一的都是iterable:
可以for循环: for i in iterable
可以按index索引的对象，也就是定义了__getitem__方法，比如list,str;
定义了__iter__方法。可以随意返回。
可以调用iter(obj)的对象，并且返回一个iterator
iterator: 迭代器对象,也属于python的名词，只能迭代一次。需要满足如下的迭代器协议
定义了__iter__方法，但是必须返回自身
定义了next方法,在python3.x是__next__。用来返回下一个值，并且当没有数据了，抛出StopIteration
可以保持当前的状态
首先str和list是iterable 但不是iterator:
In [3]: s = 'hi' In [4]: s.__getitem__ Out[4]: <method-wrapper '__getitem__' of str object at 0x7f9457eed580> In [5]: s.next # 没有next方法 --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-5-136d3c11be25> in <module>() ----> 1 s.next AttributeError: 'str' object has no attribute 'next' In [6]: l = [1,2] # 同理 In [7]: l.__iter__ Out[7]: <method-wrapper '__iter__' of list object at 0x7f945328c320> In [8]: l.next --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-8-c6f8fb94c4cd> in <module>() ----> 1 l.next AttributeError: 'list' object has no attribute 'next' In [9]: iter(s) is s #iter() 没有返回本身 Out[9]: False In [10]: iter(l) is l #同理 Out[10]: False</div>
但是对于iterator则不一样如下, 另外iterable可以支持多次迭代，而iterator在多次next之后，再次调用就会抛异常,只可以迭代一次。
In [13]: si = iter(s) In [14]: si Out[14]: <iterator at 0x7f9453279dd0> In [15]: si.__iter__ # 有__iter__ Out[15]: <method-wrapper '__iter__' of iterator object at 0x7f9453279dd0> In [16]: si.next #拥有next Out[16]: <method-wrapper 'next' of iterator object at 0x7f9453279dd0> In [20]: si.__iter__() is si #__iter__返回自己 Out[20]: True</div>
这样，由这几个例子可以解释清楚这几个概念的区别。
自定义iterator 与数据分离
说到这里，迭代器对象基本出来了。下面大致说一下，如何让自定义的类的对象成为迭代器对象，其实就是定义__iter__和next方法:
In [1]: %paste class DataIter(object): def __init__(self, *args): self.data = list(args) self.ind = 0 def __iter__(self): #返回自身 return self def next(self): # 返回数据 if self.ind == len(self.data): raise StopIteration else: data = self.data[self.ind] self.ind += 1 return data ## -- End pasted text -- In [9]: d = DataIter(1,2) In [10]: for x in d: # 开始迭代 ....: print x ....: 1 2 In [13]: d.next() # 只能迭代一次,再次使用则会抛异常 --------------------------------------------------------------------------- StopIteration Traceback (most recent call last) ----> 1 d.next() <ipython-input-1-c44abc1904d8> in next(self) 10 def next(self): 11 if self.ind == len(self.data): ---> 12 raise StopIteration 13 else: 14 data = self.data[self.ind]</div>
从next函数中只能向前取数据,一次取一个可以看出来，不过不能重复取数据，那这个可不可以解决呢？
我们知道iterator只能迭代一次，但是iterable对象则没有这个限制，因此我们可以把iterator从数据中分离出来，分别定义一个iterable与iterator如下：
class Data(object): # 只是iterable:可迭代对象而不iterator:迭代器 def __init__(self, *args): self.data = list(args) def __iter__(self): # 并没有返回自身 return DataIterator(self) class DataIterator(object): # iterator: 迭代器 def __init__(self, data): self.data = data.data self.ind = 0 def __iter__(self): return self def next(self): if self.ind == len(self.data): raise StopIteration else: data = self.data[self.ind] self.ind += 1 return data if __name__ == '__main__': d = Data(1, 2, 3) for x in d: print x, for x in d: print x,</div>
输出就是：
1,2,3
1,2,3
可以看出来数据可以复用，因为每次都返回一个DataIterator，但是数据却可以这样使用，这种实现方式很常见，比如xrange的实现便是这种数据与迭代分离的形式，但是很节省内存，如下：
In [8]: sys.getsizeof(range(1000000)) Out[8]: 8000072 In [9]: sys.getsizeof(xrange(1000000)) Out[9]: 40</div>
另外有个小tips， 就是为什么可以使用for 迭代迭代器对象，原因就是for替我们做了next的活，以及接收StopIteration的处理。
迭代器大概就记录到这里了，下面开始一个特殊的更加优雅的迭代器: 生成器
生成器(generator)
首先需要明确的就是生成器也是iterator迭代器，因为它遵循了迭代器协议.
两种创建方式
包含yield的函数
生成器函数跟普通函数只有一点不一样，就是把 return 换成yield,其中yield是一个语法糖，内部实现了迭代器协议，同时保持状态可以挂起。如下:
def gen(): print 'begin: generator' i = 0 while True: print 'before return ', i yield i i += 1 print 'after return ', i a = gen() In [10]: a #只是返回一个对象 Out[10]: <generator object gen at 0x7f40c33adfa0> In [11]: a.next() #开始执行 begin: generator before return 0 Out[11]: 0 In [12]: a.next() after return 1 before return 1 Out[12]: 1</div>
首先看到while True 不必惊慌，它只会一个一个的执行～
看结果可以看出一点东西:
调用gen()并没有真实执行函数，而是只是返回了一个生成器对象
执行第一次a.next()时，才真正执行函数，执行到yield一个返回值，然后就会挂起，保持当前的名字空间等状态。然后等待下一次的调用,从yield的下一行继续执行。
还有一种情况也会执行生成器函数，就是当检索生成器的元素时，如list(generator), 说白了就是当需要数据的时候，才会执行。
In [15]: def func(): ....: print 'begin' ....: for i in range(4): ....: yield i In [16]: a = func() In [17]: list(a) #检索数据，开始执行 begin Out[17]: [0, 1, 2, 3]</div>
yield还有其他高级应用，后面再慢慢学习。
生成器表达式
列表生成器十分方便：如下,求10以内的奇数:
[i for i in range(10) if i % 2]
同样在python 2.4也引入了生成器表达式，而且形式非常类似，就是把[]换成了().
In [18]: a = ( i for i in range(4)) In [19]: a Out[19]: <generator object <genexpr> at 0x7f40c2cfe410> In [20]: a.next() Out[20]: 0</div>
可以看出生成器表达式创建了一个生成器，而且生有个特点就是惰性计算, 只有在被检索时候，才会被赋值。
之前有篇文章:python 默认参数问题及一个应用,最后有一个例子:
def multipli