Scrapy, a fast high-level web crawling & scraping framework for Python.
fix test
Anubhav Patel398639a0bfe7
diff --git a/scrapy/pipelines/images.py b/scrapy/pipelines/images.pyindex add606a2e..746244dab 100644--- a/scrapy/pipelines/images.py+++ b/scrapy/pipelines/images.py@@ -132,7 +132,7 @@ class ImagesPipeline(FilesPipeline):for thumb_id, size in six.iteritems(self.thumbs):thumb_path = self.thumb_path(request, thumb_id, response=response, info=info)- thumb_image, thumb_buf = self.convert_image(image, size)+ thumb_image, thumb_buf = self.convert_image(image, buf, size)yield thumb_path, thumb_image, thumb_bufdef convert_image(self, image, response_body, size=None):@@ -153,7 +153,8 @@ class ImagesPipeline(FilesPipeline):image.thumbnail(size, Image.ANTIALIAS)if not size and image.format == 'JPEG':- return image, response_body+ buf = BytesIO(response_body.read())+ return image, bufbuf = BytesIO()image.save(buf, 'JPEG')diff --git a/tests/test_pipeline_images.py b/tests/test_pipeline_images.pyindex efa96e146..dde0fa030 100644--- a/tests/test_pipeline_images.py+++ b/tests/test_pipeline_images.py@@ -83,6 +83,47 @@ class ImagesPipelineTestCase(unittest.TestCase):converted, converted_buf = self.pipeline.convert_image(im, buf)self.assertEqual(converted.mode, 'RGB')self.assertEqual(converted.getcolors(), [(10000, COLOUR)])++ # check that we don't convert JPEGs again+ buf = io.BytesIO((b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x00\x00\x01\x00\x01\x00\x00'+ b'\xff\xdb\x00C\x00\x08\x06\x06\x07\x06\x05\x08\x07\x07\x07\t\t\x08\n\x0c'+ b'\x14\r\x0c\x0b\x0b\x0c\x19\x12\x13\x0f\x14\x1d\x1a\x1f\x1e\x1d\x1a\x1c\x1c '+ b'$.\' ",#\x1c\x1c(7),01444\x1f\'9=82<.342\xff\xdb\x00C\x01\t\t\t\x0c\x0b\x0c'+ b'\x18\r\r\x182!\x1c!222222222222222222222222222222222222222222222222'+ b'22\xff\xc0\x00\x11\x08\x00\x14\x00\x14\x03\x01"\x00\x02\x11\x01\x03\x11'+ b'\x01\xff\xc4\x00\x1f\x00\x00\x01\x05\x01\x01\x01\x01\x01\x01\x00'+ b'\x00\x00\x00\x00\x00\x00\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\xff\xc4'+ b'\x00\xb5\x10\x00\x02\x01\x03\x03\x02\x04\x03\x05\x05\x04\x04\x00'+ b'\x00\x01}\x01\x02\x03\x00\x04\x11\x05\x12!1A\x06\x13Qa\x07"q\x142\x81'+ b"\x91\xa1\x08#B\xb1\xc1\x15R\xd1\xf0$3br\x82\t\n\x16\x17\x18\x19\x1a%&'()*456"+ b'789:CDEFGHIJSTUVWXYZcdefghijstuvwxyz\x83\x84\x85\x86\x87\x88\x89\x8a'+ b'\x92\x93\x94\x95\x96\x97\x98\x99\x9a\xa2\xa3\xa4\xa5\xa6\xa7\xa8'+ b'\xa9\xaa\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xc2\xc3\xc4\xc5\xc6'+ b'\xc7\xc8\xc9\xca\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xe1\xe2\xe3'+ b'\xe4\xe5\xe6\xe7\xe8\xe9\xea\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9'+ b'\xfa\xff\xc4\x00\x1f\x01\x00\x03\x01\x01\x01\x01\x01\x01\x01\x01'+ b'\x01\x00\x00\x00\x00\x00\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\xff\xc4'+ b'\x00\xb5\x11\x00\x02\x01\x02\x04\x04\x03\x04\x07\x05\x04\x04\x00'+ b'\x01\x02w\x00\x01\x02\x03\x11\x04\x05!1\x06\x12AQ\x07aq\x13"2\x81\x08'+ b"\x14B\x91\xa1\xb1\xc1\t#3R\xf0\x15br\xd1\n\x16$4\xe1%\xf1\x17\x18\x19\x1a&'"+ b'()*56789:CDEFGHIJSTUVWXYZcdefghijstuvwxyz\x82\x83\x84\x85\x86\x87\x88'+ b'\x89\x8a\x92\x93\x94\x95\x96\x97\x98\x99\x9a\xa2\xa3\xa4\xa5\xa6'+ b'\xa7\xa8\xa9\xaa\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xc2\xc3\xc4'+ b'\xc5\xc6\xc7\xc8\xc9\xca\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xe2'+ b'\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9'+ b'\xfa\xff\xda\x00\x0c\x03\x01\x00\x02\x11\x03\x11\x00?\x00\xbb'+ b'\xe2\x1b\xcb\x88\xe4\x90\t\x0e1\xd2\xb9\xab\x1dF\xe6\xda\xe0\xb4l\xd9'+ b'5>\xaf\xac\xc7y}$k\x92\x03u\xaaL\xeb\x18VL\x9fZ+\xb9\xb9EBV]Ow\x0f\x8a\xc0'+ b'\xac\x14\xbd\xa2NG_\xa5x\x8esg\xfb\xd9\x8e\xed\xc79\xa2\xa1\xd0\xf4\x8bk'+ b'\x9d5e\xdeN\xe6=\xa8\xae\xa9V\xc2\xb6|\xdf2\xeep:w\xfc\x84d\x04g\x9e\xf5\xd3'+ b'L\xa9\x0c\x1f*/>\xa2\x8a+\xca\x93z\x1c\x15]\xa9\xc6\xc4Q\xea\x97V\xca'+ b'c\x85\xc2\xaes\x80(\xa2\x8a\xe3\x92W<\xdb\x9f\xff\xd9'))+ im = Image.open(buf)+ buf.seek(0)+ converted, converted_buf = self.pipeline.convert_image(im, buf)+ converted_buf.seek(0)+ buf.seek(0)+ self.assertEqual(im.format, "JPEG")self.assertEqual(converted_buf.read(), buf.read())# check that thumbnail keep image ratio