XmlReader和XElement组合之读取大型xml文档

简介

在.NET framework 中存在大量操作xml数据的类库和api，但在.NET framework 3.5后我们的首选一般就是linq to xml。

linq to xml操作xml数据无论是XElement.Load方法还是XElement.Parse方法都会将整个xml文件加载到内存中，在xml文件超级大的情况下linq to xml就不太适合。

对于大型的xml文件最好的方法就是每次只读取一部分，这样逐渐的读取整个xml文件，这个刚好对应XmlReader类。

XmlReader使用起来效率高，但操作没有linq to xml方便，所以就希望取两者之长：既有效率使用起来也如linq to xml一样方便。

思路

XElement类有一个方法ReadFrom，此方法接受一个XmlReader参数 ： XNode.ReadFrom 方法 (XmlReader)

在上面的链接MSDN上，其实已经有了对应的组合方式了，而且名字也不错：执行大型 XML 文档的流式转换

static IEnumerable<XElement> StreamXElements(string uri, string matchname)
{
    XmlReaderSettings settings = new XmlReaderSettings();
    settings.IgnoreComments = true;
    settings.IgnoreWhitespace = true;
 
    using (XmlReader reader = XmlReader.Create(uri, settings))
    {
        reader.MoveToContent();
        while (reader.Read())
        {
            switch (reader.NodeType)
            {
                case XmlNodeType.Element:
                    if (reader.Name == matchname)
                    {
                        XElement el = XElement.ReadFrom(reader) as XElement;
                        if (el != null)
                        {
                            yield return el;
                        }
                    }
                    break;
 
            }
        }
    }
}

以上代码就是用XmlReader一直Read下去，然后碰到XmlNodeType.Element类型时就可以XElement.ReadFrom(reader)构建XElement，最重要的就是最后的yield return。

这样目前为止，so far so good.

但在测试的时候，发现此方法有一个比较严重的bug，每次读取一个XElement之后就会跳过一个XElement：

aaarticlea/png;base64,iVBORw0KGgoAAAANSUhEUgAAANkAAACnCAIAAAAT9G6QAAAJHElEQVR4nO2dvXHsNhSF4Qo8L3EDnjeuwQifK3guAnUodGZknHEDijZlAVvEJixBiZ05wwvAH/xcUuDP7r0EzzcMJAgEoOXRIcDF0SoHgAwU9wAA6IEWgRSgRSAFaBFIAVoEUoAWgRSgRSAFaBFIAVoEUpClxYdRb0q9KXVrd7bU3pS+dwf13tnmgCGBT9iqxdb4y+aPxq687Et0d32gFttbMM43bT+29L5F2cOJQe8Gcl5inRY765RxzjnXmuC6trcjbeNwLY4yKmn5kN7zYXhzNY+V508v+AVYocXWOKVdN3wTeszD9NY43uZGExp/5KIT25vSjSbtKlVD3uZc4YfVgVvnWlwa56e9RwLtbDN1ZB7+95qk1t2174jWYjROcvCBg0Yve9WUatHq+A801uKH1W+mjf/0+4v6YfVwVYZrZtrYSpM7YKwGqs2Y4fSoJuWLnW2ImkmbZBdEnWxaEtSZ2o/u0cHvm/e+5MeddUq56m/wRVo0yqVTHVKLvc6mwsZ2fWFr/MUIpDnqb1GLZJtDtcgC02lDPl8cepltM+udLqSnjx9W+wH0r0ZQc/yRc4mnBhodyunJd+uUckdOy+VR6otGOW2D76MLP/gEeePubKPtw+qbtY22d+Nf+jVaJCYDlK3OajHTzcwEg+idLpxbyvjy7q7zXy2w0s42S0uo7q6zNdYFhOhWzRej23RwOT+s7qdK403QuUgN2ty0ebjurnWjc4l8eo/OaoY32da8TYV9zYeh54tLbZK9zxQ+DL0ofhjVaE39SYQTys+WevEq5yI3aLdrHU3O/YPy4eXu7rq/cpNqaS2Gt934lpq2GSw+jB19aJz+N7a9E6IPmBtn2vvMkKLyYHXc2Sa6yaar+P5H0RMxf3rU0dgC1tFgK9FqGqwDWjwOvD2zD2jxGB5GwRF3Ai0CKUCLQArQIpACtAikAC0CKUCLQArQIpACtAikcFYtvjSbgjdUXoIoLfJmU8J9h9vaPDafcDn4tRhsReHNpixosRBiPJfaaLMTZi3GYQ7ebAqtRbLNPJsSDTLaXXahwMpOOLWYZmiYsykLvljS70L5hfbD7oFNi0SGhjmbUq7FuWzK4pzhGjmBPXD6YpqhYc6mrNFiUJ7kfmgtQogFMM8X49s0bzZlgxaJKUSe4sMNuhCx6+iAF2VTkqj/FFte7ij9TwRx71hHl8OvRTaQTRHGVbWIt1LkcUUtIpsikytqEcgEWgRSYNOiUvgzABEQBJACfBFIAYIAUoAvAilAEEAILXxxQsLnuwT/V/JqbwrxafFV8GZokq0Vn73ZE2+Q20BrlFJq+GfhRsX48s7qtGhFYVSmp/9ZSpxODCkdVFi1Ul+Uk6HJxrBEYeBmdu9Pa5S21iiijc7qvrg1k4TGr8sL0+662TbJIbUmkmXYZo2+KCpDk4/BzX+2Ta7FuXFSGZr+0raUFknZeDPrzyksTBr1Xc3WzIfUWR2MpG5flJahScfQf0t9CEP+QRuLn22TbNEN3SzV4mSK45ed1Upp21qtTFteGL2yQ49zNWeGNN6lk2HW5YsCMzRU/dnPcEhPXBqnrzBEFwJnyrUY3gs7q5XWWk0y0rYrL5xekcnf6DbnhtQar8LWpE5bnS9Ky9BQ9ddocXacUYYmW6Uky4rElSYJTDfRwsKxyWimR9SkhxQNJh1ZVb7oEZWhoboo1uL8OBcyNIkvprOysCBa0BQWZkKcr0kMKTpZjBY51tEBL8rQkM90irVIj/OTDE2kRUo4oYtONUsLU7/Lnx+RK6fIDOmqNfoiJ8jQbKdSX+QBGZpdwBcPAhma3cAXgRggCCCFE/ji+x9/2i9fcVR8vH/77k7hi3///Kv98vWvn37BUfHhTuGLfqz///sfjioPfi2WM44VVAm/Ftf64lMHAxjh12I50GLdDNf3DM8XX6ZF5F1Y4NdiOfu0iLxLuhVBTt7Fn86vxaf6IvIu+Tki8i7RNrG+Jr8Wy1mrReRd5OZdIqH2wuTX4pN8EXkX0XmXaD9lr2V+LZZTrkXkXZz4vEswtdS6bl9E3oVaVojJu8Qvl5covxbLWTtfRN5Fbt4l/N2GZvi1yLGODkDeJXn88qK8y3SHHqvxa7GcM73vgrzLevi1+FRf5AF5l03wa7GcU2gReZfN8GuxQl8Em8A+HSAFfi2u9UUcdR/uFL74/u07+yuF46nHP7/97k7hi+AiQBBACvBFIAUIAgjhDM8XXwbyLqyc4X2XfSDvku5jeFneJeo/3vhNbaOo1BeRd8nPeX3ehdoqttBmjb6IvIuQvAsxkqU2q/NF5F1E5V2SO/Rim3X5IvIuTk7eJRnBqMHZmtX5IvIu1LKCIe+SvDJ92VLNunzRg7yLtLxLPF2dq1mdL3qQdxmr8uVdwqc3iTFTj3Sq9EVOkHfZTqW+yAPyLruALx4E8i67gS8CMUAQQArwRSAFCAJIAb4IpABBACnAF4EUIAggBDxfDEDehZX633dB3iXdx8CbdxmL8y0bdfoi8i75OZLyLvT2oQp9EXkXuXmX8eUTpcUn+SLyLpLzLuGABGnxGSDv4mTnXaizp0q1+SLyLtSyQkzexdEN+DpV+aIHeRfBeRc3VhKkRY51dADyLtHjl5flXaKHPyoOwlToi5wg77KdSn2RB+RddgFfPAjkXXYDXwRigCCAFOCLQAoQBJACfBFIAYIAUoAvAilAEEAIeL4YgLwLK/W/74K8S7oRgTXvQp/uq9fpi8i75OfIyLuQp/ffV+iLyLuIz7vEpw/f1+aLyLucIe8SnT4WVOWLyLu4c+Rd6M3htfki8i7UskJW3oXcbF6bL3qQd5Gcd5kRoqvQFz3Iu4xVheVdZk53rk5f5AR5l+1U6os8IO+yC/jiQSDvshv4IhADBAGkAF8EUoAggBTgi0AKEASQAnwRSAGCAELA88UA5F1Yqf99F+Rd0o0IvJ/vEhZK2Uv7VF9E3iU/B3kXBpB3OUXeJdvoWJ0vIu8iPu8yFKejrMsXkXdxJ8m79GfVnQNE3oVaVsjKu8wU1uWLHuRdJOddwt9O1+2LHuRdxqqC8y7JwGr0RU6Qd9lOpb7IA/Iuu4AvHgTyLruBLwIxQBBACvBFIAUIAkgBvgik8AMeU9Al42Ag7gAAAABJRU5ErkJggg==" alt="" />

如以上的xml，在读取第一个470002048节点之后，470002049节点就被跳过了。

这里其实就是XmlReader不小心Read too far的一个问题，read too far其实就是多read了一次，可以这样理解：

initial read;
(while "we're not at the end") {
    do stuff;
    read;
}

再回到我们上面的代码，其实在XElement.ReadFrom(reader)构建XElement之后，内部已经read了一次，但在while语句中我们还是在reader，这样下一个XElement是不会读到的。

那知道原因之后，解决起来也简单了，这里就用reader.EOF 做判断条件并去掉多余的一次read，具体代码如下：

static IEnumerable<XElement> StreamXElements(string uri, string matchname)
{
    XmlReaderSettings settings = new XmlReaderSettings();
    settings.IgnoreComments = true;
    settings.IgnoreWhitespace = true;
 
    using (XmlReader reader = XmlReader.Create(uri, settings))
    {
        reader.MoveToContent();
        while (!reader.EOF)
        {
            if (reader.NodeType == XmlNodeType.Element
                && reader.Name == matchname)
            {
                XElement el = XElement.ReadFrom(reader) as XElement;
                if (el != null)
                {
                    yield return el;
                }
            }
            else
            {
                reader.Read();
            }
        }
    }
}

总结

组合XmlReader和XElement的方式在MSDN中其实已经有了相应的文章介绍，但自己摸索的过程中还是有很多的收获，参考文章如下：

http://stackoverflow.com/questions/2299632/why-does-xmlreader-skip-every-other-element-if-there-is-no-whitespace-separator

https://msdn.microsoft.com/en-us/library/mt693229.aspx

http://stackoverflow.com/questions/2441673/reading-xml-with-xmlreader-in-c-sharp

https://blogs.msdn.microsoft.com/xmlteam/2007/03/24/streaming-with-linq-to-xml-part-2/